论文评测设计审计
输入论文目录或 claims.json,检查训练测试泄漏、LLM裁判偏差和选择性报告,并生成带论文原文定位的评测问题清单。
功能与用途
用于审查论文的评测方案是否能支持作者提出的结论,以及结果报告是否完整。输入论文目录或 claims.json;运行前需先用 evidence-ledger 建立 claims.json。它会检查训练测试划分、预处理、LLM裁判的冲突或验证情况,以及论文声明但未报告的条件,并输出引用论文原文位置的 findings.json,供后续审定和人工核查。若同时提供代码与结果文件,可进一步核对划分和报告情况;仅凭论文描述发现的问题与代码层面的确认会分别标明。
适用场景
- 核查训练测试集划分:检查论文描述的预处理、时间划分或重复样本处理是否可能破坏泛化评估。
- 评估LLM裁判可信度:审查作为主要指标的裁判模型是否与被比较系统冲突,或缺少人工一致性与偏差验证。
- 比对声明与结果表:找出论文声明的数据集、指标或种子数是否被遗漏,或是否通过测试集挑选最佳结果。
适用人群
- 机器学习论文审稿人
- 人工智能研究者
- 科研团队的实验复核人员
使用步骤
- 先为论文运行 evidence-ledger,生成 claims.json。
- 传入论文目录或 claims.json。
- 按需提供代码和结果文件以进行更深入核查。
- 查看 findings.json 中带原文定位的问题。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 知识
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
依赖与权限
- REPORT