AI Skill 大全

论文评测设计审计

输入论文目录或 claims.json,检查训练测试泄漏、LLM裁判偏差和选择性报告,并生成带论文原文定位的评测问题清单。

功能与用途

用于审查论文的评测方案是否能支持作者提出的结论,以及结果报告是否完整。输入论文目录或 claims.json;运行前需先用 evidence-ledger 建立 claims.json。它会检查训练测试划分、预处理、LLM裁判的冲突或验证情况,以及论文声明但未报告的条件,并输出引用论文原文位置的 findings.json,供后续审定和人工核查。若同时提供代码与结果文件,可进一步核对划分和报告情况;仅凭论文描述发现的问题与代码层面的确认会分别标明。

适用场景

  • 核查训练测试集划分:检查论文描述的预处理、时间划分或重复样本处理是否可能破坏泛化评估。
  • 评估LLM裁判可信度:审查作为主要指标的裁判模型是否与被比较系统冲突,或缺少人工一致性与偏差验证。
  • 比对声明与结果表:找出论文声明的数据集、指标或种子数是否被遗漏,或是否通过测试集挑选最佳结果。

适用人群

  • 机器学习论文审稿人
  • 人工智能研究者
  • 科研团队的实验复核人员

使用步骤

  1. 先为论文运行 evidence-ledger,生成 claims.json。
  2. 传入论文目录或 claims.json。
  3. 按需提供代码和结果文件以进行更深入核查。
  4. 查看 findings.json 中带原文定位的问题。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
知识
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

依赖与权限

  • REPORT

同类 Skill