AI Skill 大全

Hugging Face模型本地评测

提供模型地址、评测任务和本机硬件信息,选择合适的推理后端运行基准测试,获得模型表现结果。

功能与用途

面向需要验证或比较模型能力的开发者,输入Hugging Face模型地址、评测任务及本机硬件信息,即可选择评测框架和推理后端,先用少量样本试跑,再扩大评测规模,获得指定基准任务的评测结果。支持知识问答、数学推理、代码生成等任务,并可在模型不兼容或显存不足时调整运行方案。本地加载模型需要可用的硬件与运行环境,访问受限或私有模型还需提供访问令牌。

适用场景

  • 验证候选模型的数学能力:对Hub模型运行GSM8K少量样本测试,确认流程可用后扩大评测规模,查看数学推理表现。
  • 比较模型的基准表现:让多个候选模型使用相同的MMLU任务配置运行评测,为模型选型提供依据。
  • 解决推理后端不兼容:模型无法通过vLLM运行时,改用Transformers或accelerate完成本地评测。
  • 低配置环境试跑评测:模型已被推理服务商支持时,通过服务商接口运行少量样本评测,降低本机部署要求。

适用人群

  • 大模型应用开发者
  • 模型评测工程师
  • 开源模型研究人员
  • 负责模型选型的技术人员

使用步骤

  1. 提供模型地址、评测任务和本机硬件信息。
  2. 选择inspect-ai或lighteval及适用后端。
  3. 先运行10至20条样本,检查流程是否正常。
  4. 按需调整后端、批量大小或显存使用参数。
  5. 扩大样本规模,查看评测结果。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Run evaluations for Hugging Face Hub models using inspect-ai and lighteval on local hardware. Use for backend selection, local GPU evals, and choosing between vLLM / Transformers / accelerate. Not for HF Jobs orchestration, model-card PRs, .eval_results publication, or community-evals automation.

使用前准备

  • 准备Hugging Face模型仓库地址,并确定要运行的评测任务。
  • 具备可运行Python脚本的本地环境,推荐使用uv。
  • 本地GPU评测前需确认GPU可访问,且硬件资源能够容纳所选模型。
  • 访问受限或私有模型时,需要配置HF_TOKEN并具有对应模型的访问权限。
  • 使用推理服务商路径时,所选模型需已被相应服务支持。

依赖与权限

  • HF_TOKEN

同类 Skill