AI Skill 大全

家庭安防AI模型评测

接入待测语言或视觉模型,运行家庭安防场景测试,生成通过率、耗时与跨模型对比报告。

功能与用途

面向家庭安防产品的模型选型与版本验收,接入待测语言模型接口,并可选接入视觉模型服务,即可运行预设场景测试。评测覆盖威胁分级、跨摄像头事件去重、工具调用、告警路由、提示注入防御及室内外画面理解,输出通过情况、耗时记录和可浏览的对比报告,帮助定位薄弱环节并比较不同模型。使用前需安装运行环境和依赖,并准备可访问的模型服务。

适用场景

  • 为安防产品选择模型:让本地与云端候选模型运行同一组安防测试,对比通过率和耗时,筛选适合部署的模型。
  • 模型升级后的回归验收:更换模型或调整配置后复测威胁分级、工具调用和告警路由,检查关键能力是否退步。
  • 检验摄像头画面理解能力:接入视觉模型,测试室内外场景中的实体识别与画面描述,查看失败案例。
  • 排查安防对话薄弱环节:检查模型面对提示注入、隐私请求和多轮安防问答时的表现,定位需要改进的测试项。

适用人群

  • 家庭安防AI产品开发者
  • 智能摄像头算法工程师
  • 安防系统测试工程师
  • 本地模型部署工程师

使用步骤

  1. 安装Node.js,并在技能目录安装依赖。
  2. 配置待测语言模型接口及必要凭据。
  3. 如需画面测试,补充视觉模型服务地址。
  4. 选择语言、视觉或完整评测模式并运行。
  5. 查看JSON结果和HTML报告,比较通过率与耗时。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
IT运维与安全
适用工具
Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
使用难度
进阶
版本
master
最近更新
2026-11-03
文件数
5
安装包大小
自动生成 ZIP
安全检查
基础检查通过

LLM & VLM evaluation suite for home security AI applications

使用前准备

  • 安装Node.js 18或更高版本,并能使用命令行。
  • 在技能目录运行npm install安装依赖。
  • 准备可访问的语言模型服务及所需的接口地址、模型配置和密钥。
  • 如需评测画面理解能力,还需准备可访问的视觉模型服务。

依赖与权限

  • openai
  • AEGIS_GATEWAY_URL
  • AEGIS_LLM_URL
  • AEGIS_LLM_API_KEY
  • AEGIS_LLM_BASE_URL
  • AEGIS_VLM_URL

同类 Skill