家庭安防AI模型评测
接入待测语言或视觉模型,运行家庭安防场景测试,生成通过率、耗时与跨模型对比报告。
功能与用途
面向家庭安防产品的模型选型与版本验收,接入待测语言模型接口,并可选接入视觉模型服务,即可运行预设场景测试。评测覆盖威胁分级、跨摄像头事件去重、工具调用、告警路由、提示注入防御及室内外画面理解,输出通过情况、耗时记录和可浏览的对比报告,帮助定位薄弱环节并比较不同模型。使用前需安装运行环境和依赖,并准备可访问的模型服务。
适用场景
- 为安防产品选择模型:让本地与云端候选模型运行同一组安防测试,对比通过率和耗时,筛选适合部署的模型。
- 模型升级后的回归验收:更换模型或调整配置后复测威胁分级、工具调用和告警路由,检查关键能力是否退步。
- 检验摄像头画面理解能力:接入视觉模型,测试室内外场景中的实体识别与画面描述,查看失败案例。
- 排查安防对话薄弱环节:检查模型面对提示注入、隐私请求和多轮安防问答时的表现,定位需要改进的测试项。
适用人群
- 家庭安防AI产品开发者
- 智能摄像头算法工程师
- 安防系统测试工程师
- 本地模型部署工程师
使用步骤
- 安装Node.js,并在技能目录安装依赖。
- 配置待测语言模型接口及必要凭据。
- 如需画面测试,补充视觉模型服务地址。
- 选择语言、视觉或完整评测模式并运行。
- 查看JSON结果和HTML报告,比较通过率与耗时。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- IT运维与安全
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- master
- 最近更新
- 2026-11-03
- 文件数
- 5
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
LLM & VLM evaluation suite for home security AI applications
使用前准备
- 安装Node.js 18或更高版本,并能使用命令行。
- 在技能目录运行npm install安装依赖。
- 准备可访问的语言模型服务及所需的接口地址、模型配置和密钥。
- 如需评测画面理解能力,还需准备可访问的视觉模型服务。
依赖与权限
- openai
- AEGIS_GATEWAY_URL
- AEGIS_LLM_URL
- AEGIS_LLM_API_KEY
- AEGIS_LLM_BASE_URL
- AEGIS_VLM_URL