Home Assistant MCP版本回归评测
输入基准版本和待测代码,按改动筛选并补充用户场景,对比工具执行结果,生成回归与成本差异报告。
功能与用途
用于检查Home Assistant MCP新版本是否破坏原有功能。提供基准版本标签或分支后,会结合本地代码改动选择已有测试场景,并补充针对风险点的自定义场景,在两个版本上分别运行。最终得到逐场景的功能验证、工具调用、令牌消耗及变化趋势报告,定位功能退步和成本异常。使用前需准备项目指定工作区、容器运行环境及所选智能体的命令行环境。
适用场景
- 发布前排查功能退步:将待发布代码与已发布版本对比,验证自动化、实体搜索等用户场景是否出现回归。
- 为代码改动补充测试场景:针对已有场景未覆盖的变更路径,生成自定义场景并在两个版本上验证。
- 调查令牌成本上涨:比较同一场景的计费令牌和工具描述体积,检查缓存情况及成本异常。
- 比较不同智能体的执行表现:让多个智能体执行同一组场景,记录各自的模型、功能结果和工具调用差异。
适用人群
- Home Assistant MCP项目维护者
- MCP工具开发者
- 智能体集成测试工程师
使用步骤
- 指定必填基准版本,可选智能体和场景范围。
- 分析代码差异,筛选已有场景并补充自定义场景。
- 在基准与目标版本分别运行场景,逐项验证结果。
- 对比功能、工具调用和成本,生成报告并追加评测记录。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- gemini、claude
- 使用难度
- 专业
- 版本
- master
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Compare MCP tool behavior between target and baseline versions using pre-built and custom stories with diff-based triage.
使用前准备
- 已准备ha-mcp项目及worktree/uat-stories工作区,包含场景运行脚本和测试目录。
- 提供可访问的Git基准标签或分支,并准备待测本地代码。
- 安装并配置uv、Docker及所选Gemini或Claude智能体的命令行运行环境。
- 具备读取代码差异、运行集成测试和检查Home Assistant状态的能力。
依赖与权限
- PORT
- TOKEN