AI Skill 大全

Home Assistant MCP版本回归评测

输入基准版本和待测代码,按改动筛选并补充用户场景,对比工具执行结果,生成回归与成本差异报告。

功能与用途

用于检查Home Assistant MCP新版本是否破坏原有功能。提供基准版本标签或分支后,会结合本地代码改动选择已有测试场景,并补充针对风险点的自定义场景,在两个版本上分别运行。最终得到逐场景的功能验证、工具调用、令牌消耗及变化趋势报告,定位功能退步和成本异常。使用前需准备项目指定工作区、容器运行环境及所选智能体的命令行环境。

适用场景

  • 发布前排查功能退步:将待发布代码与已发布版本对比,验证自动化、实体搜索等用户场景是否出现回归。
  • 为代码改动补充测试场景:针对已有场景未覆盖的变更路径,生成自定义场景并在两个版本上验证。
  • 调查令牌成本上涨:比较同一场景的计费令牌和工具描述体积,检查缓存情况及成本异常。
  • 比较不同智能体的执行表现:让多个智能体执行同一组场景,记录各自的模型、功能结果和工具调用差异。

适用人群

  • Home Assistant MCP项目维护者
  • MCP工具开发者
  • 智能体集成测试工程师

使用步骤

  1. 指定必填基准版本,可选智能体和场景范围。
  2. 分析代码差异,筛选已有场景并补充自定义场景。
  3. 在基准与目标版本分别运行场景,逐项验证结果。
  4. 对比功能、工具调用和成本,生成报告并追加评测记录。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
gemini、claude
使用难度
专业
版本
master
最近更新
2026-11-03
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Compare MCP tool behavior between target and baseline versions using pre-built and custom stories with diff-based triage.

使用前准备

  • 已准备ha-mcp项目及worktree/uat-stories工作区,包含场景运行脚本和测试目录。
  • 提供可访问的Git基准标签或分支,并准备待测本地代码。
  • 安装并配置uv、Docker及所选Gemini或Claude智能体的命令行运行环境。
  • 具备读取代码差异、运行集成测试和检查Home Assistant状态的能力。

依赖与权限

  • PORT
  • TOKEN

同类 Skill