MCP工具智能体验收与回归测试
输入工具变更或测试场景,生成并运行真实智能体验收测试,输出通过情况、失败详情和分支回归对比。
功能与用途
适用于验证Home Assistant MCP工具的代码改动是否能被真实智能体正确使用。提供代码差异或一句测试需求,即可生成包含环境准备、功能验证和清理步骤的测试场景,通过Claude或Gemini命令行运行,获得各智能体的通过情况、工具调用统计及失败详情。还可用相同场景对比主分支与本地代码,识别新增故障。使用前需具备项目测试脚本、可用的智能体命令行及测试环境,运行会消耗API额度。
适用场景
- 提交合并前验证工具改动:读取PR代码差异,针对受影响工具设计并运行场景,确认智能体能完成预期操作。
- 定位分支引入的回归:在主分支与本地代码上运行同一场景,对比完成情况、输出准确性和工具失败次数。
- 验证错误反馈是否清晰:让智能体查询不存在的自动化,再查询有效对象,检查工具是否正确报告错误与结果。
- 检查跨智能体兼容性:使用Claude和Gemini执行相同工具场景,比较不同智能体的任务完成情况。
适用人群
- Home Assistant MCP项目开发者
- MCP工具维护者
- 智能体集成测试工程师
使用步骤
- 提供测试需求、代码差异或待验证的工具行为。
- 生成聚焦单一行为的场景,按需加入准备与清理步骤。
- 选择智能体并运行项目验收脚本。
- 查看通过摘要,失败时读取完整结果。
- 需要定位回归时,与主分支运行同一场景比较。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- master
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
使用前准备
- 在ha-mcp项目中使用,并具备tests/uat/run_uat.py测试脚本和uv运行环境。
- 已安装并配置所选Claude或Gemini命令行,具备可用的API额度。
- 具备可供测试访问和操作的Home Assistant环境。