大模型可观测与评测管理
接收 AI 应用代码与运行数据,通过检索最新官方规范并调用命令行工具完成全链路追踪埋点、Prompt 迁移以及模型质量评估看板搭建。
功能与用途
该功能专为大模型应用工程师设计,整合了 Langfuse 官方最新的文档索引与 CLI 操作能力。无论是为基于 LangGraph、LlamaIndex 的 Agent 应用补充执行追踪(Tracing),还是将散落在工程源码中的 Prompt 集中收敛至托管中心,亦或是构建基于 LLM-as-a-Judge 的自动化评测数据集与 CI/CD 质检门禁,它都能直接生成规范代码并执行 API 同步,彻底解决大模型在生产环境中黑盒不可控、调优缺乏数据量化支撑的痛点。
适用场景
- Agent 链路调用埋点与报错回溯:为复杂的 Multi-Agent 或 LangGraph 工作流集成 Langfuse SDK,实时捕获每一步的输入输出 Token、延迟与异常报错调用链。
- 硬编码 Prompt 集中版本化迁移:扫描代码库中分散的系统提示词模板,自动打包并调用 Langfuse CLI 推送到平台进行集中式版本管理与动态热更新。
- 大模型裁判与自动化评测集搭建:基于生产抓取的真实对话 Trace 提取不良样本,构建基准评估数据集,并配置 LLM-as-a-Judge 规则与混淆矩阵校准。
适用人群
- 大模型应用开发者
- AI 架构师
- LLMOps 运维工程师
- Agent 算法工程师
使用步骤
- 在系统环境中配置 Langfuse 项目公钥、密钥与服务端接入地址(LANGFUSE_BASE_URL)。
- 向助手描述具体的工程目标,如接入链路追踪、评测数据集制作或 CLI 批量管理数据。
- 助手实时检索 Langfuse 官方最新文档规范与 API Schema,生成对应的 SDK 埋点代码或 CLI 操作指令。
- 在终端执行配置变更与代码验证,并在 Langfuse Web 控制台中确认 Trace 记录与评测指标正常上报。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-09-23
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
>-
依赖与权限
- LANGFUSE_PUBLIC_KEY
- LANGFUSE_SECRET_KEY
- LANGFUSE_BASE_URL
- LANGFUSE_HOST
- 读取用户主动提供的内容