AI Skill 大全

大模型可观测与评测管理

接收 AI 应用代码与运行数据,通过检索最新官方规范并调用命令行工具完成全链路追踪埋点、Prompt 迁移以及模型质量评估看板搭建。

功能与用途

该功能专为大模型应用工程师设计,整合了 Langfuse 官方最新的文档索引与 CLI 操作能力。无论是为基于 LangGraph、LlamaIndex 的 Agent 应用补充执行追踪(Tracing),还是将散落在工程源码中的 Prompt 集中收敛至托管中心,亦或是构建基于 LLM-as-a-Judge 的自动化评测数据集与 CI/CD 质检门禁,它都能直接生成规范代码并执行 API 同步,彻底解决大模型在生产环境中黑盒不可控、调优缺乏数据量化支撑的痛点。

适用场景

  • Agent 链路调用埋点与报错回溯:为复杂的 Multi-Agent 或 LangGraph 工作流集成 Langfuse SDK,实时捕获每一步的输入输出 Token、延迟与异常报错调用链。
  • 硬编码 Prompt 集中版本化迁移:扫描代码库中分散的系统提示词模板,自动打包并调用 Langfuse CLI 推送到平台进行集中式版本管理与动态热更新。
  • 大模型裁判与自动化评测集搭建:基于生产抓取的真实对话 Trace 提取不良样本,构建基准评估数据集,并配置 LLM-as-a-Judge 规则与混淆矩阵校准。

适用人群

  • 大模型应用开发者
  • AI 架构师
  • LLMOps 运维工程师
  • Agent 算法工程师

使用步骤

  1. 在系统环境中配置 Langfuse 项目公钥、密钥与服务端接入地址(LANGFUSE_BASE_URL)。
  2. 向助手描述具体的工程目标,如接入链路追踪、评测数据集制作或 CLI 批量管理数据。
  3. 助手实时检索 Langfuse 官方最新文档规范与 API Schema,生成对应的 SDK 埋点代码或 CLI 操作指令。
  4. 在终端执行配置变更与代码验证,并在 Langfuse Web 控制台中确认 Trace 记录与评测指标正常上报。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
进阶
版本
main
最近更新
2026-09-23
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

>-

依赖与权限

  • LANGFUSE_PUBLIC_KEY
  • LANGFUSE_SECRET_KEY
  • LANGFUSE_BASE_URL
  • LANGFUSE_HOST
  • 读取用户主动提供的内容

同类 Skill