AI Skill 大全

多模型路由调度

按任务、成本和延迟把请求分派给最合适的大模型

功能与用途

同时接入了 OpenAI、Anthropic、Google 等多家大模型后,如果所有请求都写死给同一家,要么简单任务白花高价,要么复杂任务效果变差,一家服务出故障还会整体停摆。这个技能讲清怎么建模型清单、定路由规则、做统一供应商封装、配降级链和熔断器,并持续跟踪成本与延迟指标。

适用场景

  • 按任务类型精准分流:依据输入特征将代码任务分派给 Claude、视觉转交 Gemini、日常问答走轻量模型。
  • 多级备选链与熔断自愈:为主路由配置主备多级降级路径,在主提供商限流或报错时秒级平滑切流。
  • 请求成本与延迟配额管理:记录各模型实际 Token 开销与响应延迟,为超预算请求自动降级到经济型模型。

适用人群

  • 搭建 LLM 应用的后端或 AI 工程师
  • 负责大模型成本与稳定性优化的平台工程师
  • 管理多家模型供应商接入的技术负责人

使用步骤

  1. 先把各家可用的模型整理成结构化清单,记录能力、价格、上下文长度和限流
  2. 按任务类型(写代码、看图、追求速度、需要创意)定出模型优先级路由表和成本/延迟约束
  3. 给每家 SDK 包一层统一接口,把错误类型归一化并加上重试退避
  4. 为每条路由配置主备降级链,加上健康探针和熔断器,并埋点统计成本、延迟和失败率
  5. 后续用 A/B 实验对比模型版本,按实测数据调整路由权重

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-09
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Use when route AI model requests to the optimal provider based on task,

使用前准备

  • 已开通两家以上大模型供应商的 API 访问与密钥
  • 有后端开发环境,能按示例用 TypeScript 或 Python 编写路由层

依赖与权限

  • 读取用户主动提供的内容

同类 Skill