AI Skill 大全

Dynamo 路由配置

给 Dynamo 推理服务选好路由模式(轮询/KV 感知/最少负载)并启动或打补丁,再跑冒烟确认接口通。

功能与用途

Dynamo 的 frontend 有好几种路由模式,选错或者 KV 模式卡住,接口看起来在跑但性能完全不是那回事。这个 Skill 帮你把基线路由跑起来、按需切到 KV 感知路由(worker 不发 KV 事件时改成近似模式),再用一个脚本确认 /v1/models 和一次对话请求都通。它只管冒烟,不给吞吐延迟结论,也不修 worker 侧的配置问题。

适用场景

  • 刚把 Dynamo recipe 部署好,不确定 front:刚把 Dynamo recipe 部署好,不确定 frontend 该用轮询还是 KV 感知路由,想先把基线跑通再说
  • KV 感知模式一开请求就挂住,需要判断是不是 worker :KV 感知模式一开请求就挂住,需要判断是不是 worker 根本没发 KV 缓存事件,转而用近似模式先恢复服务
  • 要给同事演示 KV 复用带来的差别,但不想直接下吞吐结论,只:要给同事演示 KV 复用带来的差别,但不想直接下吞吐结论,只做一次同条件的冒烟对比
  • 在 Kubernetes 里只改 frontend serv:在 Kubernetes 里只改 frontend service 的路由环境变量,不想动整个 recipe 配置,改完还要立刻验证接口可用

适用人群

  • 推理服务部署工程师
  • GPU 平台运维
  • 大模型基础设施研发

使用步骤

  1. 先建立基线:本地就用 python3 -m dynamo.frontend --router-mode round-robin --http-port 8000 起一个 frontend;K8s 上先看 deploy.yaml 定位 frontend service。
  2. 按需要切模式:本地换成 --router-mode kv,K8s 则只给 frontend service 打 DYN_ROUTER_MODE=kv 的环境变量补丁;worker 不发 KV 事件时同时设 DYN_ROUTER_USE_KV_EVENTS=false。
  3. port-forward 或直连 frontend,跑 scripts/check_router_health.py --base-url 校验 /v1/models 并跑一次 chat completion。
  4. 要做模式对比就用同一模型、同一批 worker 和 prompt、同一并发与采样参数,并说明这只是一次冒烟对比;端点不健康就转去 dynamo-troubleshoot。

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
IT运维与安全
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-18
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Start or patch Dynamo router modes and run router endpoint smoke checks. Use for round-robin, KV-aware, least-loaded, or device-aware routing setup; use recipe-runner for recipe deployment and troubleshoot for failure diagnosis.

使用前准备

  • 需要 Python 3.10+ 且能 import dynamo 包
  • K8s 场景还需配置好的 kubectl 与一个已部署的 Dynamo recipe。

依赖与权限

  • 读取用户主动提供的内容

同类 Skill