Dynamo 路由配置
给 Dynamo 推理服务选好路由模式(轮询/KV 感知/最少负载)并启动或打补丁,再跑冒烟确认接口通。
功能与用途
Dynamo 的 frontend 有好几种路由模式,选错或者 KV 模式卡住,接口看起来在跑但性能完全不是那回事。这个 Skill 帮你把基线路由跑起来、按需切到 KV 感知路由(worker 不发 KV 事件时改成近似模式),再用一个脚本确认 /v1/models 和一次对话请求都通。它只管冒烟,不给吞吐延迟结论,也不修 worker 侧的配置问题。
适用场景
- 刚把 Dynamo recipe 部署好,不确定 front:刚把 Dynamo recipe 部署好,不确定 frontend 该用轮询还是 KV 感知路由,想先把基线跑通再说
- KV 感知模式一开请求就挂住,需要判断是不是 worker :KV 感知模式一开请求就挂住,需要判断是不是 worker 根本没发 KV 缓存事件,转而用近似模式先恢复服务
- 要给同事演示 KV 复用带来的差别,但不想直接下吞吐结论,只:要给同事演示 KV 复用带来的差别,但不想直接下吞吐结论,只做一次同条件的冒烟对比
- 在 Kubernetes 里只改 frontend serv:在 Kubernetes 里只改 frontend service 的路由环境变量,不想动整个 recipe 配置,改完还要立刻验证接口可用
适用人群
- 推理服务部署工程师
- GPU 平台运维
- 大模型基础设施研发
使用步骤
- 先建立基线:本地就用 python3 -m dynamo.frontend --router-mode round-robin --http-port 8000 起一个 frontend;K8s 上先看 deploy.yaml 定位 frontend service。
- 按需要切模式:本地换成 --router-mode kv,K8s 则只给 frontend service 打 DYN_ROUTER_MODE=kv 的环境变量补丁;worker 不发 KV 事件时同时设 DYN_ROUTER_USE_KV_EVENTS=false。
- port-forward 或直连 frontend,跑 scripts/check_router_health.py --base-url 校验 /v1/models 并跑一次 chat completion。
- 要做模式对比就用同一模型、同一批 worker 和 prompt、同一并发与采样参数,并说明这只是一次冒烟对比;端点不健康就转去 dynamo-troubleshoot。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- IT运维与安全
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-18
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Start or patch Dynamo router modes and run router endpoint smoke checks. Use for round-robin, KV-aware, least-loaded, or device-aware routing setup; use recipe-runner for recipe deployment and troubleshoot for failure diagnosis.
使用前准备
- 需要 Python 3.10+ 且能 import dynamo 包
- K8s 场景还需配置好的 kubectl 与一个已部署的 Dynamo recipe。
依赖与权限
- 读取用户主动提供的内容