大模型部署
用 Ollama、vLLM、llama.cpp 把大模型部署成可调用的本地接口
功能与用途
出于数据隐私或调用成本考虑,想把大模型跑在自己的机器或服务器上,还要对外提供兼容 OpenAI 的接口。它覆盖本地推理(Ollama、llama.cpp、LM Studio)、高吞吐服务(vLLM、TGI)、量化方案(GGUF、GPTQ、AWQ)以及显存优化和多卡张量并行,给出可直接执行的命令和参数建议。
适用场景
- 个人设备轻量部署:在 24GB 显存以内的本地工作站上,利用 Ollama 或 llama.cpp 快速运行量化模型。
- 生产级高吞吐接口搭建:使用 vLLM 或 TGI 结合多卡张量并行与显存优化,搭建兼容 OpenAI 标准的生产推理服务。
- 私有化算力成本优化:通过 GGUF、GPTQ 或 AWQ 等量化方案降低大模型显存占用,在有限算力下压测吞吐与延迟。
适用人群
- 要在内网私有化部署大模型的运维工程师、在 24GB 以下消费级显卡上跑模型的算法工程师、做自有推理服务的后端开发
使用步骤
- 按场景选路线:本地单人用选 Ollama 或 llama.cpp,要多人高并发选 vLLM 或 TGI
- 拉取或转换模型权重,显存不够的先用 GGUF 或 GPTQ、AWQ 量化
- 按显卡数量配张量并行和显存占用比例,启动服务并暴露 OpenAI 兼容接口
- 跑一轮基准测试,实测吞吐和 p50、p99 延迟,再回来调参
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-09
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Use when lLM deployment and serving — vLLM, Ollama, TGI, llama.cpp. Model
使用前准备
- 具备 GPU 的机器和对应的驱动、CUDA 环境
- 需要命令行操作能力,部分方案(llama.cpp)需本地编译
- 本地要有模型权重或能下载模型的网络条件
依赖与权限
- 读取用户主动提供的内容