AI Skill 大全

大模型部署

用 Ollama、vLLM、llama.cpp 把大模型部署成可调用的本地接口

功能与用途

出于数据隐私或调用成本考虑,想把大模型跑在自己的机器或服务器上,还要对外提供兼容 OpenAI 的接口。它覆盖本地推理(Ollama、llama.cpp、LM Studio)、高吞吐服务(vLLM、TGI)、量化方案(GGUF、GPTQ、AWQ)以及显存优化和多卡张量并行,给出可直接执行的命令和参数建议。

适用场景

  • 个人设备轻量部署:在 24GB 显存以内的本地工作站上,利用 Ollama 或 llama.cpp 快速运行量化模型。
  • 生产级高吞吐接口搭建:使用 vLLM 或 TGI 结合多卡张量并行与显存优化,搭建兼容 OpenAI 标准的生产推理服务。
  • 私有化算力成本优化:通过 GGUF、GPTQ 或 AWQ 等量化方案降低大模型显存占用,在有限算力下压测吞吐与延迟。

适用人群

  • 要在内网私有化部署大模型的运维工程师、在 24GB 以下消费级显卡上跑模型的算法工程师、做自有推理服务的后端开发

使用步骤

  1. 按场景选路线:本地单人用选 Ollama 或 llama.cpp,要多人高并发选 vLLM 或 TGI
  2. 拉取或转换模型权重,显存不够的先用 GGUF 或 GPTQ、AWQ 量化
  3. 按显卡数量配张量并行和显存占用比例,启动服务并暴露 OpenAI 兼容接口
  4. 跑一轮基准测试,实测吞吐和 p50、p99 延迟,再回来调参

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
AI工作流
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-09
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Use when lLM deployment and serving — vLLM, Ollama, TGI, llama.cpp. Model

使用前准备

  • 具备 GPU 的机器和对应的驱动、CUDA 环境
  • 需要命令行操作能力,部分方案(llama.cpp)需本地编译
  • 本地要有模型权重或能下载模型的网络条件

依赖与权限

  • 读取用户主动提供的内容

同类 Skill