本地大模型选型与部署
输入电脑配置和模型用途,筛选适配的模型与量化版本,生成本地运行命令及兼容接口启动方案。
功能与用途
适合想在自己电脑上运行大模型、为应用提供本地模型接口的用户。提供操作系统、内存或显存容量、显卡类型及聊天或编程等用途后,可从 Hugging Face 筛选适配模型,选择量化版本,确认具体下载文件,并获得命令行运行或服务启动命令。也可在缺少现成 GGUF 文件时指导转换,提供兼容 OpenAI 接口的调用测试。使用前需具备命令行操作基础,并安装 llama.cpp;受限模型需要相应访问权限。
适用场景
- 按电脑配置选择模型:结合内存、显存和聊天或编程需求,筛选可本地运行的模型及合适量化版本。
- 为应用启动本地模型接口:生成 llama-server 启动命令及接口测试请求,供应用接入本地模型。
- 定位仓库中的准确模型文件:核对 GGUF 文件名,区分主模型与投影权重,生成指定文件的运行命令。
- 转换缺少GGUF的模型:为仅提供 Transformers 权重的模型整理格式转换和量化命令。
适用人群
- 本地大模型部署者
- AI应用开发者
- 希望离线运行模型的技术用户
使用步骤
- 提供电脑配置、模型用途及已有仓库地址。
- 筛选适配的GGUF模型并选择量化版本。
- 核对准确文件名,获取运行或服务启动命令。
- 执行命令,测试模型回复或本地接口。
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- AI工作流
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes Agent、国内 Agent
- 使用难度
- 进阶
- 版本
- main
- 最近更新
- 2026-11-03
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Use to select models to run locally with llama.cpp and GGUF on CPU, Mac Metal, CUDA, or ROCm. Covers finding GGUFs, quant selection, running servers, exact GGUF file lookup, conversion, and OpenAI-compatible local serving.
使用前准备
- 能使用终端执行命令,并安装或编译 llama.cpp。
- 提供操作系统、内存容量、显卡及显存信息,便于选择模型。
- 从 Hugging Face 获取模型需具备网络访问条件;受限仓库需账号授权。
- 若需转换模型,需准备原始权重和相应转换脚本运行环境。