大模型微调训练
用自有数据以 LoRA/QLoRA 微调大模型、评测并部署
功能与用途
当通用大模型在某个专业领域(法律、医疗、代码等)表现不够好时,可以用自己的数据做微调,让模型专精于这类任务。这个技能给出从数据准备、LoRA/QLoRA 训练配置、评测基准到合并权重和一体部署的完整代码与参数建议,还标注了不同模型规模所需的显存,方便你判断自己机器能不能跑。
适用场景
- 行业垂类专属模型定制:整理法律、医疗或内部业务语料,通过指令微调让开源基座模型掌握专业问答规范。
- 消费级显卡轻量化高效训练:采用 QLoRA 4-bit 量化与 LoRA 低秩适配方案,在单张消费级 GPU 上完成参数微调。
- 权重合并与本地轻量部署:将训练好的 LoRA 适配层与基座权重合并导出,并转换为 Ollama 或 vLLM 可运行格式。
适用人群
- 做模型定制训练的算法工程师
- 需要领域专用模型的 AI 应用开发者
- 负责模型上线的机器学习运维人员
使用步骤
- 把训练数据整理成 instruction/chat 格式,并按清单检查样本量、格式一致性和去重
- 选择基座模型与训练方式(LoRA 或 4bit 量化的 QLoRA),按显存对照表确认硬件是否够用
- 配置 rank、学习率、epoch 等超参数并启动训练,注意小数据集要控制训练轮数避免过拟合
- 训练完成后用评测基准跑分,把 LoRA 权重合并进基座模型,再用 Ollama 或 vLLM 部署成可调用服务
开始使用
将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。
技术信息
- 分类
- 编程
- 适用工具
- Codex、Claude Code、OpenClaw、Hermes、国内 Agent
- 使用难度
- 专业
- 版本
- main
- 最近更新
- 2026-09-09
- 文件数
- 3
- 安装包大小
- 自动生成 ZIP
- 安全检查
- 基础检查通过
Use when fine-tune LLMs and ML models — LoRA, QLoRA, PEFT, Hugging Face.
使用前准备
- Python 环境以及 transformers、peft、trl、datasets 等依赖
- 带显存的 GPU(QLoRA 4bit 下 7B 约需 6GB、13B 约需 10GB、70B 约需 36GB)
- 已准备好成对的领域训练数据,以及 Hugging Face 账号(如需上传权重)
依赖与权限
- 读取用户主动提供的内容