AI Skill 大全

大模型微调训练

用自有数据以 LoRA/QLoRA 微调大模型、评测并部署

功能与用途

当通用大模型在某个专业领域(法律、医疗、代码等)表现不够好时,可以用自己的数据做微调,让模型专精于这类任务。这个技能给出从数据准备、LoRA/QLoRA 训练配置、评测基准到合并权重和一体部署的完整代码与参数建议,还标注了不同模型规模所需的显存,方便你判断自己机器能不能跑。

适用场景

  • 行业垂类专属模型定制:整理法律、医疗或内部业务语料,通过指令微调让开源基座模型掌握专业问答规范。
  • 消费级显卡轻量化高效训练:采用 QLoRA 4-bit 量化与 LoRA 低秩适配方案,在单张消费级 GPU 上完成参数微调。
  • 权重合并与本地轻量部署:将训练好的 LoRA 适配层与基座权重合并导出,并转换为 Ollama 或 vLLM 可运行格式。

适用人群

  • 做模型定制训练的算法工程师
  • 需要领域专用模型的 AI 应用开发者
  • 负责模型上线的机器学习运维人员

使用步骤

  1. 把训练数据整理成 instruction/chat 格式,并按清单检查样本量、格式一致性和去重
  2. 选择基座模型与训练方式(LoRA 或 4bit 量化的 QLoRA),按显存对照表确认硬件是否够用
  3. 配置 rank、学习率、epoch 等超参数并启动训练,注意小数据集要控制训练轮数避免过拟合
  4. 训练完成后用评测基准跑分,把 LoRA 权重合并进基座模型,再用 Ollama 或 vLLM 部署成可调用服务

开始使用

将需求和 Skill 名称发送给已连接 SkillPX MCP 的 AI 助手,核对适用工具和安装要求。

查看 MCP 接入说明

技术信息

分类
编程
适用工具
Codex、Claude Code、OpenClaw、Hermes、国内 Agent
使用难度
专业
版本
main
最近更新
2026-09-09
文件数
3
安装包大小
自动生成 ZIP
安全检查
基础检查通过

Use when fine-tune LLMs and ML models — LoRA, QLoRA, PEFT, Hugging Face.

使用前准备

  • Python 环境以及 transformers、peft、trl、datasets 等依赖
  • 带显存的 GPU(QLoRA 4bit 下 7B 约需 6GB、13B 约需 10GB、70B 约需 36GB)
  • 已准备好成对的领域训练数据,以及 Hugging Face 账号(如需上传权重)

依赖与权限

  • 读取用户主动提供的内容

同类 Skill