框架	核心定位	适合人群
ms-swift	企业级大模型微调全流程框架	想快速做SFT、LoRA、DPO、部署的人
Firefly	轻量中文大模型微调框架	个人研究、中文任务、小规模实验
DeepSpeed Examples	分布式训练底层方案	研究大规模训练、懂工程的人
Unsloth	极致优化LoRA微调速度和显存	单卡/小显存快速微调
LLaMA-Factory	最流行的一站式微调平台	大多数微调任务首选
FastChat	对话模型训练+评测+部署	聊天机器人、模型服务

1. 定位区别

① ms-swift

ms-swift 是阿里魔搭生态中的大模型训练框架。

它的特点：

“工业化的大模型微调工具链”

支持：

• SFT
• LoRA
• QLoRA
• DPO
• PPO
• GRPO
• 多模态
• Agent训练

支持模型：

• Qwen系列
• Llama系列
• Baichuan
• ChatGLM
• InternLM等

优势：

✅ 中文生态强
✅ 模型支持多
✅ CLI参数丰富
✅ 适合企业生产

缺点：

❌ 参数多，学习成本高
❌ 对初学者稍复杂

适合：

企业知识库、行业模型、智能体训练

---

2. Firefly

Firefly定位比较简单：

一个中文大模型微调框架

主要支持：

• LoRA
• QLoRA
• P-Tuning
• 全参数微调

优势：

✅ 代码简单
✅ 中文资料多
✅ 适合学习原理

缺点：

❌ 工业化能力弱
❌ 大规模训练支持有限

适合：

例如：

Llama3
Qwen
ChatGLM

+
你的业务数据

训练一个领域助手

3. DeepSpeedExamples

DeepSpeed 本身不是微调框架。

它更底层。

作用：

解决：

• 多GPU训练
• 显存优化
• 并行计算

核心：

ZeRO

例如：

普通训练：

GPU1:
模型
梯度
优化器

GPU2:
模型
梯度
优化器

DeepSpeed：

GPU1:
模型一部分

GPU2:
另一部分

优势：

✅ 大模型训练必备
✅ 工业级

缺点：

❌ 使用复杂
❌ 需要理解训练流程

适合：

70B、405B级别训练。

---

4. Unsloth

Unsloth 最近非常火。

核心：

用CUDA优化LoRA微调

特点：

速度：

通常：

普通LoRA

↓

Unsloth

速度提升2-5倍
显存降低30%-70%

例如：

原来：

24GB显卡
训练7B模型困难

Unsloth：

24GB
可以训练7B/14B

优势：

✅ 极快
✅ 省显存
✅ 单卡友好

缺点：

❌ 主要针对LoRA
❌ 高级训练策略支持少

适合：

个人开发者。

---

5. LLaMA-Factory

LLaMA-Factory

目前非常热门。

定位：

大模型微调界的“瑞士军刀”

支持：

训练：

• SFT
• LoRA
• QLoRA
• DPO
• ORPO
• PPO

模型：

• Llama
• Qwen
• ChatGLM
• Mistral
• Gemma

特点：

有：

• Web UI
• CLI
• 数据格式统一

例如：

不用写代码：

选择模型
选择数据
选择LoRA
点击训练

优势：

✅ 最容易上手
✅ 社区最大
✅ 教程最多

缺点：

❌ 极限性能不如Unsloth
❌ 超大规模不如DeepSpeed

---

6. FastChat

FastChat

这个和前几个不同。

它主要做：

聊天模型系统

包括：

训练

例如：

Vicuna训练流程

部署

提供：

模型
 |
Controller
 |
Worker
 |
Web UI

评测

例如：

Chatbot Arena

优势：

✅ 对话系统成熟
✅ 部署方便

缺点：

❌ 不是主要微调框架