搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。
本地离线模型搭建指南将按照以下四个部分展开
- 中文大语言模型底座选择依据
- 本地运行显卡选择
- RAG架构实现
- LLaMA-Factory训练框架及工具
4 训练架构及工具
4.1 为什么要使用LLaMA-Factory进行训练
LLaMA-Factory是一个专为大模型训练设计的开源平台，具有以下几个优势：
- 快速学习和应用： 对于没有微调大模型经验的用户，通过学习LLaMA-Factory后，可以快速地训练出自己需要的模型。
- 理解微调技术： 对于技术人员，LLaMA-Factory提供了一个很好的学习平台，通过阅读源码，可以深入了解大模型的微调技术。
- 捷径： LLaMA-Factory为用户提供了一条走向大模型微调的捷径，使用户能够快速掌握相关概念和技术。
4.2 LLaMA-Factory训练所能解决的问题
- 大模型的实际应用： 企业想要利用大模型进行实际应用时，必须懂得微调的过程，而LLaMA-Factory提供了一个实用的平台来实现这一点。
- 个性化模型训练： 用户可以通过LLaMA-Factory快速训练出适合自己需求的模型，满足不同领域的具体要求。
- 技术理解和提升： 技术人员可以通过LLaMA-Factory的源码学习，进一步理解大模型的微调技术，并应用于实际项目中。
4.3 LLaMA-Factory的训练步骤和方法
4.3.1 模型训练阶段
- 预训练阶段（Pre-Training）：
预训练是大模型训练的初始阶段，主要目的是通过大规模数据集训练基础模型。这一步是最消耗计算资源的，通常需要使用大量的计算集群。 - 监督微调阶段（Supervised Finetuning, SFT）：
这个阶段的训练数据质量较高，通常由人工筛选或生成。经过这个阶段的模型已经具备上线的能力。 - 基于人类反馈的强化学习（RLHF）：
- 奖励建模阶段（Reward Modeling）： 在这个阶段，模型不仅输出预测的内容，还输出一个奖励值（评分值），用于后续的强化学习。
- 强化学习阶段（Reinforcement Learning）： 通过奖励模型对多个输出进行评分，并基于评分进行加权，反向传播调整模型参数。
4.3.2 模型训练模式
根据具体需求，可以选择不同的训练模式：
- 模式一： 基于base模型 + 领域任务的SFT
- 模式二： 基于base模型 + 领域数据 continue pre-train + 领域任务SFT
- 模式三： 基于base模型 + 领域数据 continue pre-train + 通用任务SFT + 领域任务SFT
- 模式四： 基于base模型 + 领域数据 continue pre-train + 通用任务与领域任务混合SFT
- 模式五： 基于base模型 + 领域数据 continue pre-train（混入SFT数据 + 通用任务与领域任务混合SFT）
- 模式六： 基于chat模型 + 领域任务SFT
- 模式七： 基于chat模型 + 领域数据 continue pre-train + 领域任务SFT
4.3.3 是否需要继续预训练（continue pre-train）
- 数据集差异大： 如果领域任务的数据集与预训练的数据集差异较大，建议进行continue pre-train。
- 数据量较大： 如果领域任务的数据量较大（token在1B以上），并且只追求领域任务的效果，也建议进行continue pre-train。
4.3.4 选择chat模型还是base模型
- base模型： 如果希望模型的通用能力不下降，建议选择base模型进行多任务混合训练。
- chat模型： 如果只追求领域任务的效果，可以选择chat模型进行领域任务的SFT。
4.4 实践建议
- 资源充足： 如只考虑领域任务效果，建议选择模式二；如考虑模型综合能力，建议选择模式五。
- 资源有限： 建议选择模式六。
- 一般情况下： 不进行RLHF微调。
4.5 开发工具库
LLaMA-Factory使用了一些关键的开发工具库，包括Transformers和PEFT库，后者提供了多种高效的微调方法，如LoRA、AdaLoRA、P-tuning等。
通过以上步骤和方法，用户可以有效地使用LLaMA-Factory进行大模型的微调训练，满足不同领域和任务的需求。
4.6 本地LLaMA-Factory训练模型实践运行配置
| 底座 | 包含模型 | 模型参数大小 | 机器配置 | 显存大小 | 是否可运行 |
|---|---|---|---|---|---|
| ChatGLM | ChatGLM3-6B | 6B | CPU 16核心 32G内存 | 无 | 未测试 |
| ChatGLM | ChatGLM3-6B | 6B | 显卡4070Ti | 16G | 可以 |
| ChatGLM | ChatGLM4-9B | 9B | 显卡4070Ti | 16G | 未测试 |
| LLaMA | Chinese-LlaMA2 | 7B | 显卡3060Ti | 8G | 未测试 |
| Qwen | Qwen1.5 | 7B | 显卡4070Ti | 16G | 可以 |
更多详细信息，请访问
从LLaMA-Factory项目认识微调
LLaMA-Factory QuickStart
5 结论
搭建本地中文大语言模型是一个复杂而系统的工程，涉及模型选择、硬件配置、框架选择、架构实现、训练工具和方法等多个方面。通过合理选择和配置，可以在本地成功搭建并运行一个高性能的中文大语言模型。
更多详细信息，请访问
从LLaMA-Factory项目认识微调
LLaMA-Factory QuickStart
