本次 homework 的任务是：实现 DP/PP/LoRA 的核心代码，整体代码量非常少，本文对实现要点和一些注意事项进行介绍。 1. Data Parallel DP 部分的待实现代码非常简单，唯一需要提一点的是 ranndom 的相关使用方法：作业规定了不能使用普通的 random.shuffle 而是必须手动从指定 seed 构造 gen = random.Random(seed

ZeRO: Memory Optimizations Toward Training Trillion Parameter Models arXiv 提交日期：4 Oct 2019（Megatron-LM v1 paper 提交约 2 周后，即：17 Sep 2019 -> 4 Oct 2019） 代码：DeepSpeed ZeRO 作者： 摘要 大型深度

DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models arXiv 提交日期：11 Jan 2024 GitHub：DeepSeek-MoE 作者： 摘要 在大语言模型时代，混合专家（MoE）架构是在扩展模型参数规模时控制计算成本的一项极具前景的

DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale arXiv 提交日期：14 Jan 2022（发表于 ICML 2022） 代码：DeepSpeed 作者： 摘要 随着当下超大密集模型（Dense Models）的

Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity arXiv 发布日期：11 Jan 2021（发表于：Journal of Machine Learning Research 2022） 代码：t5x 作者： 摘要 在深度学习中，

GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding arXiv 提交日期：30 Jun 2020（发表于 ICLR 2021） 作者： 摘要 神经网络规模扩展（Scaling） 在拥有海量训练数据和计算资源的许多现实机器学习应用中，对提升模型质量起到了至关重要的

Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM arXiv 提交日期：9 Apr 2021 代码：Megatron-LM 作者： 摘要： 大语言模型在多项任务中均取得了当前最佳（SOTA）的准确率。然而，高效地训练这些模型面临着严峻挑战，原因在于： a) G

Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism arXiv 提交日期：17 Sep 2019（GPT 2 blog 发布约半年后，即：February 14, 2019 -> 17 Sep 2019） 代码：Megatron-LM 作者： 摘要：

GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism arXiv 提交日期：6 Nov 2018 作者： 摘要： 扩大深度神经网络的容量，已被证明是提升多种不同机器学习任务中模型质量的有效方法。在许多情况下，当模型容量增长并超出单个加速器的显存限制时，往往需要开发专门的算

1. Memory Consumption for LLM training DDP 与 MP 回顾： DP 优点： Good compute/communication efficiency 缺点： Poor memory efficiency(Every device has one copy of model) MP 优点：