QLoRA: Efficient Finetuning of Quantized LLMs arXiv 提交日期：23 May 2023 代码：QLoRA bitsandbytes 作者： 摘要 我们提出了 QLoRA，这是一种高效的微调方法，能够在保持完整 16 位微调任务性能的同时大幅降低显存占用，从而实现在单张 48GB GPU 上对 650 亿（65B）参

LoRA: Low-Rank Adaptation of Large Language Models arXiv 提交日期：17 Jun 2021 代码：LoRA 作者： 摘要 自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，随后针对特定任务或领域进行适配。随着预训练模型规模的不断增大，重新训练所有模型参数的全参数微调（Full Fine-Tuning）

SGLang: Efficient Execution of Structured Language Model Programs arXiv 提交日期：12 Dec 2023 代码：SGLang 作者： 摘要 大语言模型正越来越多地被用于处理复杂任务，这些任务往往需要多次生成调用、高级提示（Prompt）技术、控制流以及结构化输入/输出。然而，目前尚缺乏高效的系统来对

Efficient Memory Management for Large Language Model Serving with PagedAttention arXiv 提交日期：12 Sep 2023（发表于 SOSP 2023） 代码：vllm 作者： 摘要 大语言模型（LLM）的高吞吐量服务需要一次性对足够多的请求进行批处理（Batching）。 然而，由于

ORCA: A Distributed Serving System for Transformer-Based Generative Models 发表于 OSDI 2022 作者： 摘要 用于生成任务的大规模 Transformer 模型（例如 GPT-3）近年来引发了巨大关注，凸显了为此类模型提供系统级服务（Serving）支持的迫切需求。由于这类模型以自回归的

Online normalizer calculation for softmax arXiv 发布日期：8 May 2018 代码：online-softmax 作者： 摘要： Softmax 函数在机器学习中无处不在，此前多项研究曾为其提出过更快的替代方案。在本文中，我们提出了一种以更少内存访问（访存）次数计算经典 Softmax 的方法，并假设这种访存开销的降

GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers arXiv 提交日期：31 Oct 2022（发表于 ICLR 2023） 代码：gptq GitHub repo 作者： 摘要 生成式预训练 Transformer 模型（如 GPT 或 OPT）

1. Paged Attention: Efficient memory management for KV cache 略，PagedAttention paper 覆盖 slides 这一部分主要内容。 2. vLLM: A real-world open-source inference engine 2.1 Overview 2.1.1 What is vLLM? vLL

1. Overview of LLM Inference Server LLM Serving 系统总体架构如上图所示 Web Server 接收用户请求，并发送给后端推理引擎； 推理引擎进行模型推理 & KV Cache 存储与管理等。 LLM Serving Pattern 单轮多用户生成 (Multi-user Single Round Ge

0. Recap 之前课程主线： LLM 简介 CUDA 编程基础 深度学习框架（自动求导） Transformer/Pre-trained LLM LLM 前后两个辅助组件：Tokenizer 与 Decoding Transformer 加速：Kernel Fusion & Mix-precision & Memory Management Optimiza