LLM Systems 02: GPU Programming
This article is the learning note of CMU 11868 LLM Systems course
Lecture 2. For more details, please refer to the original slides.
0. Recap
Autoregressive Language Model: \(P\left(
x_{1..T}
LLM Systems 01: Introduction
This article is the learning note of CMU 11868 LLM Systems course
Lecture 1. For more details, please refer to the original slides.
0. Learning Objective of This
Course
Understand key techni
读论文：Distributed LLM Serving Scheduling
0. Background
不同工作负载 prompts/response token
数之比、共享前缀比例、共享一个前缀的 request 数量：
关键问题：实现最大 KV Cache 复用与 GPU 间负载均衡
Load balance ratio(CV) is: \[
CV = \frac{ \sqrt{ \frac{1}{n} \sum_{i=1}^{n}{\le
从 AlphaGo 到 ChatGPT，AI 浪潮下一名普通 00 后的十年
毕业工作后，博客月更似乎已经成为奢望。日复一日的工作的确让人少了许多输入和输出的时间与精力。今日机缘巧合，突然想记录如今这一波
AI 浪潮下，一名普通 00 后视角下对一些标志性事件的个人印象和经历。拥抱
AI，也许是这个时代必须做出的选择。
2016 春：AlphaGo
虽然如今 AI
这个词已经随处可见，人脸识别、指纹识别和语音助手等早已融入我们的日常生活。但是在我的记忆中，
读论文：The Landscape of GPU-Centric Communication
Title：The Landscape of GPU-Centric
Communication
arXiv：https://arxiv.org/abs/2409.09874
1. 术语与通信类型
节点内（intro-node）通信：
API：程序员或库在何处进行通信 API 调用。
Data Path：指示谁参与了数据移动，并显示相应的数据路径。
节点间（i
如何提高暑期实习转正概率？
五一假期结束后，有不少同学即将入职，开启暑期实习生活。不管对目前的实习
offer 满意程度如何，相信有不少同学还是希望能够争取到转正机会，拿个保底
offer，大大提升自己秋招时的底气，争取更加满意的
offer。那么，我们应该采取哪些行动，提升自己暑期实习的转正概率呢？本文就这个问题进行一些探讨，希望能够帮助到需要的同学。
1.
投递简历前调研：哪些公司/部门真的在招人？
在开始讨
向量检索与向量数据库入门指南
最近考研分数放出，有很多同学即将开始研究生生涯。科研方向的选择和入门，是研究生面临的重要问题之一。随着人工智能、大语言模型等技术的火热发展，向量检索与向量数据库得到了工业界和学术界的不少关注。国内外也不乏一些做向量检索或向量数据库方向的课题组和老师。因此，本文对笔者读研阶段入门向量检索与向量数据库的学习路线进行分享，希望能够抛砖引玉，提供些参考。
1. 2025
年了，还推荐进入向量检
闲书阅读记录：致最后的寒假
本文分享下今年寒假期间翻过的几本书，以此记录人生的最后一个长达一个多月的寒假。
1. 经济学通识课
链接：经济学通识课
(豆瓣)
个人推荐指数：8 / 10
这本书虽然叫《经济学通识课》，但是个人认为其更像一本简要介绍经济学史的读物。全书基本按时间顺序，介绍了历史上出现过的主流经济学理论，包括古希腊时期的理论、马克思恩格斯的经济学观点、现代的凯恩斯主义等。作为一名经济学方面的小白