0. Background 不同工作负载 prompts/response token 数之比、共享前缀比例、共享一个前缀的 request 数量： 关键问题：实现最大 KV Cache 复用与 GPU 间负载均衡 Load balance ratio(CV) is: \[ CV = \frac{ \sqrt{ \frac{1}{n} \sum_{i=1}^{n}{\le

毕业工作后，博客月更似乎已经成为奢望。日复一日的工作的确让人少了许多输入和输出的时间与精力。今日机缘巧合，突然想记录如今这一波 AI 浪潮下，一名普通 00 后视角下对一些标志性事件的个人印象和经历。拥抱 AI，也许是这个时代必须做出的选择。 2016 春：AlphaGo 虽然如今 AI 这个词已经随处可见，人脸识别、指纹识别和语音助手等早已融入我们的日常生活。但是在我的记忆中，

Title：The Landscape of GPU-Centric Communication arXiv：https://arxiv.org/abs/2409.09874 1. 术语与通信类型 节点内（intro-node）通信： API：程序员或库在何处进行通信 API 调用。 Data Path：指示谁参与了数据移动，并显示相应的数据路径。 节点间（i

五一假期结束后，有不少同学即将入职，开启暑期实习生活。不管对目前的实习 offer 满意程度如何，相信有不少同学还是希望能够争取到转正机会，拿个保底 offer，大大提升自己秋招时的底气，争取更加满意的 offer。那么，我们应该采取哪些行动，提升自己暑期实习的转正概率呢？本文就这个问题进行一些探讨，希望能够帮助到需要的同学。 1. 投递简历前调研：哪些公司/部门真的在招人？ 在开始讨

最近考研分数放出，有很多同学即将开始研究生生涯。科研方向的选择和入门，是研究生面临的重要问题之一。随着人工智能、大语言模型等技术的火热发展，向量检索与向量数据库得到了工业界和学术界的不少关注。国内外也不乏一些做向量检索或向量数据库方向的课题组和老师。因此，本文对笔者读研阶段入门向量检索与向量数据库的学习路线进行分享，希望能够抛砖引玉，提供些参考。 1. 2025 年了，还推荐进入向量检

本文分享下今年寒假期间翻过的几本书，以此记录人生的最后一个长达一个多月的寒假。 1. 经济学通识课 链接：经济学通识课 (豆瓣) 个人推荐指数：8 / 10 这本书虽然叫《经济学通识课》，但是个人认为其更像一本简要介绍经济学史的读物。全书基本按时间顺序，介绍了历史上出现过的主流经济学理论，包括古希腊时期的理论、马克思恩格斯的经济学观点、现代的凯恩斯主义等。作为一名经济学方面的小白

本文简要记录如何在 Windows 11 + WSL2 上安装 CUDA 开发环境。 1. 安装 WSL2 在开始之前，先确保在 Windows 系统上安装了 WSL 相关环境，可参考本站点之前的博客：使用 WSL 搭建 Linux 开发环境。 2. 安装/更新 Windows GPU 驱动 安装好 WSL 后，需要在 Windows 上安装或更新 GPU 驱动。 一般而言，

前段时间忙着秋招和论文，现在总算有些时间写点东西，总结下一名普通 C++ 选手视角下的秋招，以及一点体会。 免责声明： 本文仅代表笔者个人主观、片面、浅薄的观点，不构成职业选择建议。 1. 个人情况 正式开始之前还是先介绍下个人情况，211 CS 科班本硕，研究生期间做过一段时间计算机视觉，后跑路转向系统方向。在系统方向属于无论文、无竞赛、无开源的三无产品，纯靠 CMU 15

首先前排声明，本文非广告，仅仅是看到本书（从零构建向量数据库 (豆瓣)），觉得非常适合改编为 C++ 基架选手的校招项目，在此分享给可能需要的同学。 另外还要做个免责声明：本文不构成职业选择建议。 如何丰富简历上的项目经历是校招生老大难的一个问题了，对 C++ 选手尤甚。从上古年度的 Web Server 走天下，到现在的人均 15445、6.824、6.S081，日益激烈的竞

本文是论文 What Goes Around Comes Around... And Around... 的阅读记录，该论文由图灵奖得主 Michael Stonebraker 和 CMU 多门知名数据库课程的负责人 Andy Pavlo 合作发表于 SIGMOD 2024。该论文总结回顾了 2005 年以来，数据库领域在 20 年内的发展与变化，并给出了不少对数据库领域未来发展的预