0. Recap Learning parameters of an NN needs gradient calculation Computation Graph to perform computation: topological traversal along the DAG Auto Differentiation building backward compu

0. Recap Tiling for efficient matrix computation Use shared memory to reduce global memory access Roofline Model & Computational Intensity Coalesced memory access Understanding the ch

本次作业主要涉及两个文件： llmsys_hw1/minitorch/cuda_kernel_ops.py：Python 侧调用 kernel 编译成的 .so 接口 llmsys_hw1/src/combine.cu：CUDA kernel 实现 完成本次作业的主要预备知识要求是掌握基本的 CUDA 编程能力（如：按照课程 readings 要求完成 PMPP 这本书前 6

本章主要内容 present the off-chip memory (DRAM) architecture and discuss related performance considerations such as memory coalescing and memory latency hiding. discuss an important type of optimizati

本章主要关注 GPU 的 on-chip memory，重点是利用 shared memory 减少 global memory 访问，提升 kernel 性能。 Importance of memory access efficiency Compute to Global Memory Access Ratio（算术强度 / 计算强度） 定义： 指程序某区域内，每

Architecture of a modern GPU GPU 计算单元由若干个 SM 组成（通常几十到一百多） 每个 SM 有若干个处理单元，称为 CUDA Cores（简称 cores） Memory（on-chip memory） Example：A100 GPU，108 SMs，每个 SM 64 个 cores global memory（off-chip

多维 grid & block gridDim gridDim.x 范围：[1, 2^{31} -1] gridDim.y & gridDim.z 范围：[1, 2^{16} -1] blockDim 最多 1024 线程（blockDim.x blockDim.y blockDim.z <= 1024） blockIdx threadId

以 RGB 图片 -> 灰度图片转换为例，说明 Data Parallel 如何运行并行计算： CUDA 编程步骤： 分配 device global memory 拷贝 host memory 内容到 device memory launch kernel 在 device 进行计算 从 device 拷贝计算结果到 host 释放 device 内存 注：

CPU vs. GPU 2003 年摩尔定律失效后，单核心 CPU 的频率/性能增长有限，新一代 CPU 的单核性能往往提升很小。面对这一问题 ，半导体产业产生了两条解决路径： 多核（multicore）CPU 多线程（multi-thread）GPU 在浮点运算性能（FLOPs）上，GPU 已经远远超过 CPU。这是因为二者设计哲学的区别： CPU 设计目的是优化

0. Recap Basic GPU CUDA operations memory allocation data movement creating threads and running on SMs specifying number of threads and number of blocks in a grid referring to data in GP