课程定位
CS 349E(EE 339)由 Mark Horowitz、Fredrik Kjolstad 等讲授,是系统 + 算法 + 硬件的硬核课。它讨论如何在异构机器上以低延迟、高吞吐、低成本服务大模型,覆盖量化、分布式 serving、性能建模、kernel 编程和 AI 编译器。
主要内容
- 模型优化:量化、剪枝、蒸馏、投机解码
- 分布式 serving:张量并行、流水线、PD 分离
- AI 硬件:GPU/TPU/专用加速器、内存墙
- 性能建模:roofline、带宽/算力/延迟
- Kernel 编程:CUDA/Triton、融合、tiling
- AI 编译器:图优化、算子选择、代码生成
- 项目:端到端推理优化
课程大纲 / 课件
课程 readings 和 slides 以课程站 schedule 为准。
先修
计算机体系结构、操作系统、ML 基础;强编程能力。
考核与工作量
作业 + 项目,偏实现与性能测量。具体以当季官网为准。
适合谁
想做推理性能、AI 芯片、编译器的研究生/工程师;系统方向想深入 ML 的人。
学习建议
先补 CS 217/CS 149。准备好跑 benchmark,不要只看论文数字。
相关课程
官方课程描述(英文原文)
A graduate-level course focused on principles and techniques for designing and building large-scale disaggregated AI inference systems. The course explores architectural, algorithmic, system-level, and kernel implementation techniques for serving models with low latency, high throughput, and low cost on heterogeneous machines. Topics include model optimization techniques, distributed serving, AI hardware and performance modelling, kernel programming, and AI compilers. Class website: cs349e.github.io