Stanford AI 课程地图 EN GitHub ↗
← 返回课程地图
Stanford · 2026—27 CS 349E ML 系统与硬件 ★★★★★

核心课程 · ML 系统与硬件

大规模高效 ML 推理

Efficient ML Inference at Scale (EE 339)

大规模高效推理:模型优化、分布式 serving、AI 硬件、kernel、编译器。

3 学分 2026 秋 Letter or Credit/No Credit ★★★★★
推理性能硬件编译

课程定位

CS 349E(EE 339)由 Mark Horowitz、Fredrik Kjolstad 等讲授,是系统 + 算法 + 硬件的硬核课。它讨论如何在异构机器上以低延迟、高吞吐、低成本服务大模型,覆盖量化、分布式 serving、性能建模、kernel 编程和 AI 编译器。

主要内容

  1. 模型优化:量化、剪枝、蒸馏、投机解码
  2. 分布式 serving:张量并行、流水线、PD 分离
  3. AI 硬件:GPU/TPU/专用加速器、内存墙
  4. 性能建模:roofline、带宽/算力/延迟
  5. Kernel 编程:CUDA/Triton、融合、tiling
  6. AI 编译器:图优化、算子选择、代码生成
  7. 项目:端到端推理优化

课程大纲 / 课件

#主题 / 讲者
01Introduction / Rooflines
02Model Optimization & Quantization
03Distributed Serving
04Disaggregated Serving
05AI Hardware & Performance Modeling
06Kernel Development
07Kernel Optimization Techniques
08ML Compilers: Frontends
09ML Compilers: Backends
10Agentic Kernel Generation

课程 readings 和 slides 以课程站 schedule 为准。

先修

计算机体系结构、操作系统、ML 基础;强编程能力。

考核与工作量

作业 + 项目,偏实现与性能测量。具体以当季官网为准。

适合谁

想做推理性能、AI 芯片、编译器的研究生/工程师;系统方向想深入 ML 的人。

学习建议

先补 CS 217/CS 149。准备好跑 benchmark,不要只看论文数字。

相关课程

官方课程描述(英文原文)

A graduate-level course focused on principles and techniques for designing and building large-scale disaggregated AI inference systems. The course explores architectural, algorithmic, system-level, and kernel implementation techniques for serving models with low latency, high throughput, and low cost on heterogeneous machines. Topics include model optimization techniques, distributed serving, AI hardware and performance modelling, kernel programming, and AI compilers. Class website: cs349e.github.io