​

🚀 第八篇：Post-Training 与相邻 AI Infra (Adjacent Workloads & Heterogeneous Computing)

讲师 / 作者：👓 Ringi（大厂 AI Infrastructure 工程师）
模块定位：选修 ｜ 建议时长：12h
核心目标：理解 SFT/RLHF、RAG/Agent 基础设施、NPU/DPU 异构硬件对底层 Infra 的系统需求。

​

🎯 模块设计理念与工程师视角

1. 📐 Shape 是什么？（Tensor 形状在每一步算子中到底怎么流转？有哪些 Reshape/Broadcast/Reduction？）
2. 💰 钱花在哪里？（估算参数量、FLOPs、显存占用、通信量，明确判断 Compute-bound、Memory-bound 还是 Communication-bound？）
3. ⚙️ 真正在机器上怎么跑？（在 GPU 的 SM、HBM、SRAM、PCIe/NVLink、NCCL 上对应什么具体指令和 Kernel？）

​

📑 本模块章节目录与实战任务

​

🛠️ 推荐实验与检验标准

• 完成本模块对应的手算推导与代码验证。
• 能结合 Profiler（PyTorch Profiler / Nsight / nccl-tests）给出定量性能证据。
• 能够回答本模块对应的经典大厂面试题与故障诊断题。