把 128K 的
算子优化拆成
一条能走的路。

PHASE 012–3 天

先让第一个 kernel 跑起来

从 unary / binary 开始，学会 Grid、Block、指针偏移和 INT8 对称量化。

出口能写 Golden Reference + Naive Kernel

完成这一站

PHASE 01练习 1

把量化公式变成测试

实现 q = clamp(round(x / scale), -128, 127)，覆盖零 scale、尾块和 128K 索引。

出口误差阈值与越界检查写进测试

完成这一站

PHASE 01工具链

认识你的芯片工具链

找到编译、部署、运行和 profiling 的最小闭环，记录 dtype、layout、核函数入口。

出口一条命令可编译并跑通 demo

完成这一站

PHASE 024–5 天

少写一次显存，就快一截

理解 siluAndMul 的 fusion：把中间结果留在寄存器，比较融合前后的带宽和延迟。

出口能解释 memory-bound 与 kernel fusion

完成这一站

PHASE 02实战

读懂 Cache 的寻址

跟着 vLLM 的 slot mapping，看连续 token 如何写入 paged KV cache，再移植到 INT8。

出口画出 block table → physical page

完成这一站

PHASE 02实战

把 SSM Conv 变简单

用小 kernel 的 1D depthwise conv 练滑动窗口、边界处理和片上缓存复用。

出口非对齐长度不越界，结果对齐

完成这一站

PHASE 031 周

学会让线程合作

从 L2、RMSNorm、LayerNorm 入手，理解 reduction、warp shuffle 和数值稳定性。

出口能定位规约瓶颈与精度损失

完成这一站

PHASE 03关键前置

推导 Online Softmax

用局部最大值 m 和指数和 l 分块处理 128K，先在 Python 里验证，再落到 kernel。

出口不保存全量 score 也能算对

完成这一站

PHASE 03benchmark

建立性能基线

固定 shape、dtype、batch 和长度，记录 latency、带宽、占用与误差，版本化每次改动。

出口一张可复现的 benchmark 表

完成这一站

PHASE 042–4 周

Page Attention：先解决寻址

理解 paged KV、split-K 和跨 block 的 LogSumExp 合并，再考虑 INT8 cache scale。

出口长序列可扩展，尾块不崩

完成这一站

PHASE 043–5 周

Flash Attention：分块复用

从 tiled attention 入手，理解 QKᵀ / PV、online rescaling 和硬件矩阵乘。

出口性能与精度都能对照 baseline

完成这一站

PHASE 042–4 周

GDN：状态精度优先

学习 chunk-wise scan。投影可以 INT8，递归 state 先保留 FP16/FP32，再做真实芯片实验。

出口知道哪里能量化，哪里不能冒险

完成这一站