Notebook 与 HTML

这里同时包含两类内容：适合直接在线阅读的 HTML 讲解稿，以及适合在本地 / Colab 中运行的 notebook 源文件。为了更适合 GitBook 阅读，本页按“先看什么最值”重新排了顺序。

推荐先读的 HTML 文档

• 多头注意力分化机制

• 注意力机制演进与推理全景

• MHA vs MLA

• MHA vs GQA

• MHA vs DSA

• MHA vs 线性注意力

• 统一对比表

Notebook 源文件

• Python / NN / PyTorch 基础实战

• Mini Transformer from Scratch

• Attention / Tokenizer / Beam Search

• LLM 推理基础

• PagedAttention 与 LRU

• 量化精度实验

• 投机解码模拟器

• 分布式 Roofline 分析

• PPO / GRPO 实现

• GRPO 训练流程图

• 推理模型 Workshop

• RAG Prefix Caching 模拟

• vLLM 架构走读

• MLA 潜在空间分析

• 大海捞针评测

• LLM 系统相关算法题

GitBook 阅读建议

• HTML 导出页更适合直接在线阅读，公式和版式也更稳定。

• .ipynb 更适合在本地 Jupyter 或 Colab 中运行和修改。

• 如果你想把 notebook 里的结论和仓库实现对上，先看 ../notes/attention/formula-to-code-walkthrough.md。

• From Scratch 相关实验入口见 ../src/from_scratch/README.md。