架构综述

关注主流大模型在注意力、MoE、位置编码和混合架构上的设计差异。

• Transformer 核心组件

• 位置编码方案对比

• LLaMA 3 架构分析

• DeepSeek-V3 架构拆解

• Mixtral MoE 架构

• MoE 训练策略

• SSM 混合架构