从零手搓大模型（八）国产开源模型Qwen3

Qwen3 From Scratch 教程：贴近现代国产开源模型的结构

这个博客很适合想理解 Qwen 系列、国产开源模型、现代 LLM 工程结构的人。

一句话理解：

Qwen3 在 Llama 风格 decoder-only 架构上，加入了 Qwen 自己的配置、QK norm、GQA、RoPE、MoE 变体和 KV cache 推理优化。

1. Qwen3 和 GPT 主线有什么关系

主线章节的 GPT 是教学版：

LayerNorm learned positional embedding MHA GELU FFN

Qwen3 更接近现代 LLM：

RMSNorm RoPE GQA SwiGLU FFN 可选 QK norm 可选 MoE KV cache 推理

所以这个 bonus 是从“会写 GPT”到“看懂现代开源模型”的重要过渡。

2. Qwen3Model 的整体结构

standalone-qwen3.ipynb里的核心模型是：