04-FFN 与激活函数：GELU、Swish、GLU 家族，以及 SwiGLU 为什么成了标配

FFN 与激活函数：GELU、Swish、GLU 家族，以及 SwiGLU 为什么成了标配

【大模型面试通关手册 · 第 04 篇】
本篇覆盖：FFN 块的计算公式、GeLU 公式、Swish 公式、使用 GLU 的 FFN 公式、GeGLU 与 SwiGLU 公式、各 LLM 都用哪种激活函数（答案Plus 激活函数篇 6 题）

一、面试现场：这道题一般怎么问

FFN 是 Transformer 里"最没存在感、却占了三分之二参数"的模块。面试官的问法通常是这样递进的：

“介绍一下 FFN 块的计算公式。”
“GELU 的公式写一下。”
“Swish 呢？它和 GELU 什么关系？”
“GLU 的门控是什么意思？用了 GLU 之后参数量怎么变？”
“LLaMA 用的 SwiGLU，中间维度为什么是83d\frac{8}{3}d