「大模型（LLMs）核心原理」面试题

这里写目录标题

• • 「大模型（LLMs）核心原理」面试题
  • 一、大模型（LLMs）核心原理（基础面+进阶面）
  • • （一）基础面核心原理
    • • 1. 主流开源模型体系（原理+实例）
      • 2. 三种Decoder结构的区别（原理+适用场景+实例）
      • 3. LLM的训练目标（原理+实例）
      • 4. 涌现能力的成因（原理+实例）
      • 5. Decoder-only成为主流的原因（原理+实例）
      • 6. LLMs参数含义（175B、60B等）
      • 7. LLMs的优缺点（原理+实例）
    • （二）进阶面核心原理
    • • 1. 生成式大模型（原理+实例）
      • 2. 生成文本丰富不单调的实现方式（原理+实例）
      • 3. LLMs「复读机问题」（原理+成因+12种缓解方案）
  • 二、大模型训练/微调关键问题（原理+实例）
  • • 1. 用于大模型微调的数据集构建（原理+实例）
    • 2. 大模型训练Loss突刺（原理+成因+解决办法）
    • • （1）定义
      • （2）成因
      • （3）解决办法+实例
  • 三、深度学习核心知识点（原理+实例+代码/步骤）
  • • 1. LN（Layer Normalization）和BN（Batch Normalization）的原理和区别
    • 2. 交叉熵（Cross Entropy）的数学推导+代码手写
    • • （1）核心原理
      • （2）Python代码手写（二分类交叉熵）
    • 3. Sigmoid函数（原理+代码手写）
    • • （1）核心原理
      • （2）Python代码手写
    • 4. 手撕多头注意力（Multi-Head Attention）
    • • （1）核心原理
      • （2）手撕步骤+实例（以d_model=64，h=8，d_k=8为例）
      • （3）简化Python代码
    • 5. ReLU为什么能缓解梯度消失
    • • （1）核心原理
      • （2）实例对比
    • 6. Adam优化器原理
    • • （1）核心原理
      • （2）实例
    • 7. AUC计算方法（原理+实例）
    • • （1）核心原理
      • （2）实例
    • 8. Python装饰器作用（原理+实例）
    • • （1）核心原理
      • （2）实例（日志装饰器）
    • 9. KL散度（原理+实例）
    • • （1）核心原理
      • （2）实例（离散分布）
    • 10. Softmax公式（原理+实例）
    • • （1）核心原理
      • （2）实例
    • 11. 梯度消失和梯度爆炸的缓解方法（原理+实例）
    • 12. 手撕NMS（非极大值抑制）过程
    • • （1）核心原理
      • （2）手撕步骤+实例
    • 13. L1和L2正则的区别（原理+实例）
    • 14. BN中可学习参数如何获取
    • • （1）核心原理
      • （2）实例
    • 15. 如何缓解过拟合（原理+实例）
    • 16. Dropout（原理+实例）
    • • （1）核心原理
      • （2）实例（Python代码）