system-design-notes 第14章：设计YouTube视频平台完整指南
【免费下载链接】system-design-notesNotes of the book System Desgin Interview - An Insider's Guide项目地址: https://gitcode.com/GitHub_Trending/sy/system-design-notes
system-design-notes（《System Design Interview》读书笔记）第14章带你从零开始设计 YouTube 视频平台：涵盖视频上传、转码架构、CDN 分发与流媒体播放四大核心模块，帮助新手快速建立大规模视频系统的完整设计思路。
一、YouTube 平台规模有多大 📊
先感受一下真实数据（2020 年统计）：
| 指标 | 数值 |
|---|---|
| 月活跃用户 | 20 亿 |
| 每日播放视频数 | 50 亿 |
| 移动网络流量占比 | 37% |
| 支持语言 | 80 种 |
面试中我们通常做简化假设：
- 日活用户（DAU）：500 万
- 平均视频大小：300 MB，单视频上限 1 GB
- 每日存储需求：约150 TB
- CDN 成本估算：500 万 × 5 次/天 × 0.3 GB × $0.02 ≈$150,000/天
💡 这一章的目标：既能快速上传视频，又能流畅播放，还支持切换清晰度，同时控制成本、保证高可用。
二、YouTube 视频平台高层架构设计
高层设计的关键是分清两条通路：
- 视频流→ 走 CDN（就近的边缘服务器，延迟最低）
- 其他一切请求（上传、评论、元数据更新）→ 走 API 服务器
整个平台由 7 大组件构成：
- Client：手机、电脑、智能电视等终端
- CDN：存储并分发视频流
- API Servers：处理上传、元数据更新等交互
- Metadata Database：存储视频标题、描述、大小等元数据
- Original Storage：存放上传的原始视频（Blob 存储）
- Transcoding Servers：将视频转码为多种分辨率和格式
- Transcoded Storage：存放转码后的视频，再分发到 CDN
三、视频上传完整流程拆解
上传请求到达 API 服务器后，系统会并行做两件事：① 把视频文件传到原始存储；② 把元数据写进数据库。视频侧的完整链路如下：
各步骤说明：
| 步骤 | 动作 |
|---|---|
| 1 | 用户上传视频到原始存储（Original Storage） |
| 2 | 转码服务器拉取原始视频 |
| 3a | 转码完成后，结果写入转码存储 |
| 3a.1 | 视频分发到 CDN，用户即可观看 |
| 3b | 转码完成事件进入完成队列（Completion Queue） |
| 3b.1 | 完成处理器更新元数据库、刷新缓存并通知用户 |
📌 亮点：上传与转码解耦、元数据与文件流并行，用户无需干等转码完成，视频就绪后会被自动通知。
四、视频转码深度解析：DAG 模型
为什么要转码？
- 省存储：原始视频体积巨大，转码可显著压缩
- 保兼容：不同设备、浏览器支持的编码格式不同
- 自适应网络：弱网自动降清晰度，体验更流畅
涉及两个核心概念：
- 容器（Container）：封装音视频与元数据，如 MP4、AVI
- 编解码器（Codec）：压缩/解压算法，如 H.264、VP9
用 DAG（有向无环图）编排转码任务
转码非常耗时且耗算力，因此把"一个视频的转码"建模为一组可并行的任务图：原始视频被拆分为Video / Audio / Metadata三路，再分别派生出视频编码、音频编码、缩略图生成、水印等任务，最后统一装配（Assemble）。
转码系统六大组件
1. Preprocessor（预处理器）：把视频按 GOP（图像组）边界切分为小块，按配置文件生成 DAG，并把中间数据存入临时存储以便失败重试。
2. DAG Scheduler（调度器）：把 DAG 拆成多个 Stage 放入任务队列，例如 Stage 1 拆出视频/音频/元数据，Stage 2 把视频进一步拆为编码与缩略图两个任务。
3. Resource Manager（资源管理器）：核心是三个队列 + 一个调度器——任务队列（优先级）、Worker 队列（利用率）、运行中队列，Task Scheduler 负责挑选最优的"任务 × Worker"组合下发执行。
4. Task Workers：真正执行转码、缩略图、水印等操作的工人节点，不同 Worker 可跑不同任务。
5. Temporary Storage：缓存中间数据，编码失败时可直接重试，不必从头再来。
6. Output：转码完成的视频，等待分发到 CDN。
五、系统优化：速度、安全与成本三板斧 ⚡
1. 提速优化
- 并行分片上传：把大视频切成小分块并行上传，失败可从断点续传
- 分布式上传中心：借助全球 CDN 节点就近接收上传，降低延迟
- 消息队列解耦：各模块之间用消息队列通信，天然支持高并行、削峰填谷
2. 安全优化
- 预签名 URL（Pre-Signed URLs）：由服务端签发带有效期的临时上传凭证，只允许授权用户写入存储，防止伪造上传。
- 内容保护：DRM 数字版权管理（如 Apple FairPlay、Google Widevine）、AES 加密、视频水印
3. 省钱优化（重点考点 💰）
- 热门视频走 CDN，冷门视频从大容量服务器直出
- 冷门视频按需转码（首次访问才转），避免白烧算力
- 按地区热度做区域化分发
- 自建 CDN 并与 ISP 合作，压低带宽成本
六、错误处理策略 🛡️
| 类型 | 处理方式 | 典型场景 |
|---|---|---|
| 可恢复错误 | 自动重试 | 上传失败、转码失败、资源分配失败 |
| 不可恢复错误 | 终止处理并返回错误码 | 视频格式非法、文件损坏 |
可恢复错误依赖临时存储中的中间数据实现快速重试，这是转码架构里非常实用的设计。
七、本章小结与延伸阅读
本章的核心链路可以浓缩为一句话：
上传分片 → 原始存储 → DAG 转码流水线 → 转码存储 → CDN 分发 → 多清晰度流媒体播放
掌握这套模式后，你就能在面试中从容应对任何视频平台类系统设计题。想深入研究每个组件的细节，推荐阅读原章节笔记：
- 📖 本章完整笔记：14. Youtube/Readme.md
- 📚 全书总览与目录：Readme.md
配套插图（上传流程图、转码 DAG 图等）均可在 14. Youtube/images/ 目录下查看。
【免费下载链接】system-design-notesNotes of the book System Desgin Interview - An Insider's Guide项目地址: https://gitcode.com/GitHub_Trending/sy/system-design-notes
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
