从零入门 Hadoop：分布式存储与计算实战指南

1. 引言：大数据时代的挑战与 Hadoop 的诞生

进入 21 世纪，人类数据量呈指数级增长。据 IDC 预测，2025 年全球数据总量将达175 ZB（1 ZB = 10 亿 TB）。传统关系型数据库（如 Oracle、MySQL）在面对海量非结构化数据（日志、图片、视频）时，暴露出三大根本性瓶颈：

• 存储瓶颈：单机磁盘容量有限，扩展成本高
• 计算瓶颈：串行处理无法满足实时/批量分析需求
• 容错瓶颈：硬件故障频发，任务易中断

2003–2004 年，Google 发表两篇划时代论文：

• 《The Google File System》→ 启发HDFS
• 《MapReduce: Simplified Data Processing on Large Clusters》→ 启发MapReduce

2006 年，Doug Cutting（Apache Lucene 创始人）基于这两篇论文开发了Hadoop，并以他儿子的玩具大象命名。如今，Hadoop 已成为大数据领域的“操作系统”，支撑着阿里、腾讯、字节等企业的数据中台。

2. Hadoop 核心架构全景解析

Hadoop 采用Master-Slave 架构，核心由三部分组成：

表格

3. Hadoop 生态系统概览：不止于 HDFS 和 MapReduce

Hadoop 不只是一个框架，而是一个庞大的生态系统：

表格

4. 伪分布式环境搭建全流程

4.1 环境准备

# 更新系统 sudo apt update # 安装 Java 8（Hadoop 3.x 兼容 Java 8/11） sudo apt install openjdk-8-jdk -y # 验证 java -version # 应显示 openjdk version "1.8.0_xxx"

4.2 配置 SSH 免密登录

ssh-keygen -t rsa -P '' -f ～/.ssh/id_rsa cat ～/.ssh/id_rsa.pub >> ～/.ssh/authorized_keys chmod 600 ～/.ssh/authorized_keys ssh localhost # 测试是否无需密码

4.3 安装 Hadoop

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.6/hadoop-3.3.6.tar.gz tar -xzf hadoop-3.3.6.tar.gz sudo mv hadoop-3.3.6 /opt/hadoop

4.4 配置环境变量

export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

4.5 修改核心配置文件

core-site.xml

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration>

hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/data/datanode</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration>

yarn-site.xml

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME</value> </property> </configuration>

mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

4.6 启动与验证

# 首次格式化 hdfs namenode -format # 启动 HDFS + YARN start-dfs.sh start-yarn.sh # 验证进程 jps

5. HDFS 深度剖析：架构、读写流程与命令实战

5.1 HDFS 设计原则

• 大文件优先：适合 GB/TB 级文件，不适合大量小文件
• 一次写入，多次读取（WORM）
• 高吞吐 > 低延迟

5.2 读流程（客户端 → NameNode → DataNode）

1. 客户端调用open()
2. NameNode 返回文件 block 列表及所在 DataNode
3. 客户端直接连接最近的 DataNode 读取数据
4. 读完一个 block 后，自动连接下一个

5.3 写流程（客户端 → NameNode → DataNode Pipeline）

1. 客户端调用create()
2. NameNode 创建文件元数据
3. 客户端切分数据为 blocks，建立 DataNode 管道（默认 3 节点）
4. 数据以 packet 形式流水线写入，每个节点转发给下一个
5. 所有副本写入成功后，向 NameNode 确认

5.4 常用命令大全

# 文件操作 hdfs dfs -mkdir /input hdfs dfs -put local.txt /input/ hdfs dfs -get /input/local.txt ./ hdfs dfs -rm /input/local.txt # 目录与权限 hdfs dfs -ls / hdfs dfs -chmod 755 /input hdfs dfs -chown user:group /input # 集群状态 hdfs dfsadmin -report # DataNode 列表 hdfs fsck / -files -blocks # 文件块健康检查

6. MapReduce 编程模型详解与执行机制

6.1 编程模型

• Map(k1, v1) → list(k2, v2)
• Reduce(k2, list(v2)) → list(k3, v3)

6.2 执行流程（含 Shuffle）

1. Input Split：输入文件切分为逻辑分片
2. Map Task：每个 split 启动一个 map 任务
3. Shuffle & Sort：
   • Map 输出写入内存缓冲区（100MB）
   • 溢写（spill）到磁盘，同时排序、分区
   • Reduce 通过 HTTP 拉取对应 partition 数据
4. Reduce Task：合并、归约、输出

6.3 Combiner 优化

Combiner 是“本地 Reduce”，可大幅减少网络传输。WordCount 中可直接复用 Reducer 作为 Combiner。

7. WordCount 实战：从代码到运行（Maven 项目）

7.1 项目结构

hadoop-wordcount/ ├── pom.xml └── src/main/java/WordCount.java

7.2 pom.xml

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.example</groupId> <artifactId>hadoop-wordcount</artifactId> <version>1.0</version> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.6</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.8.1</version> <configuration> <source>8</source> <target>8</target> </configuration> </plugin> </plugins> </build> </project>

7.3 编译与运行脚本（run.sh）

#!/bin/bash mvn clean package -DskipTests hadoop fs -rm -r /output hadoop jar target/hadoop-wordcount-1.0.jar WordCount /input /output hadoop fs -cat /output/part-r-00000 | head -10

8. 进阶案例：日志分析与用户行为统计

案例1：Nginx 日志 IP 统计

输入：access.log
输出：每个 IP 的访问次数

// Mapper: 提取 IP（每行第一字段） String ip = value.toString().split(" ")[0]; context.write(new Text(ip), one);

案例2：电商用户点击流分析

输入：user_id,item_id,timestamp
输出：每个用户的点击商品数

// Mapper: 按 user_id 输出 String[] fields = line.split(","); context.write(new Text(fields[0]), new IntWritable(1)); // Reducer: sum

9. YARN 资源调度机制与多框架支持

YARN 将资源管理与计算框架解耦：

• ResourceManager (RM)：全局资源仲裁
• NodeManager (NM)：单节点资源监控
• ApplicationMaster (AM)：每个应用的“代表”

10. 性能调优与常见问题排查

表格

常见错误解决

• DataNode 无法启动：删除 data 目录，重新 format
• Container killed by framework：增加内存配置
• ClassNotFoundException：确保 jar 包包含依赖（或使用-libjars）

11. 安全与国产化思考：课程思政融合点

Hadoop 默认无安全机制，生产环境需启用：

• Kerberos 认证：防止非法访问
• ACL 权限控制：细粒度文件授权
• Ranger / Sentry：集中权限管理

12. HDFS 深度实战：存储原理与操作命令

12.1 HDFS 设计思想

• 大文件切块存储：默认 128MB/块
• 多副本机制：默认 3 副本（伪分布设为 1）
• 一次写入，多次读取（WORM）

12.2 常用命令演示

表格

13. 总结与升华：Hadoop 在现代数据生态中的位置

Hadoop 虽已不是“最潮”的技术，但其设计思想深刻影响了整个大数据领域：

• HDFS → 成为对象存储（如 S3）的灵感来源
• MapReduce → 启发了 Spark 的 DAG 执行模型
• YARN → 推动了 Kubernetes 上的大数据调度（如 KubeRay）