大数据开发面试常问的 Linux 命令 总结

大数据开发面试必备Linux命令清单

---

本文总结了大数据开发面试中高频考察的Linux命令，重点突出与实际开发场景相关的技能点。核心内容包括：

1. 文本处理三剑客（grep/awk/sed）的日志分析和数据处理应用
2. 进程管理（ps/kill）和资源监控（top/free）命令
3. 日志追踪（tail -f）和文件统计（wc）技巧
4. 定时任务（crontab）和文件查找（find）的实战用法
5. 网络诊断（netstat/ping）和性能分析（iostat）工具

---

特别整理了大数据场景下的典型命令组合，如排查Spark任务失败、清理HDFS数据等实用案例。

---

同时对比了kill -9/-15、>与>>等常见命令区别，帮助面试者精准应答技术细节问题。

总结大数据开发面试常问的 Linux 命令

作为大数据开发面试，Linux命令的考察重点与普通运维不同，更侧重于文件处理、日志查看、进程管理、性能监控、定时任务等实际开发场景。

下面我按照面试频率和重要程度，给你整理一份大数据开发面试必备的Linux命令清单。

一、面试必考（出现率90%+）

1. 文本处理三剑客（awk/sed/grep）

面试高频问题

bash

# 1. 从日志中找出包含"ERROR"的行 grep "ERROR" app.log # 2. 统计某个IP出现的次数 cat access.log | awk '{print $1}' | sort | uniq -c | sort -rn # 3. 取出文件第3列（逗号分隔） awk -F "," '{print $3}' data.csv # 4. 输出内存使用率（top命令结果解析） top -bn1 | grep "Cpu(s)" | awk '{print $2}' | awk -F "%" '{print $1}' # 5. 替换文件中的旧内容为新内容 sed -i 's/old/new/g' file.txt

2. 进程与资源查看

面试高频问题

bash

# 1. 查看NameNode进程是否存在 ps -ef | grep NameNode | grep -v grep # 2. 强制杀掉进程（-9 和 -15 的区别？） kill -9 PID # 强制杀死，不给清理机会 kill -15 PID # 优雅关闭，允许进程清理资源 # 3. 查看Java进程（大数据组件多是Java写的） ps -ef | grep java # 4. 实时查看CPU最高的5个进程 top -b -n 1 | head -20 # 5. 查看磁盘空间，找出占用大的目录 du -sh /* 2>/dev/null | sort -rh | head -10

二、高频考察（70%+）

3. 日志查看与追踪

面试高频问题

bash

# 1. 实时查看Hadoop任务日志 tail -f /var/log/hadoop/yarn/userlogs/application_xxx/container_xxx/stdout # 2. 统计文件总行数 wc -l hugefile.txt # 3. 查看文件前10行和后20行 head -10 file.txt && echo "===分隔===" && tail -20 file.txt # 4. 查看文件从第1000行开始的200行（常用于分页查看大文件） tail -n +1000 hugefile.txt | head -200

4. 文件查找与处理

面试高频问题

bash

# 1. 查找7天前的日志文件并删除 find /var/log -name "*.log" -mtime +7 | xargs rm -rf # 2. 查找大于100MB的文件 find / -type f -size +100M 2>/dev/null # 3. 统计访问日志中独立IP数 cat access.log | awk '{print $1}' | sort | uniq | wc -l # 4. 找出访问量前10的IP cat access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -10

5. 定时任务

面试高频问题

bash

# 1. 每天凌晨2点执行数据同步脚本 0 2 * * * /home/hadoop/bin/sync_data.sh # 2. 每周日凌晨3点清理临时数据 0 3 * * 0 /home/hadoop/bin/clean_temp.sh # 3. 每隔10分钟检查Hadoop服务状态 */10 * * * * /home/hadoop/bin/check_hadoop.sh # 4. 每月1号凌晨1点执行数据压缩归档 0 1 1 * * /home/hadoop/bin/archive_data.sh

三、中等频率（40-60%）

6. 网络与通信

面试高频问题

bash

# 1. 检查NameNode的9870端口是否在监听 netstat -apn | grep 9870 # 2. 测试DataNode的50010端口是否通 telnet datanode01 50010 # 3. 查看当前所有TCP连接状态统计 netstat -ant | awk '{print $6}' | sort | uniq -c | sort -rn # 4. 下载Hadoop安装包 curl -O https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

7. 文件权限

面试高频问题

bash

# 1. 给脚本添加执行权限 chmod +x run_spark.sh # 2. 修改整个目录的属主为hadoop用户 chown -R hadoop:hadoop /opt/hadoop_data # 3. 给文件设置644权限（rw-r--r--） chmod 644 config.xml # 解释：属主读写，其他人只读 # 4. 面试题：755是什么意思？ # 答：属主：rwx（7），属组：r-x（5），其他：r-x（5）

8. 磁盘与空间管理

面试高频问题

bash

# 1. 找出/home下最大的10个文件 find /home -type f -exec du -sh {} \; 2>/dev/null | sort -rh | head -10 # 2. 查看哪个挂载点磁盘使用率最高 df -h | awk '{print $5,$1}' | sort -rn | head -5 # 3. 查看Hadoop数据目录大小 du -sh /data/hadoop/*

四、加分项（面试时亮眼）

9. 性能分析与调优

面试加分回答

bash

# 1. 查看磁盘IO情况（HDFS很依赖磁盘） iostat -x 1 # 每秒刷新，看%util列 # 2. 查看系统负载（load average） uptime # load average: 0.5, 0.8, 1.2 # 分别表示1分钟、5分钟、15分钟平均负载 # 3. 查看一个进程打开了哪些文件 lsof -p PID # 4. 查看内存使用详情 cat /proc/meminfo | grep -E "MemTotal|MemFree|MemAvailable"

10. 重定向与管道（基础但高频）

面试高频问题

bash

# 1. 将命令的标准输出和错误输出都写入同一个文件 sh run_task.sh > task.log 2>&1 # 2. 只保留错误输出，丢弃标准输出 sh run_task.sh 2> error.log > /dev/null # 3. 管道组合：找出消耗内存最多的Java进程 ps -ef | grep java | awk '{print $2}' | xargs -I {} sh -c "ps -p {} -o rss=,cmd= | awk '{print \$1,\$2}'"

五、面试官常问的"区别题"

六、大数据场景实战组合命令

场景1：排查Spark任务失败原因

bash

# 1. 找到失败的application ID yarn application -list -appStates FAILED # 2. 找到该任务的日志文件位置 find /var/log/hadoop/yarn -name "*application_xxx*" -type f # 3. 查看最后100行日志，找ERROR tail -100 /path/to/container.log | grep -E "ERROR|Exception|Caused by" # 4. 统计错误类型数量 grep "Exception" /path/to/container.log | awk '{print $NF}' | sort | uniq -c | sort -rn

场景2：清理HDFS临时数据

bash

# 1. 查找7天前的tmp文件 find /data/hadoop/tmp -name "*.tmp" -mtime +7 # 2. 确认无误后删除 find /data/hadoop/tmp -name "*.tmp" -mtime +7 -delete # 3. 定时清理脚本（crontab） 0 2 * * * /home/hadoop/bin/clean_hdfs_tmp.sh >> /var/log/clean_hdfs.log 2>&1

场景3：监控DataNode健康状况

bash

# 1. 检查DataNode进程 ps -ef | grep DataNode | grep -v grep | wc -l # 2. 检查DataNode端口 netstat -apn | grep 50020 | grep LISTEN # 3. 查看DataNode日志最新错误 tail -100 /var/log/hadoop/hdfs/hadoop-hadoop-datanode-*.log | grep ERROR # 4. 检查磁盘使用率 df -h | grep -E "data|Filesystem"

七、面试官可能问的Shell编程

bash

# 1. $0、$1、$@、$# 分别代表什么？ $0 # 脚本名字 $1 # 第一个参数 $@ # 所有参数 $# # 参数个数 # 2. if判断文件是否存在 if [ -f /path/to/file ]; then echo "文件存在" fi # 3. 循环处理 for i in {1..10}; do echo "Number: $i" done # 4. 判断命令是否执行成功 if [ $? -eq 0 ]; then echo "成功" fi

八、记忆技巧（针对你的前端背景）

九、推荐学习路径

1. 第一天：ls、cd、pwd、cat、echo、grep

2. 第二天：ps、kill、top、free、df

3. 第三天：awk、sed、grep进阶

4. 第四天：find、xargs、crontab

5. 第五天：组合实战（排查日志、清理数据）

总结：面试必背的10条命令

把这10条练熟，大数据开发的Linux面试基本没问题了！

补充面试必背的10条命令，都是什么意思啊，刚刚学，还没记住

你说得对！我直接给了10条命令但没解释清楚意思，对新人不友好。

下面我把这10条命令逐条拆解，用前端类比+英文原词+实际例子帮你彻底搞懂。

面试必背10条命令详解

1.grep— 搜索关键词

bash

grep "ERROR" app.log

前端类比：

javascript

// grep 相当于 filter const result = appLog.filter(line => line.includes('ERROR'));

实际效果：从app.log文件中找出所有包含ERROR的行并打印出来。

面试常问：

bash

grep -v "ERROR" app.log # -v 是反选，找不包含ERROR的行 grep -n "ERROR" app.log # -n 显示行号 grep -r "ERROR" ./logs/ # -r 递归搜索整个目录

2.awk '{print $n}'— 取第几列

bash

awk '{print $3}' file.txt

前端类比：

javascript

// awk 相当于 split + 取数组元素 const lines = fileContent.split('\n'); lines.forEach(line => { const cols = line.split(/\s+/); // 默认按空格分割 console.log(cols[2]); // 打印第3列（索引2） });

实际效果：把文件的每一行按空格分割，取出第3列打印。

面试常问：

bash

awk -F "," '{print $2}' data.csv # -F 指定分隔符，这里用逗号分割 awk '{print $1, $NF}' file.txt # $NF 表示最后一列 awk '{sum += $3} END {print sum}' file.txt # 计算第3列的总和

3.sed -i 's/old/new/g'— 替换内容

bash

sed -i 's/error/success/g' app.log

前端类比：

javascript

// sed 相当于 replaceAll const result = appLog.replaceAll('error', 'success'); // 并且把结果写回原文件 fs.writeFileSync('app.log', result);

实际效果：把app.log文件中所有的error替换成success。

面试常问：

bash

sed -i '3d' file.txt # 删除第3行（d=delete） sed -n '1,5p' file.txt # 打印第1-5行（p=print，-n禁止默认输出） sed -i 's/old/new/' file.txt # 不加g，只替换每行第一个匹配

4.ps -ef | grep java— 查看Java进程

bash

ps -ef | grep java

前端类比：

javascript

// ps -ef 相当于任务管理器 const allProcesses = taskManager.getAll(); const javaProcesses = allProcesses.filter(p => p.name.includes('java'));

实际效果：查看系统中所有进程，只显示包含"java"的那些（比如NameNode、DataNode、Spark任务等）。

面试常问：

bash

ps aux | grep hadoop # aux是另一种格式，也能看所有进程 ps -ef | grep -v grep | grep java # 去掉grep自身那条 pgrep -f java # 更简洁的方式，只打印PID

5.kill -9 PID— 强制结束进程

bash

kill -9 12345

前端类比：

javascript

// 相当于 Chrome 任务管理器里的"结束进程" process.kill(12345, 'SIGKILL');

实际效果：立刻终止PID为12345的进程，进程来不及做任何清理工作。

面试常问：

bash

kill -15 12345 # 优雅关闭，进程可以做清理（关闭文件、释放资源） kill -9 -1 # 杀死当前用户的所有进程 killall java # 杀死所有java进程

区别：-15是"请关闭"，-9是"立刻死"。

6.tail -f— 实时追踪日志

bash

tail -f app.log

前端类比：

javascript

// 相当于 console.log 实时输出 const watcher = fs.watch('app.log', (event) => { console.log(fs.readFileSync('app.log', 'utf8')); });

实际效果：显示文件最后10行（默认），然后实时打印新增的内容，按Ctrl+C退出。

面试常问：

bash

tail -100 app.log # 查看最后100行 tail -n +200 app.log # 从第200行开始显示 tail -f app.log | grep ERROR # 实时追踪，只显示包含ERROR的行

7.find ... -mtime +7 | xargs rm— 删除7天前的文件

bash

find /var/log -name "*.log" -mtime +7 | xargs rm -rf

前端类比：

javascript

// 相当于 const files = findFiles('/var/log', { ext: '.log', daysOld: 7 }); files.forEach(file => fs.rmSync(file, { force: true, recursive: true }));

实际效果：找到/var/log目录下所有7天前修改的.log文件，然后批量删除。

面试常问：

bash

find . -type f -size +100M # 找大于100M的文件 find . -type d -name "temp" # 找名为temp的目录 find . -mtime -3 # 找3天内修改的文件 find . -name "*.tmp" -delete # 更安全的写法，不用xargs

为什么用xargs：rm不支持从管道直接读数据，所以需要xargs转换。

8.crontab -e— 编辑定时任务

bash

crontab -e

前端类比：

javascript

// 相当于 setInterval，但更强大（可以设置每天/每周执行） setInterval(() => { runTask(); }, 24 * 60 * 60 * 1000);

实际效果：打开一个编辑器，在里面写入定时任务规则，保存后自动生效。

定时任务格式：

bash

* * * * * command │ │ │ │ │ │ │ │ │ └─── 周几 (0-6, 0=周日) │ │ │ └───── 月份 (1-12) │ │ └─────── 日期 (1-31) │ └───────── 小时 (0-23) └─────────── 分钟 (0-59)

面试常问：

bash

crontab -l # 查看当前所有定时任务 crontab -r # 删除所有定时任务 # 例子：每天凌晨2点执行备份 0 2 * * * /home/hadoop/backup.sh # 例子：每10分钟执行一次 */10 * * * * /home/hadoop/check.sh

9.netstat -apn | grep 端口— 查看端口占用

bash

netstat -apn | grep 9870

前端类比：

javascript

// 相当于 const connections = getNetworkConnections(); const port9870 = connections.filter(c => c.port === 9870);

实际效果：查看哪个进程占用了9870端口（HDFS NameNode的Web UI端口）。

面试常问：

bash

netstat -an | grep LISTEN # 查看所有监听端口 ss -tlnp | grep 9870 # 更快的netstat替代方案 lsof -i :9870 # 另一个查看端口占用的命令

10.df -h/free -m— 查看磁盘和内存

bash

df -h free -m

前端类比：

javascript

// df -h 相当于 console.log('硬盘剩余:', diskInfo.free / 1024 / 1024 / 1024, 'GB'); // free -m 相当于 console.log('内存剩余:', memoryInfo.free, 'MB');

实际效果：

df -h输出示例：

text

Filesystem Size Used Avail Use% Mounted on /dev/sda1 100G 45G 55G 46% /

free -m输出示例：

text

total used free available Mem: 15985 8232 7753 7123 Swap: 2047 0 2047

面试常问：

bash

du -sh /home/hadoop # 查看某个目录占多大空间 df -i # 查看inode使用情况（文件数量限制） free -h # 人类可读格式的内存 cat /proc/meminfo # 查看更详细的内存信息

附：一次性搞定记忆表

最后的建议

每天练3条，4天就记住了：

• Day1:grep+awk+sed（文本处理铁三角）

• Day2:ps+kill+tail -f（进程日志铁三角）

• Day3:find+xargs+crontab（文件定时铁三角）

• Day4:netstat+df+free（系统监控铁三角）

每条命令自己动手敲5遍，比看10遍都有用！