Grep 例程大全

Grep 例程大全

📚 Grep 基础语法

grep [选项] 模式 [文件...] grep [选项] -e 模式1 -e 模式2 [文件...] grep [选项] -f 模式文件 [文件...]

🔧 常用选项

🔍 基础搜索

1.简单文本搜索

# 基本搜索 grep "pattern" file.txt # 多个文件 grep "pattern" file1.txt file2.txt # 当前目录所有txt文件 grep "pattern" *.txt # 忽略大小写 grep -i "pattern" file.txt # 显示行号 grep -n "pattern" file.txt

2.递归搜索

# 递归搜索当前目录 grep -r "pattern" . # 递归搜索，只显示文件名 grep -rl "pattern" . # 递归搜索特定类型文件 grep -r "pattern" --include="*.py" . grep -r "pattern" --include="*.{py,js}" . # 排除某些目录 grep -r "pattern" --exclude-dir={.git,node_modules} . grep -r "pattern" --exclude-dir=.git --exclude-dir=node_modules .

📝 模式匹配

1.基本正则表达式

# 任意单个字符 grep "a.b" file.txt # a后跟任意字符再跟b # 行首 grep "^start" file.txt # 行尾 grep "end$" file.txt # 空行 grep "^$" file.txt # 包含空格的行 grep "[[:space:]]" file.txt # 数字 grep "[0-9]" file.txt grep "[[:digit:]]" file.txt # 字母 grep "[a-zA-Z]" file.txt grep "[[:alpha:]]" file.txt # 单词字符（字母、数字、下划线） grep "[[:alnum:]_]" file.txt grep "\w" file.txt # 需要 -P 或 -E

2.扩展正则表达式（-E）

# 使用扩展正则 grep -E "pattern1|pattern2" file.txt grep -E "(abc|def)" file.txt # 量词 grep -E "a{3}" file.txt # 3个a grep -E "a{3,5}" file.txt # 3-5个a grep -E "a{3,}" file.txt # 至少3个a grep -E "a+" file.txt # 1个或多个a grep -E "a*" file.txt # 0个或多个a grep -E "a?" file.txt # 0个或1个a # 分组 grep -E "(abc)+" file.txt # abc出现一次或多次

3.Perl正则表达式（-P）

# 使用Perl正则（功能最强） grep -P "\d+" file.txt # 数字 grep -P "\s+" file.txt # 空白字符 grep -P "\w+" file.txt # 单词字符 grep -P "\bword\b" file.txt # 单词边界 # 非贪婪匹配 grep -P "a.*?b" file.txt # 匹配最短的a...b # 向前向后查找 grep -P "abc(?=def)" file.txt # 匹配后面是def的abc grep -P "(?<=abc)def" file.txt # 匹配前面是abc的def grep -P "abc(?!def)" file.txt # 匹配后面不是def的abc grep -P "(?<!abc)def" file.txt # 匹配前面不是abc的def

🎯 精确匹配

1.单词匹配

# 全单词匹配（-w） grep -w "word" file.txt # 匹配 "word"，不匹配 "words" grep -w "is" file.txt # 匹配 "is"，不匹配 "this" # 整行匹配（-x） grep -x "exact line" file.txt # 只匹配完全相同的行

2.固定字符串（-F）

# 禁用正则，按字面搜索 grep -F "a.b" file.txt # 搜索 "a.b"，不把 . 当通配符 grep -F ".*" file.txt # 搜索 ".*"，不匹配任意字符 # 搜索特殊字符 grep -F "$PATH" file.txt # 搜索 "$PATH" grep -F "[test]" file.txt # 搜索 "[test]"

📊 上下文显示

1.显示上下文

# 显示匹配行及后2行 grep -A 2 "pattern" file.txt # 显示匹配行及前2行 grep -B 2 "pattern" file.txt # 显示匹配行及前后各2行 grep -C 2 "pattern" file.txt # 组合使用 grep -A 1 -B 1 "pattern" file.txt # 前后各1行 # 带行号 grep -n -C 2 "pattern" file.txt

2.只显示匹配部分

# 只输出匹配的部分（-o） grep -o "pattern" file.txt # 统计每个匹配的数量 grep -o "pattern" file.txt | wc -l # 提取IP地址 grep -o -E "([0-9]{1,3}\.){3}[0-9]{1,3}" file.txt # 提取邮箱 grep -o -E "[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}" file.txt

🔄 组合使用

1.管道组合

# 统计出现频率 grep -o "pattern" file.txt | sort | uniq -c | sort -nr # 过滤ps输出 ps aux | grep "python" | grep -v "grep" # 搜索压缩文件 zgrep "pattern" file.gz bzcat file.bz2 | grep "pattern" # 多级过滤 grep "error" log.txt | grep -v "warning" | grep -n "fatal"

2.多模式匹配

# 使用 -e 指定多个模式 grep -e "pattern1" -e "pattern2" file.txt # 使用 -f 从文件读取模式 grep -f patterns.txt file.txt # 同时使用多个选项 grep -rin "error" --include="*.log" .

📈 统计和过滤

1.统计功能

# 统计匹配行数 grep -c "pattern" file.txt # 统计多个文件的匹配总数 grep -c "pattern" *.txt # 统计匹配次数（-o配合wc） grep -o "pattern" file.txt | wc -l # 显示匹配的文件名 grep -l "pattern" *.txt # 显示不匹配的文件名 grep -L "pattern" *.txt

2.过滤排除

# 排除特定模式 grep -v "exclude" file.txt # 排除多个模式 grep -v -e "pattern1" -e "pattern2" file.txt # 排除空行和注释 grep -v "^$" file.txt | grep -v "^#" # 排除目录 grep -r "pattern" . --exclude-dir=.git --exclude-dir=node_modules # 排除文件类型 grep -r "pattern" . --exclude="*.min.js" --exclude="*.min.css"

🛠️ 实用例程

1.日志分析

# 提取特定时间段的日志 grep "2024-01-15 1[0-2]:" access.log # 查找错误和警告 grep -E "(ERROR|WARN|FATAL)" app.log # 查找HTTP状态码 grep -E "HTTP/1\.[01]\" [4-5][0-9][0-9]" access.log # 统计IP访问次数 grep -o -E "([0-9]{1,3}\.){3}[0-9]{1,3}" access.log | sort | uniq -c | sort -nr # 查找慢查询（>5秒） grep "execution time: [5-9][0-9][0-9][0-9]" db.log

2.代码搜索

# 查找函数定义 grep -n "def " *.py grep -n "function " *.js # 查找TODO/FIXME注释 grep -r -n "TODO\|FIXME\|XXX" --include="*.{py,js,jsx,ts,tsx}" . # 查找未使用的导入（Python） grep -r "import " *.py | grep -v "^\s*#" | cut -d: -f2 | sort | uniq # 查找console.log（调试语句） grep -r "console\.log\|print(" --include="*.{js,py}" . # 查找硬编码的字符串 grep -r '"\(password\|secret\|key\)"' --include="*.py" .

3.配置文件处理

# 查找有效配置（非注释行） grep -v "^#" config.conf | grep -v "^$" # 查找特定配置项 grep -E "^[[:space:]]*server_name" nginx.conf # 查找环境变量定义 grep -E "^export [A-Z_]+=" .bashrc # 检查重复配置 grep -E "^[[:space:]]*[a-zA-Z]" config.conf | sort | uniq -d

4.系统管理

# 查找运行中的进程 ps aux | grep "[a]pache" # 技巧：用 [] 排除grep自身 ps aux | grep -i "mysql" # 查找特定用户进程 ps aux | grep "^username" # 查找大文件 find . -type f -size +100M | grep -v ".git" # 检查端口占用 netstat -tulpn | grep ":80" # 查找特定权限的文件 ls -la | grep "^d[rwx-]\{9\}.*root"

5.数据处理

# 提取CSV特定列（第3列为"error"的行） awk -F',' '$3 == "error"' file.csv | grep "pattern" # 提取JSON值（简单情况） grep -o '"name":"[^"]*"' data.json # 提取XML标签内容 grep -o '<title>[^<]*</title>' file.xml # 提取URL grep -o -E "https?://[a-zA-Z0-9./?=_%:-]*" file.txt # 提取版本号 grep -o -E "[0-9]+\.[0-9]+(\.[0-9]+)?" file.txt

🎪 高级技巧

1.彩色输出

# 启用颜色（默认自动检测） grep --color=auto "pattern" file.txt # 强制启用颜色 grep --color=always "pattern" file.txt | less -R # 自定义颜色 GREP_COLORS='mt=01;31' grep "pattern" file.txt # 红色粗体 # 可用颜色: mt=匹配文本, ms=选择匹配, mc=上下文匹配, sl=选择行, cx=上下文行, rv=反转视频, fn=文件名, ln=行号, bn=字节偏移, se=分隔符

2.二进制文件处理

# 在二进制文件中搜索文本 grep -a "text" binary_file # 搜索时忽略二进制文件 grep -I "pattern" * # 等价于 --binary-files=without-match # 强制当作文本处理 grep --binary-files=text "pattern" file

3.多字节字符支持

# 处理UTF-8等编码 grep -P "[\x{4e00}-\x{9fff}]" file.txt # 匹配中文字符 grep -P "[\p{Han}]" file.txt # 匹配汉字（Perl类） # Unicode字符类 grep -P "\p{L}" file.txt # 任何字母 grep -P "\p{N}" file.txt # 任何数字 grep -P "\p{P}" file.txt # 任何标点

4.性能优化

# 快速搜索（固定字符串） grep -F "exact_string" large_file.txt # 限制搜索深度 grep -r --max-depth=2 "pattern" . # 使用fgrep（固定字符串grep） fgrep "fixed_string" file.txt # 并行搜索（使用GNU parallel） find . -name "*.log" -type f | parallel grep -H "pattern" {}

📋 实用单行命令

1.文件处理

# 删除空行 grep -v "^$" file.txt > newfile.txt # 提取注释 grep "^#" config.conf > comments.txt # 提取非注释配置 grep -v "^#" config.conf | grep -v "^$" > clean_config.conf # 查找重复行 grep -n "^.*$" file.txt | sort -k2 | uniq -df1 # 统计单词出现次数 grep -o -w "word" file.txt | wc -l

2.网络和安全

# 查找SSH登录尝试 grep "Failed password" /var/log/auth.log # 查找可疑活动 grep -E "(invalid user|authentication failure)" /var/log/secure # 提取访问IP grep -o -E "([0-9]{1,3}\.){3}[0-9]{1,3}" /var/log/nginx/access.log | sort | uniq # 查找明文密码 grep -r -i "password[[:space:]]*=" --include="*.{py,js,json,yml,yaml}" .

3.开发调试

# 查找未捕获的异常 grep -r "except:" --include="*.py" . | grep -v "#" # 查找print语句（调试残留） grep -r "print(" --include="*.py" . # 查找过长的行（>80字符） grep -n "^.\{81,\}$" *.py # 查找魔法数字 grep -r -E "\b[0-9]{3,}\b" --include="*.{py,js,java}" .

🎓 组合工具

1.与 find 组合

# 查找包含文本的文件 find . -name "*.txt" -exec grep -l "pattern" {} \; # 查找并处理 find . -type f -name "*.log" -exec grep -H "error" {} \; # 使用xargs提高性能 find . -name "*.py" -type f | xargs grep -l "import os"

2.与 sed/awk 组合

# 提取后处理 grep "pattern" file.txt | awk '{print $1, $3}' # 替换匹配内容 grep -l "old_pattern" *.txt | xargs sed -i 's/old_pattern/new_pattern/g' # 统计列数据 grep "success" log.txt | awk '{sum += $3} END {print sum}'

3.与 sort/uniq 组合

# 统计频率 grep -o "pattern" file.txt | sort | uniq -c | sort -nr # 去重匹配 grep -h "pattern" *.log | sort -u # 查找共同行 grep -f file1.txt file2.txt | sort

📚 特殊技巧

1.排除自身

# 搜索进程时排除grep自身 ps aux | grep "[p]ython" # 技巧！匹配 "python" 但 "[p]ython" 不匹配自身 ps aux | grep "python" | grep -v "grep" # 传统方法 # 原因：[p]ython 匹配 "python"，但 "grep [p]ython" 不匹配

2.多个文件类型

# 搜索多种文件 grep -r "pattern" --include="*.cpp" --include="*.h" . # 使用glob模式 grep -r "pattern" --include="*.{cpp,h,cc}" . # 排除多种文件 grep -r "pattern" --exclude="*.min.js" --exclude="*.min.css" .

3.行号技巧

# 显示匹配行及前后范围 grep -n -C 3 "pattern" file.txt # 只显示行号 grep -n "pattern" file.txt | cut -d: -f1 # 显示行号范围 grep -n "pattern" file.txt | awk -F: '{print $1}' | paste -sd,

⚠️ 注意事项

1.正则表达式差异

# 基本正则 vs 扩展正则 grep "a\{3\}" file.txt # 基本正则，需要转义{} grep -E "a{3}" file.txt # 扩展正则，不需要转义 grep -P "a{3}" file.txt # Perl正则，不需要转义 # 常见元字符转义 grep "\.txt$" file.txt # 转义点号匹配 ".txt" grep -F ".txt" file.txt # 或使用固定字符串

2.性能考虑

# 大文件搜索技巧 grep -m 10 "pattern" large.log # 找到10个匹配后停止 # 使用更快的算法 grep -F "string" large.txt # 固定字符串比正则快 # 避免不必要的递归 grep -r --exclude-dir=.git "pattern" .

3.编码问题

# 处理不同编码 grep -a "pattern" file # 当作文本处理 grep -U "pattern" file # 处理Windows换行符 grep --unicode-mode "pattern" file # Unicode模式 # 设置语言环境 LANG=C grep "pattern" file # 使用C语言环境（最快）

📖 速查表

常用模式

字符类

这个大全涵盖了 grep 的绝大多数用法，从基础搜索到高级技巧都有示例。掌握这些例程，你就能高效地处理文本搜索的各种需求！