12、使用sed和AWK进行文件处理与虚拟主机创建-开发者社区

使用sed和AWK进行文件处理与虚拟主机创建

1. 创建模板的第一步

创建模板的首要步骤是分离出我们所需的行。以示例中的虚拟主机定义为例，需要的行包括VirtualHost的开始和结束标签以及其间的所有内容。

我们可以使用行号来完成这一操作，不过这种方法可能不太可靠，因为要保证文件内容未发生变化，行号才会保持一致。为了完整性，我们先展示这种方法，再介绍更可靠的机制。

首先，回顾一下如何使用sed打印整个文件：

$ sed -n ' p ' httpd.conf

其中，-n选项用于抑制标准输出，引号内的sed命令p用于显示匹配的模式。由于这里没有进行过滤，匹配的模式就是整个文件。

若要使用行号进行过滤，可以使用以下命令添加行号：

$ sed = httpd.conf

假设在当前系统中，我们需要处理的是第355到361行。要显示包含标签的这些行，可以在sed中添加行号范围：

$ sed -n '355,361 p ' httpd.conf

通过指定行号范围，我们可以轻松分离出所需的行，此时显示的就只有虚拟主机定义的行。

然而，硬编码行号会导致灵活性丧失，因为这些行号仅适用于当前文件。为克服这一问题，我们可以直接搜索开始和结束标签：

$ sed -n '/^#<VirtualHost/,/^#<\/VirtualHost/p' httpd.conf

这里使用了更可靠的起始和结束正则表达式，而不是起始和结束行号。起始正则表达式查找以# <VirtualHost开头的行，结束正则表达式查找结束标签。需要注意的是，要使用转义字符保护/VirtualHost。

2. sed脚本文件

分离出行只是第一步，我们还需要取消行的注释并将结果保存为模板。虽然可以将这些操作写成一个单一的sed命令字符串，但会变得冗长且难以阅读和编辑。幸运的是，sed命令可以从输入文件（即脚本）中读取命令，使用-f选项指定要读取的文件。

以下是一个sed脚本示例：

/^#<VirtualHost/,/^#<\/VirtualHost/ { s/^#// w template.txt }

可以将此文件保存为$HOME/vh.sed。脚本的第一行选择要处理的行，然后用左花括号打开代码块。第二行使用替换命令s，将以#开头的行的注释去掉。最后一行使用写入命令w，将结果保存到template.txt。

在与httpd.conf和vh.sed文件相同的目录中执行以下命令：

$ sed -nf vh.sed httpd.conf

这样就在工作目录中创建了template.txt文件，它是从httpd.conf文件中分离出来的无注释文本。

3. 自动化虚拟主机创建

创建模板后，就可以使用它来创建虚拟主机配置。简单来说，需要将dummy-host.example.comURL替换为sales.example.com或marketing.example.comURL，同时创建DocumentRoot目录并添加一些基本内容。

以下是一个自动化脚本示例：

#!/bin/bash WEBDIR=/www/docs CONFDIR=/etc/httpd/conf.d TEMPLATE=$HOME/template.txt [ -d $CONFDIR ] || mkdir -p $CONFDIR sed s/dummy-host.example.com/$1/ $TEMPLATE > $CONFDIR/$1.conf mkdir -p $WEBDIR/$1 echo "New site for $1" > $WEBDIR/$1/index.html

脚本各部分含义如下：
| 行 | 含义 |
| — | — |
|WEBDIR=/www/docs/| 初始化WEBDIR变量，用于存储不同网站所在目录的路径 |
|CONFDIR=/etc/httpd/conf.d| 初始化CONFDIR变量，用于存储新创建的虚拟主机配置文件 |
|TEMPLATE=$HOME/template.txt| 初始化模板变量，指向模板文件的路径 |
|[ -d $CONFDIR ] || mkdir -p "$CONFDIR"| 检查目录是否存在，若不存在则创建 |
|sed s/dummy-host.example.com/$1/ $TEMPLATE > $CONFDIR/$1.conf| 使用sed命令进行搜索和替换操作，将模板中的虚拟主机名替换为传入的参数 |
|mkdir -p $WEBDIR/$1| 创建新虚拟主机网站的子目录 |
|echo "New site for $1" > $WEBDIR/$1/index.html| 创建网站的基本占位页面 |

可以将此脚本保存为$HOME/bin/vhost.sh，并添加执行权限。要创建sales虚拟主机和网页，可执行以下命令：

# vhost.sh sales.example.com

虚拟主机的配置文件将创建在/etc/httpd/conf.d/目录下，名为sales.example.com.conf，网站内容将创建在/www/docs/sales.example.com目录下。可以使用以下命令列出每个网站所在的基础目录内容：

$ ls -R /www/docs

4. 网站创建过程中提示输入数据

目前使用的脚本只能创建虚拟主机和内容，除了虚拟主机名外，没有其他自定义选项。实际上，我们可以在创建虚拟主机时允许指定更多选项，并使用sed插入所需数据。

例如，我们要添加主机限制，只允许本地网络访问网站。以下是修改后的脚本示例：

#!/bin/bash WEBDIR=/www/docs/$1 CONFDIR=/etc/httpd/conf.d CONFFILE=$CONFDIR/$1.conf TEMPLATE=$HOME/template.txt [ -d $CONFDIR ] || mkdir -p $CONFDIR sed s/dummy-host.example.com/$1/ $TEMPLATE > $CONFFILE mkdir -p $WEBDIR echo "New site for $1" > $WEBDIR/index.html read -p "Do you want to restrict access to this site? y/n " [ ${REPLY^^} = 'n' ] && exit 0 read -p "Which network should we restrict access to: " NETWORK sed -i "/<\/VirtualHost>/i <Directory $WEBDIR >\ \n Order allow,deny\ \n Allow from 127.0.0.1\ \n Allow from $NETWORK\ \n</Directory>" $CONFFILE

该脚本在原脚本基础上进行了一些调整，添加了用户提示输入的部分。如果用户选择不进行额外的定制，脚本将退出；否则，脚本会继续提示输入允许访问的网络，并使用sed在现有配置中插入新的Directory块。

简化后的伪代码如下：

$ sed -i "/SearchText/i NewText <filename>

其中，SearchText表示要在其之前插入文本的行，NewText表示要插入的新行或多行文本，i命令表示插入操作。

通过以上步骤，我们可以看到如何使用sed进行文件处理、创建虚拟主机配置以及实现一定程度的自定义。这些操作不仅适用于Apache，在很多其他场景中也能发挥作用。

5. AWK基础介绍

sed有一个“大哥”——AWK。接下来将介绍AWK的基础知识，探索AWK编程语言的强大功能。我们将了解为什么需要并喜爱AWK，以及如何使用它的一些基本特性。

5.1 AWK的历史

awk命令是UNIX和Linux中的常用命令套件。UNIX的awk命令于20世纪70年代由贝尔实验室开发，它以主要作者Alfred Aho、Peter Weinberger和Brian Kernighan的姓氏命名。awk命令允许使用AWK编程语言来处理文本流中的数据。

AWK有多种实现：
-gawk：也称为GNU AWK，是免费版本，被许多开发者使用。
-mawk：由Mike Brennan开发，仅包含一些gawk的特性，旨在追求速度和性能。
-tawk：即Thompson AWK，可在Solaris、DOS和Windows上运行。
-BWK awk：也称为nawk，用于OpenBSD和macOS。

需要注意的是，我们使用的awk解释器是gawk，并且awk和gawk实际上是同一个命令。可以通过列出awk二进制文件来确认：

# 这里可以添加查看awk二进制文件指向的命令示例

5.2 AWK的“Hello World”程序

为了演示awk提供的编程语言，我们创建一个“Hello World”程序：

$ awk 'BEGIN { print "Hello World!" }'

这段代码不仅会打印出常见的问候消息，还可以使用BEGIN块生成头部信息。后续还可以使用END代码块创建摘要信息。

通过以上内容，我们对sed和AWK的基本使用有了初步了解。在实际应用中，它们可以帮助我们高效地处理文件和数据。后续还可以进一步深入学习AWK的其他特性，如变量使用、条件语句、输出格式化等。

6. 用 AWK 显示和过滤文件内容

AWK 可以方便地显示和过滤文件内容。下面以一个简单的文本文件example.txt为例，文件内容如下：

John 25 1000 Alice 30 2000 Bob 22 800

要显示文件的每一行，可以使用以下命令：

$ awk '{print}' example.txt

这里{print}是 AWK 的默认动作，会打印每一行。

若要只显示第二列（年龄），可以这样操作：

$ awk '{print $2}' example.txt

输出结果为：

25 30 22

如果要过滤出年龄大于 23 的行，可以使用条件语句：

$ awk '$2 > 23 {print}' example.txt

输出为：

John 25 1000 Alice 30 2000

7. AWK 变量

AWK 有许多内置变量，同时也允许用户自定义变量。以下是一些常用的内置变量及其作用：
| 变量名 | 作用 |
| — | — |
|NR| 当前记录的行号 |
|NF| 当前记录的字段数 |
|$0| 整个当前记录 |
|$n| 第 n 个字段，n 为正整数 |

例如，我们可以使用NR变量为每一行添加行号：

$ awk '{print NR, $0}' example.txt

输出结果：

1 John 25 1000 2 Alice 30 2000 3 Bob 22 800

自定义变量也很简单，以下示例中我们定义了一个变量total来计算第三列（工资）的总和：

$ awk '{total += $3} END {print total}' example.txt

这里END块在处理完所有行后执行，最终输出工资总和3800。

8. AWK 中的条件语句

AWK 支持常见的条件语句，如if-else语句。以下是一个示例，根据工资高低输出不同的信息：

$ awk '{ if ($3 > 1500) { print $1 " has a high salary" } else { print $1 " has a low salary" } }' example.txt

输出结果：

John has a low salary Alice has a high salary Bob has a low salary

9. 格式化输出

AWK 可以使用printf函数进行格式化输出。以下是一个将信息以表格形式输出的示例：

$ awk 'BEGIN { printf "%-10s %-5s %-8s\n", "Name", "Age", "Salary" printf "-------------------------\n" } { printf "%-10s %-5d %-8d\n", $1, $2, $3 }' example.txt

输出结果如下：

Name Age Salary ------------------------- John 25 1000 Alice 30 2000 Bob 22 800

在BEGIN块中，我们先打印了表头和分隔线，然后使用printf函数按照指定格式输出每一行的数据。

10. 进一步过滤以按 UID 显示用户

在实际应用中，我们可能需要根据 UID（用户标识符）来过滤和显示用户信息。假设我们有一个用户信息文件users.txt，内容如下：

user1:x:1001:1001:User One:/home/user1:/bin/bash user2:x:1002:1002:User Two:/home/user2:/bin/bash user3:x:1003:1003:User Three:/home/user3:/bin/bash

要显示 UID 大于 1001 的用户，可以使用以下命令：

$ awk -F: '$3 > 1001 {print $1}' users.txt

这里-F:指定了字段分隔符为冒号，$3表示第三列（即 UID），最终输出结果为：

user2 user3

11. AWK 控制文件

当 AWK 脚本变得复杂时，可以将其保存到一个文件中，然后使用-f选项来执行。以下是一个简单的 AWK 控制文件示例script.awk：

#!/usr/bin/awk -f BEGIN { FS = ":" print "Users with UID > 1001:" } $3 > 1001 { print $1 } END { print "End of list" }

在这个脚本中，BEGIN块设置了字段分隔符为冒号，并打印了一个标题，中间部分过滤出 UID 大于 1001 的用户，END块打印了结束信息。

要执行这个脚本，可以使用以下命令：

$ awk -f script.awk users.txt

输出结果如下：

Users with UID > 1001: user2 user3 End of list

总结

通过以上内容，我们详细介绍了如何使用sed进行文件处理、创建虚拟主机配置以及实现一定程度的自定义，同时也深入了解了 AWK 的基础知识，包括其历史、显示和过滤文件内容、变量使用、条件语句、格式化输出、进一步过滤以及控制文件的使用。sed和 AWK 都是非常强大的文本处理工具，在实际工作中可以帮助我们高效地处理各种文件和数据。希望大家通过学习这些知识，能够在日常的文件处理和数据操作中更加得心应手。

以下是一个简单的 mermaid 流程图，展示了使用sed和 AWK 进行文件处理的基本流程：

graph LR A[开始] --> B[使用sed分离所需行] B --> C[使用sed脚本处理文件] C --> D[自动化创建虚拟主机] D --> E[使用AWK处理文件内容] E --> F[结束]

问题解答

如何从 Apache 配置文件中打印第 50 行？
可以使用以下命令：

$ sed -n '50p' httpd.conf

如何使用sed将 Apache 默认端口 80 更改为 8080？
假设配置文件中包含Listen 80这样的行，可以使用以下命令：

$ sed -i 's/Listen 80/Listen 8080/g' httpd.conf

这里-i选项表示直接在文件中进行修改，s是替换命令，g表示全局替换。

12、使用sed和AWK进行文件处理与虚拟主机创建