AWK 入门教程：强大的文本处理工具

AWK 是一种强大的文本处理工具，广泛用于 Linux/Unix 系统中对文本文件或数据流进行操作。它能够基于条件筛选、统计字段、重新排列数据等。主要特点包括：

• • 基于模式匹配： 根据条件筛选数据。

• • 列操作能力： 简单高效地处理文本列数据。

• • 轻量编程语言： 提供内置变量、循环、条件语句等编程功能。

• 相关资料

  《AWK 编程语言》：

• https://github.com/wuzhouhui/awk/blob/twoside/The_AWK_Programming_Language_zh_CN.pdf

2. AWK 的基本语法

2.1 AWK 程序的结构

AWK 程序的结构:

awk 'pattern { action }' file

• • pattern： 指定操作的匹配规则，例如正则表达式、逻辑判断等。

• • action： 指满足条件时要执行的操作，用 {} 包围，例如打印、统计、替换等。

• • file： 要处理的文本文件名称。

2.2 常用内置变量

以下是 常用内置变量 的补充说明，以 Markdown 格式输出：

变量说明：

1. 1. NR 和 FNR 的区别：

• • NR：累计行号，处理多个文件时行号会累加。

• • FNR：当前文件的行号，处理多个文件时每个文件的行号从 1 开始重新计数。

• • FS：指定输入字段的分隔符，默认是空格。

• • OFS：指定输出字段的分隔符，默认是空格。

• • RS：指定输入记录的分隔符，默认是换行符。

• • ORS：指定输出记录的分隔符，默认是换行符。

• • ENVIRON 是一个关联数组，用于访问环境变量。例如：

  awk 'BEGIN { print ENVIRON["HOME"] }'

• • 这两个变量与 match 函数配合使用，用于获取匹配字符串的起始位置和长度。例如：

  awk 'BEGIN { str = "hello world"; match(str, /world/); print RSTART, RLENGTH }'

• • 用于多维数组的下标分隔符，默认是 \034（非打印字符）。例如：

  awk 'BEGIN { arr["a", "b"] = 10; print arr["a", "b"] }'

• • ARGIND：当前处理的文件在命令行参数中的索引（从 1 开始）。

• • ARGC：命令行参数的数量。例如：

  awk 'BEGIN { print ARGIND, ARGC }' file1.txt file2.txt

• • 当前正在处理的文件名。例如：

  awk '{ print FILENAME, $0 }' file1.txt file2.txt

• • $1 表示第 1 列，$2 表示第 2 列，依此类推。

• • $NF 表示当前行的最后一列。

• • 当前行的字段数（列数）。例如：

  awk '{ print NF }' file.txt

• • 可以修改 RS 和 ORS 来处理非标准格式的文件。例如，将 RS 设置为空字符串，以处理多行记录：

  awk 'BEGIN { RS = "" } { print $0 }' file.txt

• • 可以修改 SUBSEP 来定义多维数组的下标分隔符。例如：

  awk 'BEGIN { SUBSEP = ":"; arr["a", "b"] = 10; print arr["a", "b"] }'

• • 结合 match 函数，可以提取匹配的子字符串。例如：

  awk 'BEGIN { str = "hello world"; match(str, /world/); print substr(str, RSTART, RLENGTH) }'

• • 可以遍历 ENVIRON 数组，打印所有环境变量。例如：

  awk 'BEGIN { for (key in ENVIRON) print key, ENVIRON[key] }'

• • 在处理多个文件时，可以根据文件名执行不同的操作。例如：

  awk '{ if (FILENAME == "file1.txt") print "File1:", $0; else print "File2:", $0 }' file1.txt file2.txt

2.3 运行 AWK 程序

AWK 程序可以通过以下方式运行：

1. 1. 命令行直接运行：

   awk 'pattern { action }' file

• • pattern：匹配条件（可选）。

• • action：满足条件时执行的操作。

• • file：要处理的文件。

awk -f script.awk file

{ print $1 }

awk -f script.awk file.txt

• • script.awk：包含 AWK 程序的脚本文件。

• • file：要处理的文件。

注意事项：

• • 未指定文件时，AWK 从标准输入读取数据；

• • 可同时处理多个文件；

2.4 基本输出

• • 打印文件的所有内容：

  awk '{ print $0 }' file.txt

• • 打印文件的第 1 列和第 3 列：

  awk '{ print $1, $3 }' file.txt

2.5 高级输出

printf 格式化输出

printf 可以格式化输出内容，例如：

awk '{ printf "Name: %s, Age: %d\n", $1, $2 }' file.txt

排序输出

结合 sort 命令对输出进行排序：

awk '{ print $1 }' file.txt | sort

2.6 选择/过滤行

按某列的值

• • 打印第 2 列大于 50 的行：

  awk '$2 > 50 { print }' file.txt

按某几列值的计算结果

• • 打印第 1 列和第 2 列之和大于 100 的行：

  awk '$1 + $2 > 100 { print }' file.txt

按字符串匹配

• • 打印包含 "error" 的行：

  awk '/error/ { print }' file.txt

不同方式的组合

• • 打印第 2 列大于 50 且包含 "error" 的行：

  awk '$2 > 50 && /error/ { print }' file.txt

BEGIN 和 END

• • BEGIN 块在处理输入前执行，END 块在处理输入后执行：

  awk 'BEGIN { print "Start" } { print } END { print "End" }' file.txt

2.7 计算

统计数量：工时超过 15 小时的员工人数

awk '$3 > 15 { count++ } END { print count }' file.txt

求和、求平均：平均工资

awk '{ sum += $2 } END { print "Average:", sum/NR }' file.txt

处理文本：打印时薪最高的员工信息

awk '$4 > max { max = $4; line = $0 } END { print line }' file.txt

字符串拼接（concatenation）：在一行内打印所有员工名

awk '{ names = names $1 " " } END { print names }' file.txt

打印最后一行

awk '{ last = $0 } END { print last }' file.txt

内置函数

• • 统计行数、单词数、字符数：

  awk '{ chars += length($0); words += NF } END { print "Lines:", NR, "Words:", words, "Chars:", chars }' file.txt

2.8 控制流

If-Else

awk '{ if ($1 > 50) print "High"; else print "Low" }' file.txt

While

awk '{ i = 1; while (i <= NF) { print $i; i++ } }' file.txt

For

awk '{ for (i = 1; i <= NF; i++) print $i }' file.txt

2.9 数组

统计每列的总和：

awk '{ for (i = 1; i <= NF; i++) sum[i] += $i } END { for (i in sum) print "Column", i, "Sum:", sum[i] }' file.txt

3. AWK 示例速查表

以下是常见 AWK 功能及其对应程序和类似命令：