本文大部分內(nèi)容翻譯自我開始學(xué)習(xí)AWK時(shí)看到的一篇英文文章 AWK Tutorial ，覺得對(duì)AWK入門非常有幫助，所以對(duì)其進(jìn)行了粗略的翻譯，并對(duì)其中部分內(nèi)容進(jìn)行了刪減或者補(bǔ)充，希望能為對(duì)AWK感興趣的小伙伴提供一份快速入門的教程，幫助小伙伴們快速掌握AWK的基本使用方式，當(dāng)然，我也是剛開始學(xué)習(xí)AWK，本文在翻譯或者補(bǔ)充的過(guò)程中肯定會(huì)有很多疏漏或者錯(cuò)誤，希望大家能夠幫忙指正。
本文將會(huì)持續(xù)修正和更新，最新內(nèi)容請(qǐng)參考我的 GITHUB 上的 程序猿成長(zhǎng)計(jì)劃 項(xiàng)目，歡迎 Star。
概述
AWK是一門解釋型的編程語(yǔ)言。在文本處理領(lǐng)域它是非常強(qiáng)大的，它的名字來(lái)源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和 Brian Kernighan。
GNU/linux發(fā)布的AWK目前由自由軟件基金會(huì)（FSF）進(jìn)行開發(fā)和維護(hù)，通常也稱它為 GNU AWK。
AWK的類型
下面是幾個(gè)AWK的變體：
- AWK – 原先來(lái)源于 AT & T 實(shí)驗(yàn)室的的AWK
- NAWK – AT & T 實(shí)驗(yàn)室的AWK的升級(jí)版
- GAWK – 這就是GNU AWK。所有的GNU/Linux發(fā)布版都自帶GAWK，它與AWK和NAWK完全兼容
AWK的典型用途
使用AWK可以做很多任務(wù)，下面是其中一些
- 文本處理
- 輸出格式化的文本報(bào)表
- 執(zhí)行算數(shù)運(yùn)算
- 執(zhí)行字符串操作等等
工作流
要成為AWK編程專家，你需要先知道它的內(nèi)部實(shí)現(xiàn)機(jī)制，AWK遵循了非常簡(jiǎn)單的工作流 – 讀取，執(zhí)行和重復(fù)，下圖描述了AWK的工作流。
Read
AWK從輸入流（文件，管道或者標(biāo)準(zhǔn)輸入）中讀取一行，然后存儲(chǔ)到內(nèi)存中。
Execute
所有的AWK命令都依次在輸入上執(zhí)行。默認(rèn)情況下，AWK會(huì)對(duì)每一行執(zhí)行命令，我們可以通過(guò)提供模式限制這種行為。
Repeat
處理過(guò)程不斷重復(fù)，直到到達(dá)文件結(jié)尾。
程序結(jié)構(gòu)
現(xiàn)在，讓我們先學(xué)習(xí)一下AWK的程序結(jié)構(gòu)。
BEGIN 語(yǔ)句塊
BEGIN語(yǔ)句塊的語(yǔ)法
BEGIN {awk-commands}
BEGIN語(yǔ)句塊在程序開始的使用執(zhí)行，它只執(zhí)行一次，在這里可以初始化變量。BEGIN是AWK的關(guān)鍵字，因此它必須為大寫，注意，這個(gè)語(yǔ)句塊是可選的。
BODY 語(yǔ)句塊
BODY語(yǔ)句塊的語(yǔ)法
/pattern/ {awk-commands}
BODY語(yǔ)句塊中的命令會(huì)對(duì)輸入的每一行執(zhí)行，我們也可以通過(guò)提供模式來(lái)控制這種行為。注意，BODY語(yǔ)句塊沒有關(guān)鍵字。
END 語(yǔ)句塊
END語(yǔ)句塊的語(yǔ)法
END {awk-commands}
END語(yǔ)句塊在程序的最后執(zhí)行，END是AWK的關(guān)鍵字，因此必須為大寫，它也是可選的。
讓我們創(chuàng)建一個(gè)包含序號(hào)，學(xué)生姓名，科目名稱和得分的文件 marks.txt.
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
下面的例子中我們將會(huì)顯示文件內(nèi)容，并且添加每一列的標(biāo)題
上述代碼執(zhí)行后，輸出以下內(nèi)容
在程序的開始，AWK在BEGIN語(yǔ)句中打印出標(biāo)題。然后再BODY語(yǔ)句中，它會(huì)讀取文件的每一行然后執(zhí)行AWK的print命令將每一行的內(nèi)容打印到標(biāo)準(zhǔn)輸出。這個(gè)過(guò)程會(huì)一直重復(fù)直到文件的結(jié)尾。
基礎(chǔ)語(yǔ)法
AWK的使用非常簡(jiǎn)單，我們可以直接在命令行中執(zhí)行AWK的命令，也可以從包含AWK命令的文本文件中執(zhí)行。
AWK命令行
我們可以使用單引號(hào)在命令行中指定AWK命令
AWK程序文件
我們可以使用腳本文件提供AWK命令
AWK標(biāo)準(zhǔn)選項(xiàng)
AWK支持下列命令行標(biāo)準(zhǔn)選項(xiàng)
-v 變量賦值選項(xiàng)
該選項(xiàng)將一個(gè)值賦予一個(gè)變量，它會(huì)在程序開始之前進(jìn)行賦值，下面的例子描述了該選項(xiàng)的使用
--dump-variables[=file] 選項(xiàng)
該選項(xiàng)會(huì)輸出排好序的全局變量列表和它們最終的值到文件中，默認(rèn)的文件是 awkvars.out。
--help 選項(xiàng)
打印幫助信息.
--lint[=fatal] 選項(xiàng)
該選項(xiàng)允許檢查程序的不兼容性或者模棱兩可的代碼，當(dāng)提供參數(shù) fatal的時(shí)候，它會(huì)對(duì)待Warning消息作為Error。
--posix 選項(xiàng)
該選項(xiàng)開啟嚴(yán)格的POSIX兼容。
--profile[=file]選項(xiàng)
該選項(xiàng)會(huì)輸出一份格式化之后的程序到文件中，默認(rèn)文件是 awkprof.out。
--traditional 選項(xiàng)
該選項(xiàng)會(huì)禁止所有的gawk規(guī)范的擴(kuò)展。
--version 選項(xiàng)
輸出版本號(hào)
基本使用示例
本部分會(huì)講述一些有用的AWK命令和它們的使用示例，所有的例子都是以下面的文本文件 marks.txt 為基礎(chǔ)的。
打印所有的行
默認(rèn)情況下，AWK會(huì)打印出所有匹配模式的行
打印匹配模式的列
當(dāng)模式匹配成功時(shí)，默認(rèn)情況下AWK會(huì)打印該行，但是也可以讓它只打印指定的字段。例如，下面的例子中，只會(huì)打印出匹配模式的第三和第四個(gè)字段。
任意順序打印
打印超過(guò)18個(gè)字符的行
內(nèi)建變量
AWK提供了很多內(nèi)置的變量，它們?cè)陂_發(fā)AWK腳本的過(guò)程中起著非常重要的角色。
標(biāo)準(zhǔn)AWK變量 ARGC 命令行參數(shù)個(gè)數(shù)
命令行中提供的參數(shù)個(gè)數(shù)
ENVIRON 環(huán)境變量
環(huán)境變量的關(guān)聯(lián)數(shù)組
NF 字段數(shù)目
OFS 輸出字段分隔符
輸出字段分隔符，默認(rèn)為空
RSTART
match函數(shù)匹配的第一次出現(xiàn)位置
$n
當(dāng)前行中的第n個(gè)字段
GNU AWK的變量
ARGIND
當(dāng)前被處理的ARGV的索引
BINMODE
在非POSIX系統(tǒng)上指定對(duì)所有的文件I/O采用二進(jìn)制模式。
ERRORNO
一個(gè)代表了 getline跳轉(zhuǎn)失敗或者是 close調(diào)用失敗的錯(cuò)誤的字符串。
FIELDWIDTHS
設(shè)置了空格分隔的字段寬度變量列表的話，GAWK會(huì)將輸入解析為固定寬度的字段，而不是使用FS進(jìn)行分隔。
IGNORECASE
設(shè)置了這個(gè)變量的話，AWK會(huì)忽略大小寫。
LINT
提供了對(duì)–lint選項(xiàng)的動(dòng)態(tài)控制。
操作符
與其它編程語(yǔ)言一樣，AWK也提供了大量的操作符。
算數(shù)操作符
算數(shù)操作符不多說(shuō)，直接看例子，無(wú)非就是+-*/%
增減運(yùn)算符
自增自減與C語(yǔ)言一致。
賦值操作符
關(guān)系操作符
邏輯操作符
三元操作符
一元操作符
指數(shù)操作符
字符串連接操作符
數(shù)組成員操作符
正則表達(dá)式操作符
正則表達(dá)式操作符使用 ~和 !~分別代表匹配和不匹配。
更多關(guān)于正則表達(dá)式請(qǐng)看后面的正則表達(dá)式部分
正則表達(dá)式
AWK在處理正則表達(dá)式方面是非常強(qiáng)大的，使用簡(jiǎn)單的正則表達(dá)式可以處理非常復(fù)雜的問(wèn)題。
數(shù)組
AWK支持關(guān)聯(lián)數(shù)組，也就是說(shuō)，不僅可以使用數(shù)字索引的數(shù)組，還可以使用字符串作為索引，而且數(shù)字索引也不要求是連續(xù)的。數(shù)組不需要聲明可以直接使用，語(yǔ)法如下：
在AWK中，只支持一維數(shù)組，但是可以通過(guò)一維數(shù)組模擬多維，例如我們有一個(gè)3×3的三維數(shù)組
流程控制
流程控制語(yǔ)句與大多數(shù)語(yǔ)言一樣，基本格式如下
循環(huán)
循環(huán)操作與其他C系語(yǔ)言一樣，主要包括 for ， while ， do...while ， break ， continue 語(yǔ)句，當(dāng)然，還有一個(gè) exit 語(yǔ)句用于退出腳本執(zhí)行。
exit 用于退出腳本，參數(shù)為退出的狀態(tài)碼，可以通過(guò)shell中的 $? 獲取
函數(shù)
內(nèi)建函數(shù)
AWK提供了很多方便的內(nèi)建函數(shù)供編程人員使用。由于函數(shù)比較多，個(gè)人覺得單純看每個(gè)函數(shù)的使用也沒有什么實(shí)際意義，比較容易遺忘，因此，這里只簡(jiǎn)單的列出常用的一些函數(shù)，只需要對(duì)其有個(gè)印象即可，使用的時(shí)候再去 查手冊(cè) 效果會(huì)更好一些吧。
數(shù)學(xué)函數(shù)
- atan2(y, x)
- cos(expr)
- exp(expr)
- int(expr)
- log(expr)
- rand
- sin(expr)
- sqrt(expr)
- srand([expr])
字符串函數(shù)
- asort(arr [, d [, how] ])
- asorti(arr [, d [, how] ])
- gsub(regex, sub, string)
- index(str, sub)
- length(str)
- match(str, regex)
- split(str, arr, regex)
- sprintf(format, expr-list)
- strtonum(str)
- sub(regex, sub, string)
- substr(str, start, l)
- tolower(str)
- toupper(str)
時(shí)間函數(shù)
- systime
- mktime(datespec)
- strftime([format [, timestamp[, utc-flag]]])
字節(jié)操作函數(shù)
- and
- compl
- lshift
- rshift
- or
- xor
其它
用戶自定義函數(shù)
函數(shù)是程序基本的組成部分，AWK允許我們自己創(chuàng)建自定義的函數(shù)。一個(gè)大型的程序可以被劃分為多個(gè)函數(shù)，每個(gè)函數(shù)之間可以獨(dú)立的開發(fā)和測(cè)試，提供可重用的代碼。
下面是用戶自定義函數(shù)的基本語(yǔ)法
輸出重定向重定向操作符
到目前為止，我們所有的程序都是直接顯示數(shù)據(jù)到了標(biāo)準(zhǔn)輸出流，其實(shí)，我們也可以將輸出重定向到文件。重定向操作符跟在 print 和 printf 函數(shù)的后面，與shell中的用法基本一致。
管道
除了將輸出重定向到文件之外，我們還可以將輸出重定向到其它程序，與shell中一樣，我們可以使用管道操作符 | 。
第一次I/O操作使用了 |& 操作符，gawk會(huì)創(chuàng)建一個(gè)到運(yùn)行其它程序的子進(jìn)程的雙向管道， print 的輸出被寫入到了 subprogram 的標(biāo)準(zhǔn)輸入，而這個(gè) subprogram 的標(biāo)準(zhǔn)輸出在gawk中使用 getline 函數(shù)進(jìn)行讀取。
注意：目前協(xié)同進(jìn)程的標(biāo)準(zhǔn)錯(cuò)誤輸出將會(huì)和gawk的標(biāo)準(zhǔn)錯(cuò)誤輸出混雜在一起，無(wú)法單獨(dú)獲取標(biāo)準(zhǔn)錯(cuò)誤輸出。另外，I/O緩沖可能存在問(wèn)題，gawk程序會(huì)自動(dòng)的刷新所有輸出到下游的協(xié)同進(jìn)程的管道。但是，如果協(xié)同進(jìn)程沒有刷新其標(biāo)準(zhǔn)輸出的話，gawk將可能會(huì)在使用 getline 函數(shù)從協(xié)同進(jìn)程讀取輸出的時(shí)候掛起，這就可能引起死鎖。
我們可以使用 close 函數(shù)關(guān)閉雙向管道的 to或者 from一端，這兩個(gè)字符串值告訴gawk發(fā)送數(shù)據(jù)到協(xié)同進(jìn)程完成時(shí)或者從協(xié)同進(jìn)程讀取完畢時(shí)關(guān)閉管道。在使用系統(tǒng)命令 sort 的時(shí)候是這樣做是非常必要的，因?yàn)樗仨毜人休敵龆甲x取完畢時(shí)才能進(jìn)行排序。
上例看起來(lái)有些復(fù)雜，我們逐行分析一下
- 首先，第一行 cmd = “tr [a-z] [A-Z]” 是在AWK中要建立雙向連接的命令
- 第二行的 print 命令用于為 tr 命令提供輸入，而 |& 用于指出要建立雙向連接
- 第三行用于在上面的語(yǔ)句 close(cmd, “to”), 在執(zhí)行完成后關(guān)閉其 to 進(jìn)程
- 第四行 cmd |& getline out 使用getline函數(shù)存儲(chǔ)輸出到變量out中
- 最后一行使用 close 函數(shù)關(guān)閉命令
美化輸出
到目前為止，我們已經(jīng)使用過(guò) print 和 printf 函數(shù)顯示數(shù)據(jù)到標(biāo)準(zhǔn)輸出，但是 printf 函數(shù)實(shí)際上要比我們之前使用的情況更加強(qiáng)大得多。該函數(shù)是從C語(yǔ)言中借鑒來(lái)的，在處理格式化的輸出時(shí)非常有用。
格式化輸出標(biāo)識(shí)有 %c ， %d ， %s 等，基本與C語(yǔ)言一致，這里就不多贅述了。
執(zhí)行shell命令
在AWK中執(zhí)行shell命令有兩種方式
- 使用 system 函數(shù)
- 使用管道
使用system函數(shù)
system函數(shù)用于執(zhí)行操作系統(tǒng)命令并且返回命令的退出碼到awk。
使用管道
如果要執(zhí)行的命令很多，可以將輸出的命令直接用管道傳遞給 “/bin/sh”執(zhí)行
參考
- AWK Tutorial
- The GNU Awk User’s Guide
本文將會(huì)持續(xù)修正和更新，最新內(nèi)容請(qǐng)參考我的 GITHUB 上的 程序猿成長(zhǎng)計(jì)劃 項(xiàng)目，歡迎 Star。
來(lái)源：伯樂(lè)在線- mylxsw
