AWKの基本コマンドと使い方を徹底解説！テキスト加工やパターン・文字列処理の方法は？

AWKでできること

• CSVファイル操作
• ログ解析

AWK派生言語解説

• awk（元祖AWK）
• nawk（New AWK）
• gawk（GNU AWK）
• mawk（Mike Brennanが実装したAWK）
  

AWK動作環境の準備

1. # docker run –rm -it centos /bin/bash
2. $ cat /etc/redhat-release
3. CentOS Linux release 8.1.1911 (Core)
4. $ yum -y update
5. $ yum -y install which
   

AWKのインストール

1. $ which awk
2. /usr/bin/awk
   

1. $ which mawk
2. which: no mawk in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin)
   
   

1. $ apt -y install mawk
2. $ yum -y install gawk
   
   

AWKのバージョン確認

1. $ awk –version
2. GNU Awk 4.2.1, API: 2.0 (GNU MPFR 3.1.6-p2, GNU MP 6.1.2)
3. （後略）
   

1. $ awk -W version
2. mawk 1.3.4 20200120
3. （後略）
   
   

AWKの基本コマンド

1. A1 A2 A3 A4 A5
2. B1 B2 B3 B4 B5
3. C1 C2 C3 C4 C5
   

• $ awk <オプション> ‘<コマンド>’ <入力ファイルパス>
  
  

ファイルの内容を検索・出力する

• $ awk ‘<コマンド>’ sample.txt
  

1. $ awk ‘{ print }’ sample.txt
2. A1 A2 A3 A4 A5
3. B1 B2 B3 B4 B5
4. C1 C2 C3 C4 C5
   
   

1. $ awk ‘{ printf “%s-%s-%s”, $1, $3, $5 }’ sample.txt
2. A1-A3-A5B1-B3-B5C1-C3-C5–$
3. $ awk ‘{ printf “%s-%s-%s\n”, $1, $3, $5 }’ sample.txt
4. A1-A3-A5
5. B1-B3-B5
6. C1-C3-C5
   
   

1. $ awk ‘{ print $3, $5 }’ sample.txt
2. A3 A5
3. B3 B5
4. C3 C5
   
   

1. $ awk ‘NR==1;NR==3’ sample.txt
2. A1 A2 A3 A4 A5
3. C1 C2 C3 C4 C5
   
   

1. $ awk ‘/C4/’ sample.txt
2. C1 C2 C3 C4 C5
   
   

AWKの変数を使う

1. $ awk ‘{ print $NR }’ sample.txt
2. A1
3. B2
4. C3
   

AWKの関数を利用する

1. $ awk ‘{ sub(“B”, “BX”); print }’ sample.txt
2. A1 A2 A3 A4 A5
3. BX1 B2 B3 B4 B5
4. C1 C2 C3 C4 C5
5. $ awk ‘{ gsub(“B”, “BX”); print }’ sample.txt
6. A1 A2 A3 A4 A5
7. BX1 BX2 BX3 BX4 BX5
8. C1 C2 C3 C4 C5
   

AWKのパターン処理

1. $ awk ‘/B/{ sub(“B”, “BX”); print }’ sample.txt
2. BX1 B2 B3 B4 B5
3. $ awk ‘/B/{ gsub(“B”, “BX”); print }’ sample.txt
4. BX1 BX2 BX3 BX4 BX5
   

AWKの主要オプション

1. W1,W2,W3
2. X1,X2,X3
3. Y1,Y2,Y3
4. Z1,Z2,Z3
   

区切り文字を指定する

1. $ awk ‘{ print $2 }’ sample.csv
   

1. $ awk -F “,” ‘{ print $2 }’ sample.csv
2. W2
3. X2
4. Y2
5. Z2
   

変数を定義する

1. $ awk -v hoge=”H” -v fuga=”F” ‘BEGIN{ print hoge fuga }’ sample.csv
2. HF
   

AWKスクリプトを実行する

1. #!/usr/local/bin/gawk -f
2. {
3.  print $1, $3
4. }
   

1. $ awk -f script.awk -F “,” sample.csv
2. W1 W3
3. X1 X3
4. Y1 Y3
5. Z1 Z3
   
   

AWKの制御文

1. 2020-05-04 15:30 afternoon snack
2. 2020-05-05 10:00 morning snack
3. 2020-05-05 15:00 afternoon snack
   

if文

1. {
2.   if($1 == “2020-05-05”){
3.  print $0
4. }
5. }
   

1.  $ awk -f script.awk sample.log
2. 2020-05-05 10:00 morning snack
3. 2020-05-05 15:00 afternoon snack
   
   

1. {
2.   if($1 == “2020-05-05” && $3 ~ /^morning/){
3.  print $0
4. }
5. }
   

1.  $ awk -f script.awk sample.log
2. 2020-05-05 10:00 morning snack
   
   

while文・for文

1. BEGIN{
2.   for(i = 1; i <= 3; i++){
3.    sum += i
4.   }
5.  print sum
6. }
   

1.  $ awk -f script.awk sample.log
2. 6
   

delete文

1. BEGIN{
2.  split(“a b c d” , arr, ” “)
3.   delete arr[3]
4.   for(i in arr) {
5.  print i “-” arr[ i ]
6.   }
7. }
   

1. $ awk -f script.awk sample.log
2. 1-a
3. 2-b
4. 4-d
   

AWKの組み込み関数

数学関数

• sin関数（サイン・正弦をラジアンで返却）
• cos関数（コサイン・余弦をラジアンで返却）
• log関数（自然対数）
• rand関数（乱数）
  

文字列関数

• length関数（文字列の長さ）
• split関数（文字列の分割）
• tolower関数・toupper関数（大文字小文字変換）
• match関数（正規表現検索）
  

AWKのユーザー定義関数

1. function printarr(arr) {
2.  print “—–“
3.  for(i in arr) {
4.  print i “-” arr[ i ]
5.   }
6. }
7. BEGIN{
8.  split(“a b c d” , arr, ” “)
9.   printarr(arr)
10. delete arr[3]
11.  printarr(arr)
12. }
    

1. $ awk -f script.awk sample.log
2. —–
3. 1-a
4. 2-b
5. 3-c
6. 4-d
7. —–
8. 1-a
9. 2-b
10. 4-d
    

おわりに