命令行大全

awk

rose1 发表于 2020-08-27 16:15浏览次数:

在类似Unix的操作系统上,awk命令运行AWK(一种文本处理编程语言)。 本文档涵盖AWK的GNU / Linux版本gawk。 在Linux系统上,awk命令通常是指向可执行文件/ usr / bin / gawk的符号链接。

查看英文版

目录:

1 awk 运行系统环境

2 awk 说明

3 awk 语法

4 awk 例子

awk 运行系统环境

Linux

awk 说明

AWK是“ Aho,Weinberger和Kernighan”的缩写,是一种着重于处理文本的解释型 编程语言。

AWK 由Alfred Aho,Peter Weinberger和Brian Kernighan在贝尔实验室于1970年代开发。它旨在对文本数据流执行复杂的模式匹配操作。它大量使用了字符串,关联数组和正则表达式,对解析系统数据和生成自动报告非常有用。

AWK是Perl的直接前身,在现代系统中仍然非常有用。在GNU自由软件项目分发的开放源代码版本的awk称作gawk的。

Short for "Aho, Weinberger, and Kernighan," AWK is an interpreted programming language which focuses on processing text.

AWK was developed in the 1970s at Bell Labs by Alfred Aho, Peter Weinberger, and Brian Kernighan. It was designed to execute complex pattern-matching operations on streams of textual data. It makes heavy use of strings, associative arrays, and regular expressions, and is immensely useful for parsing system data and generating automatic reports.

AWK is a direct predecessor of Perl, and is still very useful in modern systems. The GNU free software project distributes an open-source version of AWK called gawk.

查看英文版

查看中文版

awk 语法

awk [ -F fs ] [ -v var=value ] [ 'prog' | -f progfile ] [ file ... ]

参数

-F fs

将输入字段分隔符设置到正则表达式fs 。

-v var=value

在执行 awk程序之前,将值值分配给变量 var。

'prog'

awk程序。

-f progfile

指定一个文件,progfile,其中包含要执行的 awk程序。

file ...

要由指定的awk程序处理的文件。

概述

Awk 扫描每个输入文件,以寻找与在 prog 或指定为-f progfile的一个或多个文件中指定的一组模式中的任何一组匹配的行。对于每个模式,当文件的一行与模式匹配时,可以执行一个关联的操作。每行与每个模式操作语句的模式部分匹配;对每个匹配的模式执行关联的操作。文件名"-"(破折号)指示 awk 从标准输入读取。选项-v后跟var=值是执行 prog 之前要完成的分配;可能存在任何数量的 -v选项。-F fs选项将输入字段分隔符定义为正则表达式 fs。

输入行通常由用空格分隔的字段或正则表达式fs 分隔。字段表示$1, $2,...,$0表示整行。如果fs为 null,则输入行将拆分为每个字符的一个字段。

模式操作语句具有窗体

pattern { action }

缺少[ 操作 ]表示打印行;如果未指定模式,则始终匹配。模式操作语句用用更行或分号分隔。

操作是一系列语句。语句可以是以下语句之一:

If( expression ) statement [ else statement ]
while( expression ) statement 
for( expression ; expression ; expression ) statement 
for( var in array ) statement 
do statement while( expression )
break
continue
{ [ statement ... ] }
expression 
print [ expression-list ] [ > expression ]
printf format [ , expression-list ] [ > expression ]
return [ expression ]
next

(跳过此输入行上的剩余模式)

nextfile

(跳过此文件的其余部分,打开下一个,从顶部开始)

delete array[ expression ]

(删除数组元素)

delete array

(删除数组的所有元素)

exit [ expression ]

(立即退出;退出状态是表达式的评估)

语句由分号、新行或右大括号终止。空表达式列表代表$0。字符串常量被引用为"",通常的C转义在内被识别。表达式以字符串或数值为适用,并使用运算符 \ , - *, /, % , + (表示) 和串联(以空格表示)构建。

运算符! 、= 、--、 -- = 、/= 、%= 、== 、>、>、<、<=、\,\, 和?, 在表达式中也可用。 变量可以是标量、数组元素(表示x[i])或字段。变量初始化为空字符串。数组下标可能是任何字符串,不一定是数字;这允许一种形式的关联内存。允许使用多个下标,如 [i,j,k];成分是串联的,由SUBSEP 的值分隔。

打印语句将其参数打印在标准输出上(如果存在 >file>>文件,则打印在文件上,如果存在 \cmd,则打印在管道上),由当前输出字段分隔符分隔,并由输出记录分隔符终止。文件和 cmd可以是文本名称或括号化表达式;不同语句中的相同字符串值表示相同的打开文件。printf语句根据格式设置其表达式列表的格式(请参阅printf)。内置函数关闭(expr)关闭文件或管道expr。内置函数fflush(expr)刷新文件或管道expr的任何缓冲输出。

数学函数exp, log, sqrt, sin, cos, atan2内置.其他内置功能:

length

其参数的长度作为字符串,如果没有参数,则为 $0

rand

0 和 1 之间的随机数

srand

rand设置种子并返回上一个种子。

int

截断为整数值

substr(s, m, n)

从1开始的位置 m的 s的 n 字符子字符串。

index(s, t)

出现字符串t的位置,如果没有,则为 0。

match(s, r)

正则表达式 r发生的位置,如果没有正则表达式r的位置,则为 0。变量RSTART RLENGTH设置为匹配字符串的位置和长度。

split(s, a, fs)

将字符串 s 拆分为数组元素a{1}、a{2}、...、a=n=,并返回n。如果未给出 fs,则使用正则表达式fs或字段分隔符FS进行分离。 作为字段分隔符的空字符串将字符串拆分为每个字符的一个数组元素。

sub(r, t, s)

替换t替换字符串 s 中正则表达式r的第一次出现。如果未给出 s,则使用 $0。

gsub

与子相同,但替换正则表达式的所有匹配项;子和 gsub返回替换件数。

sprintf(fmt, expr, ... )

根据打印格式 fmt格式化expr生成的字符串

system(cmd)

执行cmd并返回其退出状态

tolower(str)

返回一个str 副本,其中所有大写字符都转换为相应的小写等效字符。

toupper(str)

返回一个str 副本,其中所有小写字符都转换为相应的大写等效项。

函数getline $0设置到当前输入文件中的下一个输入记录;getline <文件将 $0 设置到文件中的下一个记录。getline x设置变量 x代替。最后,cmd = getline管道的输出 cmd到getline;getline 的每个调用返回 cmd 的下一行输出。在所有情况下,getline 返回 1表示成功的输入,0表示文件末尾,而 -1表示错误。

模式是正则表达式和关系表达式的任意布尔组合(带 !正则表达式在 re_format 中定义。模式中的独立正则表达式应用于整行。使用运算符 [和 ] 时,关系表达式中也可能出现正则表达式。/re/ 是一个常量正则表达式;任何字符串(常量或变量)可用作正则表达式,除非在模式中隔离正则表达式的位置。

图案可以由两个用逗号分隔的图案组成;在这种情况下,对来自第一个模式出现的所有行执行操作,而第二个模式的发生。

关系表达式是以下表达式之一:

expression matchop regular-expression
expression relop expression
expression in array-name
(expr,expr,...) in array-name

其中重新翻牌是C 中的六个关系运算符中的任何一个,并且匹配项是+(匹配)或 != (不匹配)。条件是算术表达式、关系表达式或这些表达式的布尔组合。

特殊模式BEGIN和END可用于在读取第一个输入行之前和最后一个输入行之后捕获控件。BEGIN 和 END 不与其他模式结合。

具有特殊含义的变量名称:

CONVFMT

转换数字时使用的转换格式(默认值: %.6g)。

FS

用于分隔字段的正则表达式;也可以按选项-Ffs 设置。

NF

当前记录中的字段数。

NR

当前记录的序号。

FNR

当前文件中当前记录的序号。

FILENAME

当前输入文件的名称。

RS

输入记录分隔符(默认值:新行)。

OFS

输出字段分隔符(默认值:空白)。

ORS

输出记录分隔符(默认值:新行)。

OFMT

数字的输出格式(默认值: %.6g)。

SUBSEP

字符分隔多个下标(默认值:034,这是双引号的 ASCII 代码)。

ARGC

参数计数,可分配。

ARGV

参数数组,可分配;非空成员被视为文件名。

ENVIRON

环境变量数组;下标是名称。

函数可以定义(在模式操作语句的位置),像这样:

function foo(a, b, c) { ...; return x }

参数通过值(如果标量)或引用(如果数组名称)传递;函数可以递归调用。参数是函数的本地参数;所有其他变量都是全局变量。因此,可以通过在函数定义中提供多余的参数来创建局部变量。

awk [ -F fs ] [ -v var=value ] [ 'prog' | -f progfile ] [ file ... ]

Arguments

-F fs

Sets the input field separator to the regular expression fs.

-v var=value

Assigns the value value to the variable var before executing the awk program.

'prog'

An awk program.

-f progfile

Specify a file, progfile, which contains the awk program to be executed.

file ...

A file to be processed by the specified awk program.

Overview

Awk scans each input file for lines that match any of a set of patterns specified literally in prog or in one or more files specified as -f progfile. With each pattern there can be an associated action that will be performed when a line of a file matches the pattern. Each line is matched against the pattern portion of every pattern-action statement; the associated action is performed for each matched pattern. The file name "-" (a dash) instructs awk to read from the standard input. The option -v followed by var=value is an assignment to be done before prog is executed; any number of -v options may be present. The -F fs option defines the input field separator to be the regular expression fs.

An input line is normally made up of fields separated by white space, or by regular expression fs. The fields are denoted $1, $2, ..., while $0 refers to the entire line. If fs is null, the input line is split into one field per character.

A pattern-action statement has the form

pattern { action }

A missing { action } means print the line; if no pattern is specified, it will always match. Pattern-action statements are separated by newlines or semicolons.

An action is a sequence of statements. A statement can be one of the following:

If( expression ) statement [ else statement ]
while( expression ) statement 
for( expression ; expression ; expression ) statement 
for( var in array ) statement 
do statement while( expression )
break
continue
{ [ statement ... ] }
expression 
print [ expression-list ] [ > expression ]
printf format [ , expression-list ] [ > expression ]
return [ expression ]
next

(skips remaining patterns on this input line)

nextfile

(skips rest of this file, open next, start at top)

delete array[ expression ]

(deletes an array element)

delete array

(deletes all elements of array)

exit [ expression ]

(exits immediately; exit status is the evaluation of expression)

Statements are terminated by semicolons, newlines or right braces. An empty expression-list stands for $0. String constants are quoted " ", with the usual C escapes recognized within. Expressions take on string or numeric values as appropriate, and are built using the operators +-*/%^ (exponentiation), and concatenation (indicated by white space).

operators !++--+=-=*=/=%=^=>>=<<===!=, and ?: are also available in expressions. Variables may be scalars, array elements (denoted x[i]) or fields. Variables are initialized to the null string. Array subscripts may be any string, not necessarily numeric; this allows for a form of associative memory. Multiple subscripts such as [i,j,k] are permitted; the constituents are concatenated, separated by the value of SUBSEP.

The print statement prints its arguments on the standard output (or on a file if >file or >>file is present or on a pipe if |cmd is present), separated by the current output field separator, and terminated by the output record separator. file and cmd may be literal names or parenthesized expressions; identical string values in different statements denote the same open file. The printf statement formats its expression list according to the format (see printf). The built-in function close(expr) closes the file or pipe expr. The built-in function fflush(expr) flushes any buffered output for the file or pipe expr.

The mathematical functions explogsqrtsincos, and atan2 are built in. Other built-in functions:

length

The length of its argument taken as a string, or of $0 if no argument.

rand

Random number between 0 and 1

srand

Sets seed for rand and returns the previous seed.

int

Truncates to an integer value

substr(s, m, n)

The n-character substring of s that begins at position m counted from 1.

index(s, t)

The position in s where the string t occurs, or 0 if it does not.

match(s, r)

The position in s where the regular expression r occurs, or 0 if it does not. The variables RSTART and RLENGTH are set to the position and length of the matched string.

split(s, a, fs)

Splits the string s into array elements a[1], a[2], ..., a[n], and returns n. The separation is done with the regular expression fs or with the field separator FS if fs is not given. An empty string as field separator splits the string into one array element per character.

sub(r, t, s)

Substitutes t for the first occurrence of the regular expression r in the string s. If s is not given, $0 is used.

gsub

Same as sub except that all occurrences of the regular expression are replaced; sub and gsub return the number of replacements.

sprintf(fmt, expr, ... )

The string resulting from formatting expr ... according to the printf format fmt

system(cmd)

Executes cmd and returns its exit status

tolower(str)

Returns a copy of str with all uppercase characters translated to their corresponding lowercase equivalents.

toupper(str)

Returns a copy of str with all lowercase characters translated to their corresponding uppercase equivalents.

The function getline sets $0 to the next input record from the current input file; getline  sets $0 to the next record from file. getline x sets variable x instead. Finally, cmd | getline pipes the output of cmd into getline; each call of getline returns the next line of output from cmd. In all cases, getline returns 1 for a successful input, 0 for end of file, and -1 for an error.

Patterns are arbitrary Boolean combinations (with ! || &&) of regular expressions and relational expressions. Regular expressions are as defined in re_format. Isolated regular expressions in a pattern apply to the entire line. Regular expressions may also occur in relational expressions, using the operators ~ and !~/re/ is a constant regular expression; any string (constant or variable) may be used as a regular expression, except in the position of an isolated regular expression in a pattern.

A pattern may consist of two patterns separated by a comma; in this case, the action is performed for all lines from an occurrence of the first pattern though an occurrence of the second.

A relational expression is one of the following:

expression matchop regular-expression
expression relop expression
expression in array-name
(expr,expr,...) in array-name

where a relop is any of the six relational operators in C, and a matchop is either ~ (matches) or !~ (does not match). A conditional is an arithmetic expression, a relational expression, or a Boolean combination of these.

The special patterns BEGIN and END may be used to capture control before the first input line is read and after the last. BEGIN and END do not combine with other patterns.

Variable names with special meanings:

CONVFMT

Conversion format used when converting numbers (default: %.6g).

FS

Regular expression used to separate fields; also settable by option -Ffs.

NF

Number of fields in the current record.

NR

Ordinal number of the current record.

FNR

Ordinal number of the current record in the current file.

FILENAME

The name of the current input file.

RS

Input record separator (default: newline).

OFS

Output field separator (default: blank).

ORS

Output record separator (default: newline).

OFMT

Output format for numbers (default: %.6g).

SUBSEP

Character to separate multiple subscripts (default: 034, which is the ASCII code for double quotes).

ARGC

Argument count, assignable.

ARGV

Argument array, assignable; non-null members are taken as filenames.

ENVIRON

Array of environment variables; subscripts are names.

Functions may be defined (at the position of a pattern-action statement) like this:

function foo(a, b, c) { ...; return x }

Parameters are passed by value (if scalar) or by reference (if array name); functions may be called recursively. Parameters are local to the function; all other variables are global. Thus local variables may be created by providing excess parameters in the function definition.

查看英文版

查看中文版

awk 例子

awk 'length($0) > 72' text.txt

仅打印超过72个字符的文件文本.txt行

awk '{ print $2, $1 }' data.txt

按相反的顺序打印前两个数据字段。例如,如果文件数据.txt包含以下行:

red apple blue berry green thumb

...然后上述awk 命令的输出将是:

apple red berry blue thumb green

大多数 awk 程序太长,不能在命令行上指定。如果程序保存在文件prog.awk 中,则为以下命令。

awk -f prog.awk file.txt

上述命令在prog.awk中执行 awk 程序来处理文件文件.txt 的内容。

其余示例只是 awk 程序本身。

{ s += $1 }
END { print "sum is", s, " average is", s/NR }

此程序将添加其输入文件的第一列,并打印值的总和和平均值。

/start/, /stop/

此程序将打印在 [开始] [停止] 之间找到的所有文本行。

BEGIN {
for (i = 1; i < ARGC; i++) printf "%s ", ARGV[i]
printf "\n"
exit }

此 awk 程序模拟回声命令。

awk 'length($0) > 72' text.txt

Print only lines of the file text.txt that are longer than 72 characters.

awk '{ print $2, $1 }' data.txt

Print first two fields of data in opposite order. For example, if the file data.txt contains the lines:

red apple blue berry green thumb

...then the output of the above awk command would be:

apple red berry blue thumb green

Most awk programs are too long to specify on the command line. If the program is saved in the file prog.awk, the command below.

awk -f prog.awk file.txt

The above command executes the awk program in prog.awk to process the contents of file file.txt.

The remainder of the examples are just the awk programs themselves.

{ s += $1 }
END { print "sum is", s, " average is", s/NR }

This program will add up first column of its input file, and print the sum and average of the values.

/start/, /stop/

This program will print all lines of text found between "start" and "stop".

BEGIN {
for (i = 1; i < ARGC; i++) printf "%s ", ARGV[i]
printf "\n"
exit }

This awk program simulates the echo command.

查看英文版

查看中文版