前言
之前用一些脚本都经常用到grep,sed,awk。但是一直不太熟悉，今天来学习一下，做个备忘录。
grep
格式：
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN] [FILE...]
参数：
-c --count #计算符合样式的列数
-l --file-with-matches #列出文件内容符合指定的样式的文件名称。
-v --revert-match #显示不包含匹配文本的所有行。
-i --ignore-case #忽略字符大小写的差别。
-o # 只显示匹配到的关键字
-n # 现实行号
-E 使用正则表达式
sed
sed : 流编辑器，一次处理一行内容
sed [-nefr] [动作] [文件]
选项与参数：
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来
-e ：直接在命令列模式上进行 sed 的动作编辑
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
动作说明： [n1[,n2]] 动作：
n1, n2 ：不一定存在，一般代表选择进行动作的行数，比如，如果我的动作是需要在 10 到 20 行之间进行的，则10,20[动作行为]
动作：
#a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
#c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
#d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
sed "3d" file # 删除第三行
sed "1,3d" # 删除前三行
sed "1d;3d;5d" # 删除1、3、5行
sed "/^$/d" #删除空行
sed "/abc/d" #删除所有含有abc的行
sed "/abc/，/def/d" #删除abc 和 def 之间的行，包括其自身
sed "1，/def/d" #删除第一行到 def 之间的行，包括其自身
sed "/abc/，+3d " # 删除含有abc的行之后，在删除3行
sed "/abc/，～3d" #从含有abc的行开始，共删除3行
sed "1~2d" # 从第1行开始，每2行删除一行， 删除奇数行
sed "2~2d" # 从第2行开始，每2行删除一行， 删除奇数行
sed "$d" # 删除最后一行
sed "/dd\|cc/d" 删除有dd或者cc的行
#i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
#p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
sed -n "3p" file # 显示第三行
sed -n "1,3p" # 显示前三行
sed -n "2,+3p" # 显示第二行，及后面的三行
sed -n "$p" # 显示最后一行
sed -n "1p;3p;5p" # 只显示文件1、3、5行
sed -n "$=" # 显示文件行数
#s ：替换，可以直接进行取代的工作。通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g
's/old/new/g'
sed "s/\(all\)/bb/"
sed -r "s/(all)/bb/"
awk
awk : 一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
# 命令行调用方式
awk [-F field-separator] 'commands' input-file(s)
# commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。 在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。
# awk工作流程：
# 读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推。
cat /etc/passwd |awk -F ':' '{print $1}'
cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
awk 常用内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列， ARGV[0] ARGV[1]
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
# 统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
#awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
# 使用printf替代print,可以让代码更加简洁，易读
awk -F ':' '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd
其他一些容易忘记的命令
crontab
* * * * * command to be executed
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0～7（其中星期天可以用0或7表示）
| | | ------- 表示月份1～12
| | --------- 表示日期1～31
| ----------- 表示小时1～23（0表示0点）
------------- 表示分钟1～59 每分钟用*或者 */1表示
-u user：用来设定某个用户的crontab服务；
-e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。
-l：显示某个用户的crontab文件内容，如果不指定用户，则表示显示当前用户的crontab文件内容。
-r：从/var/spool/cron目录中删除某个用户的crontab文件，如果不指定用户，则默认删除当前用户的crontab文件。
-i：在删除用户的crontab文件时给确认提示
ubuntu下配置文件在/var/spool/cron/crontabs/下。
tar
-c ：建立一个压缩文件的参数指令(create 的意思)；
-x ：解开一个压缩文件的参数指令！
-t ：查看 tarfile 里面的文件！
特别注意 c/x/t 同时仅能存在一个，因为不可能同时压缩与解压缩。
-z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？
-j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？
-v ：压缩的过程中显示文件！这个常用，但不建议用在背景执行过程！
-f ：使用档名，请留意，在 f 之后要立即接文件名
-p ：使用原文件的原来属性（属性不会依据使用者而变）
-P ：可以使用绝对路径来压缩！
-N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！
# 将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz
tar czvf this.tar.gz ./*.txt
# 将当前目录下的this.tar.gz中的文件解压到当前目录
tar xzvf this.tar.gz ./
# 将整个 /etc 目录下的文件全部打包成为 /tmp/etc.tar
tar -cvf /tmp/etc.tar /etc # 仅打包，不压缩！
tar -zcvf /tmp/etc.tar.gz /etc # 打包后，以 gzip 压缩
tar -jcvf /tmp/etc.tar.bz2 /etc # 打包后，以 bzip2 压缩
# 解压文件
tar -xf a.tar.gz #
tar -xf a.tar.gz -C /tmp # 指定解包路径
