linux过滤输出流

Ⅰ Linux相关使用介绍

Linux命令分为内部命令（shell自带的命令）和外部命令（不是shell自带的命令，由用户安装），怎么鉴别是内部命令和外部命令呢？可以通过type命令来鉴别
什么是shell呢？shell是一个程序，常用的有bash shell，平时我们通过用户名和密码登录到linux，其实就是登录到bash shell程序，通过bash shell来操作linux内核

命令执行流程

那岂不是说使用外部命令效率会很慢吗？
其实一点都不慢，它会去PATH环境变量设置的一堆目录中查找

cd is a shell builtin 表示内部命令
ifconfig is hashed (/usr/sbin/ifconfig) 表示外部命令

cd命令切换文件夹
现在我们cd /usr/sbin

通过cat命令查看文件内容
通过cat ifconfig来查看ifconfig，发现是乱码文件

file命令查看文件类型
输入file ifconfig

从输出信息可以看出它是一个二进制可执行文件

whereis命令查看文件位置

find / -name jdk

echo命令用户打印信息，相当于java中的system.out.println

可以使用回车查看下一行、空格查看下一页、q退出

一般使用man查看外部命令，help查看内部命令

查看linux下的应用和应用的进程号

当我们在这个窗口中输入kill -9 1593的话，另外一个正在编辑文件的进程就会退出

在前面我们已经讲过，bash shell程序在执行命令的一个过程及原理，对于外部命令，它会去PATH这个环境变量中查找执行命令所在的路径，当然在去PATH中寻找之前会先去hash表中查找这个命令有没有执行过，执行过的话会记录在hash表中，则此次查找只需从hash表中就可以很方便的找到

查看分区信息 -h 表示文件大小后面会显示文件大小

查看文件的使用情况

使用man ls 查看ls命令的相关介绍
-a：可以查看隐藏文件
-l：以长列表的形式展示文件列表信息

第一位 -：表示文件，d表示文件夹，b表示块设备文件，c表示字符设备文件，p表示命令管道文件，s表示套接字文件， 从第二位开始往后数九位表示属主权限（每三位一组 rwx：读、写、执行），第11位表示的点表示分隔符，点后面的数字表示文件有几个硬连接，第一个root代表属主名，第二个root代表这个第一个root所在的组织，接下来的5表示文件大小，5后面的日期表示文件最后一次修改的时间， 1.txt代表的文件或文件夹的名称
小结：

切换文件目录
cd 文件路径
cd：切换到家目录
cd ~：回到家目录（也就是家目录）
cd ..：回到上一级目录

创建目录
mkdir 目录名
mkdir -p 目录名，级联创建目录

cp 被拷贝的文件（可以是路径加文件名） 拷贝到哪个位置

复制目录使用
cp -r 被拷贝的目录 目标位置

移动命令
mv 被移动的文件 目标位置+目标文件名

rm 文件名（此中方式的删除需要再输入 yes）
rm -f 文件名，无提示直接删除
rm -rf 文件夹

ln命令默认创建的是硬连接

ln profile a：将a硬连接到profile文件上，他们底层共用一个文件，删除他们之中任何一个
对另外一个没有影响，同时你也可以使用 ll -i命令查看文件编号

ln -s profile a：将a软连接到profile文件，当你访问a的时候会去访问profile，profile再访问底层文件，当将profile删除了之后a就无法访问了

一致时间、创建新文本
touch 已存在的文件：会将文件的访问时间、更新时间、改变时间(即上面stat中介绍的三个时间)变成一致
touch 不存在的文件：会创建一个新的文本

cat命令查看文件内容
cat 1.txt：查看单个文件内容
cat 1.txt 2.txt：查看多个文件

more 1.txt：以分页的形式查看文件内容，按空格：下一页，回车：下一行（注意它不能回看，回看的话只能用鼠标回轮）

less 1.txt：使用空格下一页， b看上一页， 回车看下一行
注意less的话会把整个文件内容加载到内存，如果文件比较大的话，建议使用more命令查看

head命令默认查看文件前10行内容， head 1.txt
head -5 1.txt：查看文件前5行的内容

tail命令默认查看文件后10行的内容 tail 1.txt
tail -5 1.txt：查看文件后5行内容
tail -f 1.txt：实时查看文件增量内容

cat b.txt | head -3：管道左边的命令会以输出流的形式交给管道右边的命令，管道右边以输入流的形式接收并且拼到命令的右边

注意：ls -l 不能接受前面的输出流，这个怎么办呢？可以通过xargs命令

vi文本编辑器末行模式的操作

set nu(number的缩写)： 设置行号
set nonu(nonumber的缩写)：取消行号
set readonly：设置为只读

n：往下查找
N：往上查找

n：往上查找
N：往下查找

一般我们会在/etc/profile文件中设置一些环境变量，但是在设置的时候可能没有记住目录，这时候我们可以使用如下方式

效果

格式 :s/str1/str2/gi
/ : 临近s命令的第一个字符边界字符，也可以是 @或#
g : 一行内全部替换
i : 忽略大小写

范围
n：行号
. ：当前光标行
+n ：偏移n行
-3
%：全文

全部删除 1,$d

删除前三行

删除倒数第2行

光标挪到最后一行 按下小写的p
效果图

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特殊字符、及这些特定字符的组合组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

\ ：转义字符
. ：匹配任意单个字符
[1249a] ：匹配中括号中任意字符
[^12] ：匹配中括号中任意非1和2的字符
[a-k] ：匹配中括号中任意a~k中的一个字符
^ ：行首
$ ：行尾
<abc> ：单词首尾边界（匹配单词abc）
| ：连接操作符
(,) ： 选择操作符
\n ：反向引用

? ：匹配0到1次

在Linux中通过grep命令使用正则表达式来匹配信息

f ：选择显示的列
s ：不显示没有分隔符的行
d ：自定义分隔符

n ：按数值排序
r ：倒序
t ：自定义分隔符
K ：选择排序列
u ：合并相同行
f ：忽略大小写

sed：行编辑器，以行为单位进行处理，可以将数据进行替换、删除、新增、选取等特定工作

sed [options] 'Command' file ...

-n ：静默模式，不再默认显示模式空间(内存)中的内容
-i ：直接修改原文件
-e SCRIPT ：可以同时执行多个脚本
-f /PATH/TO/SED_SCRIPT
-r ：表示使用扩展正则表达式

d ：删除符合条件的行
p ：显示符号条件的行
a \string ：在指定的行后面追加新行，内容为string
\n ：可以用于换行
i \string ：在指定的行前面添加新行，内容为string
c ：取代，c的后面可以接字符串
s /pattern/string/修饰符：查找并替换。默认只替换每行中第一次被模式匹配到的字符串
g ：行内全局替换
i ：忽略字符大小写
s///：s###，s@@@
()，\1，\2

sed "2p" ctxt
但是在执行下面的操作的时候文本中的内容都显示出来了，它的原理是，打印匹配的行，以及文本中所有的内容

注意：它删的是内存中的数据，而不是目标文件

sed -i "3d" ctxt

它的原理是先把内存中的第3行数据删除，然后再把内存中的数据写回原文件，这时原文件中的第三行就没有了

使用变量的形式

awk是一个强大的文本分析工具。
相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。
简单来说awk就是把文件逐行的读入，（空格，制表符）为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk -F '{pattern + action}' {filenames}
支持自定义分隔符，默认是以空格分隔的
支持正则表达式匹配
支持自定义变量，数组 a[1] a[tom] map(key)
支持内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
支持函数
print、split、substr、sub、gsub
支持流程控制语句
if、while、do/while、for、break、continue

练习题
passwd文件内容解读：
passwd文件中每行由7个字段组成，字段与字段之间由：分隔，第一个字段代表用户名，第二个字段表示用户对应的加密后的密码，第三个字段表示userId，第四个字段表示groupId，第五个字段表示对用户的描述，第六个字段表示用户的家目录，第七个字段表示的是这个用户默认使用的shell

其中$0表示整行

统计报表：合计每人1月工资， 0：manager，1：worker

将awk后面的内容封装到一个文件中（封装的脚本要遵循一定的格式）

qqq文件的内容格式

Ⅱ linux怎样用grep过滤

不知道你是想实现什么目的，如果你是想只显示配置文件中的以 # 号开头的行版，那就使用
# grep ^# filename
如果是想显示除权 # 号开头的行的话呢，只需加个参数-v (-v 表示相反的过滤)就行了
# grep -v ^# filename

Ⅲ 在linux系统如何grep过滤中，不包含某些字符

1、linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。
2、格式
grep[options]
3、主要参数
[options]主要参数：
－c：只输出匹配行的计数。
－I：不区分大小写(只适用于单字符)。
－h：查询多文件时不显示文件名。
－l：查询多文件时只输出包含匹配字符的文件名。
－n：显示匹配行及行号。
－s：不显示不存在或无匹配文本的错误信息。
－v：显示不包含匹配文本的所有行。
pattern正则表达式主要参数：
\：忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
$: 匹配正则表达式的结束行。
\<：从匹配正则表达式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如[A]即A符合要求。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
。：所有的单个字符。
* ：有字符，长度可以为0。
4、grep命令使用简单实例：
$ grep ‘test’d*
显示所有以d开头的文件中包含test的行。
$ grep ‘test’aa bb cc
显示在aa，bb，cc文件中匹配test的行。
$ grep‘[a-z]\{5\}’ aa
显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

Ⅳ linux grep查询结果再过滤

grep查询过滤需要使用管道命令|。

举例说明：

1、在进程表中查找特定进程的命令通常如专下：

Ⅳ 在linux上tshark怎么过滤

抓Mysql包命令如下：
tshark -s 512 -i eth0 -n -f 'tcp dst port 3306' -R 'mysql.query' -T fields -e mysql.query
tshark -s 512 -i em1 -n -f 'tcp dst port 3306' -R 'mysql.query' -T fields -e mysql.query
过滤HTTP请求：
# tshark 'tcp port 80 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' -R 'http.request.method == "GET" || http.request.method == "HEAD"'
输出：
Running as user "root" and group "root". This could be dangerous.
Capturing on eth0
0.000000 123.126.68.27 -> 173.255.196.50 HTTP GET /grep.html HTTP/1.1
12.066470 123.126.68.27 -> 173.255.196.50 HTTP GET /pro_lang.html HTTP/1.1
-s 512 :只抓取前512个字节数据
-i eth0 :捕获eth0网卡
-n :禁止网络对象名称解析
-f 'tcp dst port 3306' :只捕捉协议为tcp,目的端口为3306的数据包
-R 'mysql.query' :过滤出mysql.query
-T fields -e mysql.query :打印mysql查询语句

tshark使用-f来指定捕捉包过滤规则，规则与tcpmp一样，可以通过命令man pcap-filter来查得。
tshark使用-R来过滤已捕捉到的包，与界面板wireshark的左上角Filter一致。

Ⅵ 从linux指令的结果中过滤出需要的部分并写入指定文件

Linux下可以用sed命令来向文件中自追加内容。
案例：把/etc/test1文件中1-10行内容写入到test2中
12

sed
-n
'1,10'p
/etc/test1
>>test2#将file1的1-10行追加到file2

sed命令行格式为：sed
[-nefri]
‘command’
输入文本

常用选项：-n∶使用安静(silent)模式；
-e∶直接在指令列模式上进行
sed
的动作编辑；
-f∶直接将
sed
的动作写在一个档案内；
-r∶sed
的动作支援的是延伸型正规表示法的语法；
-i∶直接修改读取的档案内容，而不是由萤幕输出。

Ⅶ Linux下常用文本处理命令

Linux下常用文本处理命令大全

Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。下面就让我们一起看看这些经典的Linux文本处理命令有哪些吧。

一. sort

文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想了解这个命令的全部参数请参考这个命令的info页.

二. tsort

拓扑排序, 读取以空格分隔的有序对, 并且依靠输入模式进行排序.

三. uniq

这个过滤器将会删除一个已排序文件中的重复行. 这个命令经常出现在sort命令的管道后边.

四. expand, unexpand

expand命令将会把每个tab转化为一个空格. 这个命令经常用在管道中.

unexpand命令将会把每个空格转化为一个tab. 效果与expand命令相反.

五. cut

一个从文件中提取特定域的工具. 这个命令与awk中使用的print $N命令很相似, 但是更受限. 在脚本中使用cut命令会比使用awk命令来得容易一些. 最重要的选项就是-d(字段定界符)和-f(域分隔符)选项.

六. paste

将多个文件, 以每个文件一列的形式合并到一个文件中, 合并后文件中的每一列就是原来的一个文件. 与cut结合使用, 经常用于创建系统log文件.

七. join

这个命令与paste命令属于同类命令. 但是它能够完成某些特殊的目地. 这个强力工具能够以一种特殊的形式来合并两个文件, 这种特殊的形式本质上就是一个关联数据库的简单版本.

join命令只能够操作两个文件. 它可以将那些具有特定标记域(通常是一个数字标签)的行合并起来, 并且将结果输出到stdout. 被加入的文件应该事先根据标记域进行排序以便于能够正确的匹配.

八. head

把文件的头部内容打印到stdout上(默认为10行, 可以自己修改). 这个命令有一些比较有趣的选项.

九. tail

将一个文件结尾部分的内容输出到stdout中(默认为10行). 通常用来跟踪一个系统logfile的.修改情况, 如果使用-f选项的话, 这个命令将会继续显示添加到文件中的行.

十. wc

wc可以统计文件或I/O流中的”单词数量”:

十一. fold

将输入按照指定宽度进行折行. 这里有一个非常有用的选项-s, 这个选项可以使用空格进行断行(译者: 事实上只有外文才需要使用空格断行, 中文是不需要的)(请参考例子 12-23和例子 A-1).

十二. fmt

一个简单的文件格式器, 通常用在管道中, 将一个比较长的文本行输出进行”折行”.

十三. col

这个命令用来滤除标准输入的反向换行符号. 这个工具还可以将空白用等价的tab来替换. col工具最主要的应用还是从特定的文本处理工具中过滤输出, 比如groff和tbl. (译者: 主要用来将man页转化为文本.)

十四. column

列格式化工具. 通过在合适的位置插入tab, 这个过滤工具会将列类型的文本转化为”易于打印”的表格式进行输出.

十五. colrm

列删除过滤器. 这个工具将会从文件中删除指定的列(列中的字符串)并且写到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 <filename将会删除filename文件中每行的第2到第4列之间的所有字符. p=""> </filename将会删除filename文件中每行的第2到第4列之间的所有字符.>

Caution: 如果这个文件包含tab和不可打印字符, 那将会引起不可预期的行为. 在这种情况下, 应该通过管道的手段使用expand和unexpand来预处理colrm.

十六. nl

计算行号过滤器. nl filename将会把filename文件的所有内容都输出到stdout上, 但是会在每个非空行的前面加上连续的行号. 如果没有filename参数, 那么就操作stdin.

nl命令的输出与cat -n非常相似, 然而, 默认情况下nl不会列出空行.

十七. pr

格式化打印过滤器. 这个命令会将文件(或stdout)分页, 将它们分成合适的小块以便于硬拷贝打印或者在屏幕上浏览. 使用这个命令的不同的参数可以完成好多任务, 比如对行和列的操作, 加入行, 设置页边, 计算行号, 添加页眉, 合并文件等等. pr命令集合了许多命令的功能, 比如nl, paste, fold, column, 和expand.

pr -o 5 –width=65 fileZZZ | more 这个命令对fileZZZ进行了比较好的分页, 并且打印到屏幕上. 文件的缩进被设置为5, 总宽度设置为65.

一个非常有用的选项-d, 强制隔行打印(与sed -G效果相同).

十八. gettext

GNU gettext包是专门用来将程序的输出翻译或者本地化为不同国家语言的工具集. 在最开始的时候仅仅支持C语言, 现在已经支持了相当数量的其它程序语言和脚本语言.

想要查看gettext程序如何在shell脚本中使用. 请参考info页.

十九. msgfmt

一个产生二进制消息目录的程序. 这个命令主要用来本地化.

二十. iconv

一个可以将文件转化为不同编码格式(字符集)的工具. 这个命令主要用来本地化.

二十一. recode

可以认为这个命令是上边iconv命令的专业版本. 这个非常灵活的并可以把整个文件都转换为不同编码格式的工具并不是Linux标准安装的一部分.

二十二. TeX, gs

TeX和Postscript都是文本标记语言, 用来对打印和格式化的视频显示进行预拷贝.

TeX是Donald Knuth精心制作的排版系统. 通常情况下, 通过编写脚本的手段来把所有的选项和参数封装起来一起传到标记语言中是一件很方便的事情.

Ⅷ 如何关闭linux系统中的覆盖输出重定向功能

Linux下默认有两种输出流：
1 - 标准输出流
2 - 标准错误输出流
Linux下一切皆文件，这里的1和2表示的就是输出设备文件的文件描述符。
默认情况下，无论是标准输出还是标准错误输出，都是输出到终端显示的。
但也可以通过重定向输出到其他地方，如文件。这就是输出重定向。
并且，这两种输出流可以被分别重定向。

下面举例：
假设文件file.txt在当前目录下并不存在，执行下面的命令：
ls file.txt 2>log.txt

这样就将错误输出重定向到文件log.txt中。

ls file.txt 2>/dev/null

这样就什么都看不到，将标准错误输出流重定向到/dev/null中，丢弃了。

ls file.txt >/dev/null

只将标准输出重定向到/dev/null中，这样仍然可以在终端窗口看到错误输出。

注：>/dev/null 等同于 1>/dev/null，前面的1可省略。

Ⅸ linux怎么将传入流量过滤到UDP端口5353。

答：cmd netstat -an 用本地连接－TCP/IP－高级－选项－TCP/IP筛选，启用筛选机制来筛选端口；

Ⅹ 如何通过linux命令根据某一列值唯一来过滤数据

你可以这样做：
(1)为Server的那些使用者建立单独的账户，例如：user01、user02....等等（可以给每个人建立一个单独的账户。当然，为了使系统中的账户不至于太多而导致难以管理，也可以按照他们所在的部门、项目组（或工作组）、或是其它分类方式去建立账户）。
(2)对每个账户下的$HOME/.profile文件或者是$HOME/.cshrc文件（视不同用户的SHELL来决定，例如：bsh和sh就是.profile，csh就是.cshrc），用
chown
root:root
...
（例如:
chown
root:root
.cshrc）
命令将它们改成root用户及属组所有，只有root用户才可以更改它们。
(3)在每个用户的$HOME/.profile或是$HOME/.cshrc等shell环境配置文件中，将你认为是危险的命令做以下的转换：
alias
命令名='echo
管理员不运行执行该命令'
例如：
alias
format='echo
管理员不运行执行该命令'
这样这些用户就无法执行你限定的命令，执行之后都显示“管理员不运行执行该命令”。
如果觉得改.profile或是.cshrc文件不保险，还可以在每个用户的$HOME下建立.login文件，也用上述的方法将它改成root用户属组的，在里面加入
alias
命令名='echo
管理员不运行执行该命令'
效果更好。
----看到了你的问题追加。我觉得要是大家都只能使用root账户，那么这个系统的规划是否合理？假如一定都要使用root账户的话，对于每个用户在键入命令的过程中，你很难去捕获他们都正在敲入什么命令。只有等他们在命令行上都输入完了，回车确认之后才可能去发现他们执行的进程。假如真有这样的一个监控程序在你的系统中，就算是监控到了，那么那些进程已经开始运行了，对很多人来说已经是无法收拾了，只有及时的杀掉那些进程了。建议你把敏感的命令给rename了算了，例如mv
format
frmt
----呵呵，你也够执着的。既然一定要写个程序，那我就说说大概的思路吧！具体的程序代码你可以自己去写，这样也有些成就感。:)
不过我能保证，就算采用这样的做法也不会取得什么好的效果，尤其是大家都使用root账户。我用unix类操作系统近十年，听我一句劝告不会有什么害处啊！
程序思路：
（1）定义你的敏感命令列表（可以赋值给一个字符串数组）。
（2）获取你本人在系统中当前的tty编号，以及你自己的IP地址（你是从哪个IP地址发起的telnet？如果你本人使用Console，也需要如此）。
（3）按照你的敏感命令列表，循环检测除了自己的tty及IP地址之外的，其它tty及IP地址发起的敏感命令进程，如果发现，立即予以kill
-9。并向相应的tty发送警告信息。
注意：这个循环是无限循环；这个程序是一个守护进程（Daemon）。除非接到进程中止信号，否则它将一直运行。这样做的缺点是，循环检测并杀掉那些敏感进程的过程并不能确保实时性，在发现相应的进程时，那些进程可能已经运行了一小段时间，尽管这段时间非常非常的短，但是也可能已经产生了效力甚至是危害。不过，这也是没办法的事情了。谁要你非要这样呢？