shell查找某字符串在某文件中出现行数的方法-巨人网络通讯

shell查找某字符串在某文件中出现行数的方法

一、简介

有的时候，我们需要分析日志来排查错误，但是日志文件特别大，打开肯定是很慢的，也是没法接受的，我们需要的是快速定位错误出现的位置，并定向取出错误信息。

快速定位某个字符串在某文件中出现的行数，可以使用 linux中grep命令

默认情况，grep命令只会输出匹配的字符串所在的行，如下：

要想同时输出行号，可以指定参数-n，关于-n参数描述如下：

-n, --line-number  print line number with output lines

现在，我们已经确定要查询的错误所在行数，就可以通过 tail和head或是sed命令输出特定的行

1、利用tail和head来输出特定的行

通过tail –help ，我们可以看到tail 默认显示最后10行，通过 -n参数可以指定从第n行数开始显示，或是显示最后n行，如下：

-n, --lines=K output the last K lines, instead of the last 10; or use -n +K to output lines starting with the Kth

也就是说：

tail -n 5 f.txt //显示f.txt最后5行
tail -n +5 f.txt //从第5行开始，显示f.txt

通过head –help ，我们可以看到head默认显示最前10行，通过 -n参数可以指定从倒数第n行开始，显示前面的所有，或是显示最前面的n行

-n, --lines=[-]K  print the first K lines instead of the first 10; with the leading `-', print all but the last

也就是说：

head -n 5 f.txt //显示f.txt最前面5行
tail -n -5 f.txt //从倒数第5行开始，显示前面的所有内容

比如，在上面我们定位到了8786830行，那么，我们就可以利用tail和head，查其附近的内容（即错误前20行，后10行内容），如下：

tail -n +8786810 err.log |head -n 30

2、利用sed来输出特定的行

通过sed来查看指定的行，就比较简单，格式如下：

sed -n "n1,n2p" f.txt //查看f.txt n1行到n2行之间的内容

比如，在上面我们定位到了8786830行，那么，我们就可以利用sed，查其附近的内容（即错误前20行，后10行内容），如下：

sed -n "8786810,8786840p" err.log

补充：shell 字符串出现的行数

1 查询字符串所在的行号

grep -n "xxx"  str.txt   # -n 打印字符 “xxx” 在文件 “str.txt” 所在的行数前缀

示例：

str.txt

xxx
yyy
zzz
xxx

输入查找命令： grep -n "xxx" str.txt

结果如下：

1:xxx
4:xxx

行号1，4在前，匹配字符串“xxx”在后，两者之间用冒号 “：” 隔开

2 查找字符串首次匹配的行号

grep -n "xxx"  str.txt | head -1

结果如下：

1:xxx

同理，查找最后一次匹配的行号

grep -n "xxx"  str.txt | tail -1

结果如下：

4:xxx

查找字符串第二次匹配的行号

grep -n "xxx"  str.txt | head -2 | tail -1      # 先取出前两行，然后取最后一行

结果如下：

4:xxx

3 提取字符串所在的行号

grep -n "xxx"  str.txt | cut -d ":" -f 1

先查询字符串 “xxx” 所在的全部行号，然后利用 cut 命令分割“：”字符，提取第一个字段，即行号

结果如下：

1
4

提取首次匹配的行号

grep -n "xxx"  str.txt | head -1 | cut -d ":" -f 1

结果如下：

1

4 比较两次字符串行号变化幅度

两个文件内容： str.txt 和 str2.txt

str.txt

xxx
yyy
zzz
xxx

str2.txt

yyy
xxx
www
zzz

比较行号脚本

catline.sh

#!/bin/bash

rm -rf ret.txt

total=`wc -l $1 | awk '{print $1}'`
echo "total = $total"

num=1
while read line
do
echo $line

ret=`grep -n $line $2 | head -1` 
echo $ret

if [ -z $ret ]; then
num2=$total
echo "null num2 = $total"
else
num2=`echo $ret | cut -d ":" -f 1`
echo "num2 = $num2"
fi

echo $num
change=`expr $num2 - $num`
echo "$num2 - $num = $change"

num=`expr $num + 1`

echo "$line=$change" >> ret.txt
done  $1


cat ret.txt

执行脚本命令： ./catline.sh str2.txt str.txt

运行结果如下：

total = 4
yyy
2:yyy
num2 = 2
1
2 - 1 = 1
xxx
1:xxx
num2 = 1
2
1 - 2 = -1
www

null num2 = 4
3
4 - 3 = 1
zzz
3:zzz
num2 = 3
4
3 - 4 = -1
yyy=1
xxx=-1
www=1
zzz=-1