Linux日志审计中的常用命令: sed、sort、uniq

曈曈too

发布于 2024-03-16 11:46:52

9010

AI摘要：本文介绍了Linux日志审计中三个重要命令：sed、sort、和uniq的用法及其常用参数。sed用于文本处理，如替换、删除、插入操作；sort用于文本排序，支持数字顺序、反向排序等；uniq用于去重和统计重复次数。文章通过实例展示了如何结合这些命令来分析和统计日志数据，如统计网站访问日志中每个IP的访问次数并排序。这些命令的熟练使用可以提高日志分析和处理的效率，对于实现复杂的日志审计和分析任务至关重要。

Linux日志审计常用命令: sed、sort、uniq

在Linux系统中，日志审计是一项重要的任务，可以帮助我们了解系统的运行状况，排查问题，并保证系统的安全。在日志审计过程中，sed、sort和uniq是三个非常实用的命令。本文将详细介绍这三个命令的常用参数及其作用，并结合实例说明其用法。

sed命令

sed是一个强大的文本处理工具，可以对文本进行替换、删除、插入等操作。以下是sed命令的常用参数：

-e: 允许执行多个编辑命令
-n: 只打印匹配的行
-i: 直接修改文件内容
s: 替换文本
d: 删除匹配的行
p: 打印匹配的行

1.1 替换文本

使用s参数可以替换文本，格式为s/old/new/g，其中old表示要替换的文本，new表示替换后的文本，g表示全局替换。

例如，将文件中的所有error替换为ERROR：

sed 's/error/ERROR/g' log.txt

1.2 删除匹配的行

使用d参数可以删除匹配的行。

例如，删除包含error的行：

sed '/error/d' log.txt

1.3 打印匹配的行

使用p参数可以打印匹配的行，通常与-n参数一起使用。

例如，打印包含error的行：

sed -n '/error/p' log.txt

sort命令

sort命令用于对文本进行排序。以下是sort命令的常用参数：

-n: 按数字顺序排序
-r: 反向排序
-k: 指定排序的列
-t: 指定列分隔符
-u: 去重

2.1 按数字顺序排序

使用-n参数可以按数字顺序排序。

例如，按第二列的数字顺序排序：

sort -n -k 2 data.txt

2.2 反向排序

使用-r参数可以进行反向排序。

例如，按第一列的字母顺序反向排序：

sort -r -k 1 data.txt

2.3 去重

使用-u参数可以去重。

例如，去重并按第三列的数字顺序排序：

sort -u -n -k 3 data.txt

uniq命令

uniq命令用于去重和统计重复次数。以下是uniq命令的常用参数：

-c: 统计每行出现的次数
-d: 只显示重复的行
-u: 只显示唯一的行

3.1 统计每行出现的次数

使用-c参数可以统计每行出现的次数。

例如，统计每个单词出现的次数：

cat words.txt | sort | uniq -c

3.2 只显示重复的行

使用-d参数可以只显示重复的行。

例如，找出文件中重复的行：

sort file.txt | uniq -d

3.3 只显示唯一的行

使用-u参数可以只显示唯一的行。

例如，找出文件中唯一的行：

sort file.txt | uniq -u

综合实例

下面通过一个综合实例来演示sed、sort和uniq命令的用法。

假设我们有一个日志文件access.log，记录了网站的访问情况。现在我们要统计每个IP的访问次数，并按访问次数从高到低排序。

# 提取IP地址
sed -n 's/.*\([0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\).*/\1/p' access.log |
# 统计IP出现的次数
sort | uniq -c |
# 按访问次数从高到低排序
sort -nr

解释：