Linux uniq 命令：去除重复行，让数据更清晰！

什么是 Linux uniq 命令？

在 Linux 系统中，uniq 命令是一个非常常用的命令，它可以用来去除文件中的重复行，让数据更加清晰和易读。uniq 命令的使用非常简单，只需要在终端输入以下命令即可：

uniq [option] [input_file] [output_file]

其中，option 是可选项，input_file 是要去除重复行的文件，output_file 是去除重复行后输出的文件。如果不指定 output_file，那么 uniq 命令会将去重后的结果输出到终端。

uniq 命令的常见选项

uniq 命令的常见选项如下：

• -c：在输出结果前添加每行出现的次数。
• -d：仅输出重复行。
• -i：忽略大小写。
• -u：仅输出不重复的行。

这些选项可以组合使用。比如，如果要统计文件中每行出现的次数，并且忽略大小写，可以使用以下命令：

uniq -c -i input.txt output.txt

uniq 命令的实际应用

uniq 命令在实际工作中非常实用，可以用来处理各种数据。以下是一些实际应用示例：

1. 去除重复的 IP 地址

在网络安全领域，经常需要分析日志文件来查找攻击者的 IP 地址。但是，同一个 IP 地址可能会出现多次，这会干扰分析结果。可以使用 uniq 命令来去除重复的 IP 地址，让分析结果更加准确。

cat access.log | awk '{print $1}' | sort | uniq > ip.txt

以上命令将 access.log 文件中的第一列（即 IP 地址）提取出来，然后排序去重，并将结果输出到 ip.txt 文件中。

2. 统计每个单词出现的次数

在文本处理中，经常需要统计每个单词出现的次数。可以使用 uniq 命令的 -c 选项来实现。

cat article.txt | tr -s ' ' '\n' | sort | uniq -c > word_count.txt

以上命令将 article.txt 文件中的文本按照空格分割成单词，然后排序去重，并统计每个单词出现的次数，并将结果输出到 word_count.txt 文件中。

3. 删除重复的行

在编辑文件时，有时会出现重复的行，这会让文件变得臃肿。可以使用 uniq 命令来删除重复的行。

uniq input.txt output.txt

以上命令将 input.txt 文件中的重复行去除，并将结果输出到 output.txt 文件中。

总结

Linux uniq 命令是一个非常实用的命令，可以帮助我们处理各种数据。使用 uniq 命令可以去除文件中的重复行，统计每个单词出现的次数，删除重复的行等等。掌握 uniq 命令的使用方法，可以让我们在日常工作中更加高效。