我有一个巨大的文本文件（截至今天已有 40 GB），我想在不对文件进行排序的情况下过滤出唯一的行。该文件有 unix 行尾，并且所有内容都匹配 [[:...
我有一个非常大的文本文件（截至今天已有 40 GB），我想过滤出唯一的行 而不对 文件进行排序。
该文件具有 unix 行结尾，并且所有内容都匹配 [[:print:]] 。我尝试使用以下 awk 脚本仅显示唯一行：
awk 'a[$0] {next} 1' stupid.txt > less_stupid.txt
我的想法是，通过引用数组元素来填充数组，使用文件内容作为键，然后跳过数组中已有的行。但这失败了，原因有两个：首先，它莫名其妙地不起作用（即使在小型测试文件上也是如此）；其次，因为我知道在 awk 将整组唯一行加载到内存中之前，我的系统将耗尽内存。
经过搜索，我发现 这个答案 推荐：
awk '!x[$0]++'
虽然这适用于小文件，但在读取整个文件之前它也会耗尽内存。
有什么更好的（即可行的）解决方案？我对任何事情都持开放态度，但我更偏爱用我熟悉的语言（bash 和 awk，因此有标签）提供的解决方案。在尝试可视化问题时，我想到最好的办法是存储行校验和或 MD5 数组，而不是行本身，但这只能节省一点空间，并且存在校验和冲突的风险。
任何提示都非常欢迎。告诉我这是不可能的，我也欢迎，这样我就不用再去想了。:-P
这个 awk '!x[$0]++' 技巧是无需排序即可对文件或流进行重复数据删除的最优雅的解决方案之一。但是，它在内存方面效率低下，并且不适合大文件，因为它将所有唯一行都保存到内存中。
但是，更高效的实现方式是将行的固定长度 哈希 表示保存在数组中，而不是保存整行。您可以 Perl 在一行内实现此操作，并且它与 awk 脚本非常相似。
perl -ne 'use Digest::MD5 qw(md5_base64); print unless $seen{md5_base64($_)}++' huge.txt
这里我使用了 md5_base64 而不是 md5_hex 因为 base64 编码占用 22 个字节，而十六进制表示占用 32 个字节。
但是，由于 Perl 实现 hashes 仍然需要每个键大约 120 字节，因此您可能很快就会耗尽大文件的内存。
在这种情况下，解决方案是分块处理文件，手动拆分或使用 GNU Parallel 的 --pipe、--keep-order 和 --block 选项（利用重复行相距不远的事实，正如您提到的）。您可以使用以下方法执行此操作 parallel :
cat huge.txt | pv |
parallel --pipe --keep-order --block 100M -j4 -q \
perl -ne 'use Digest::MD5 qw(md5_base64); print unless $seen{md5_base64($_)}++' > uniq.txt
该 --block 100M 选项告诉并行以 100MB 的块处理输入。 -j4 意味着并行启动 4 个进程。这里的一个重要参数是 --keep-order 因为您希望唯一行输出保持相同的顺序。我已将其包含 pv 在管道中，以便在长时间运行的进程执行时获得一些不错的统计数据。
在我对 1GB 随机数据文件执行的基准测试中，使用上述设置，我达到了 130MB/秒的吞吐量，这意味着您可以在 4 分钟内对 40GB 的文件进行重复数据删除（如果您的硬盘足够快，能够以此速率写入）。
其他选项包括：
下面是使用 Bloom::Faster 模块的一个示例：
perl -e 'use Bloom::Faster; my $f = new Bloom::Faster({n => 100000000, e => 0.00001}); while(<>) { print unless $f->add($_); }' huge.txt > uniq.txt
您可以 Bloom::Faster 从 CPAN 安装（ sudo cpan install "Bloom::Faster" )
解释：
e 和可用 bucket 的数量 n 。每个 bucket 所需的内存约为 2.5 字节。如果您的文件有 1 亿个唯一行，那么您将需要 1 亿个 bucket 和大约 260MB 的内存。
$f->add($_) 函数将一行的哈希值添加到过滤器，并返回 true 键（即此处的行）是否重复。
dd if=huge.txt bs=400M count=1 | awk '!a[$0]++' | wc -l （400MB），然后将该数字乘以 100（40GB）。然后将 n 选项设置得稍微高一些以确保安全。
在我的基准测试中，此方法实现了 6MB/s 的处理速率。您可以将此方法与 parallel 上面的 GNU 建议相结合，以利用多个核心并实现更高的吞吐量。