删除大文件中的重复行

Question

如何在使用Java读取.fastq(文本)文件时删除重复的字符串行？目前正在使用下一代测序(ngs)，需要从文件测序(大数据)中删除重复读数。我正在尝试在java中使用Counting Bloom Filter和Cuckoo filter，但仍然不能成功。

Answer 1

布隆过滤器是O(1)查找，所以你不能比它更快。

任何类型的过滤器的另一个瓶颈是数据读取速度。你在以最快的速度读取文件吗？

如果这只是您正在寻找的bloom filter实现，我已经成功地使用了Google Guava one。

请给我们你的问题的更多细节，然后我们应该能够提供更多的帮助。