Oracle distinct与java (cqengine/set)：谁能带来更好的性能？

Question

我有一个表，我从其中提取8列，所说的列将是pojo的属性，例如MyPojo。

我想删除重复项。

我想出了两个策略。

1-让oracle使用distinct关键字来处理这个问题

select distinct c1,c2...c8 from TABLE where...`

2-在java中使用cqengine (https://code.google.com/p/cqengine/wiki/DeduplicationStrategies#Logical_Elimination_Strategy)执行此操作：

DeduplicationOption deduplication = deduplicate(DeduplicationStrategy.LOGICAL_ELIMINATION);
ResultSet<Car> results = cars.retrieve(query, queryOptions(deduplication));

3-在java中使用set执行此操作。

simply storing rows inside of a Set<MyPojo>

从性能的角度来看，哪一个更好？

Answer 1

让数据库来完成这项工作。在这种情况下，您不会通过网络发送不必要的数据，这可能会对性能产生最大的积极影响。

此外，就代码大小而言，它也是最紧凑的解决方案。

Answer 2

决定这些事情的最好方法是对其进行建模。

您的应用程序中的访问模式是什么？

• 如果这将是一次性请求:让数据库进行过滤。
• 如果您希望得到许多这样的相同请求:让数据库进行过滤，并考虑在您希望在同一数据集上获得各种查询的application.
• If中缓存结果，请考虑将未过滤的数据集缓存到应用层，并使用CQEngine查询它。

没有诸如“总是让数据库来做工作”这样的经验法则。如果您的应用程序以任何类型的规模运行，您将不希望每个请求都命中数据库。您需要向外扩展您的应用层。

另一方面，您不应该过度设计。答案取决于您期望的通信量和数据访问模式。