在DB上执行Drools规则引擎以删除重复项

Question

我的问题不是流口水或规则引擎，但我有一个特定的用途，我计划使用规则引擎。我阅读了所有的问题和谷歌搜索，但没有得到最好的适合。以下是我的查询

我们有一个爬虫引擎，它将数据泵入DB中。由于数据是巨大的，我们通常有较少的重复条目。目前，这些规则被紧密绑定在DB表中，并使用复杂的查询。我想让规则引擎在桌面上运行，但我无法通过规则实现它。我有遗漏什么吗？否则我的理解就错了。

1. 第一个问题是，使用规则引擎是一种正确的方法？
2. 第二个问题是，如果可以使用规则。我找不到在数组上触发规则的方法。

问题可能很天真，但我仍然没有找到解决办法。

Answer 1

因为你上面描述的流口水真的不是一个很好的适合。然而，取决于你所努力达到的目标，你可能会发现它是有用的。与删除重复项不同，您可以使用规则引擎来防止重复项的插入。要实现这一点，您需要有一个有状态的会话，其中包含您现有的记录集，并且您可以用Drools编写自己的计算规则，将传入的条目标记为副本。作为执行的结果，您可以决定是否应将此新条目作为副本保存或丢弃。你应该考虑的是：

• 你想在这个任务上投入那么多时间/精力吗？
• 您真的需要规则引擎吗?例如，您期望验证逻辑中经常发生更改吗？
• 口水的表现会有什么问题吗？(数据量或输入记录的频率可能超过Drools的能力)