问题:如何获得Apache的“保证提交”,其中将数据持久化到磁盘和可见性都同样重要?
背景:我们有一个网站,它需要用于机器学习的高端搜索功能,也需要保证提交给金融交易。我们只想将SOLR作为我们保持简单的唯一数据存储,而不希望使用另一个数据库。
我似乎找不到这个问题的答案。对于金融事务,最简单的解决方案似乎是在持久化后定期查询SOLR的记录,但这可能有更长的等待时间,或者有更好的解决方案?
有人能提出一个解决方案来实现与SOLR的“保证提交”吗?
发布于 2015-08-25 14:59:36
正如邮件列表中告诉您的那样,Solr没有事务。如果您从十几个客户端进行索引,而提交发生在某个地方( autoSoftCommit、commitWithin处理udpate请求,或显式提交来自这十几个客户机之一),那么所有由这12个客户端索引的文档都将对所有搜索者可见。
对于事务性数据库,发送更新的十几个客户端都必须发出commit,这只会使该特定客户端所做的更改可见。
Solr通常不对提交作出任何保证。如果同时发出十个提交,这很可能会超过maxWarmingSearchers配置,后者通常设置为2。这十个提交中的大多数实际上不会创建一个新的搜索器,这就是使新文档可见的原因。
如果手动提交的方式使您永远不会超过maxWarmingSearchers,那么当提交完成时没有错误,您可以将其视为所有更改现在都可见的标志。
发布于 2015-08-21 20:51:18
答案是Solr是,而不是,它被设计为主要的数据存储。它的数据结构和为其他用例设计的索引/检索,即使从表面上看都像是CRUD。您应该将数据保存在其他地方,然后在Solr中进行索引--以便于查找的方式--稍后再进行索引。同样适用于弹性搜索和其他面向搜索的软件。
如果你一定要结合这些东西,看看商业产品,其中包括Solr之上的Cassandra或其他类似的数据库。
发布于 2015-08-21 14:15:58
solr提供两种类型的提交来持久化Solr中的数据。
您可以根据需要在autoCommit中配置solrconfig.xml选项。
<autoCommit>
<maxDocs>10000</maxDocs>
<maxTime>1000</maxTime>
<openSearcher>false</openSearcher>
</autoCommit>每种方法都有其优点和缺点。您可以在Apache Wiki提交 理解SolrCloud中的事务日志、软提交和提交中找到有关CloudSolr 理解SolrCloud中的事务日志、软提交和提交的更多信息和LucidWorks on提交的文章。
https://stackoverflow.com/questions/32138845
复制相似问题