Solr节点在完全索引后处于恢复状态- solr写节流

Question

我运行Solr 7.6与9个副本和一个碎片。

当我们运行完整的索引时，很少有节点进入恢复模式，永远停留在恢复状态。

我们总共有90000个父文档，每个父文档有300个子文档。

parent doc size: 15kB
child doc size: 500B
total time of full indexing: 36-39 mins
batch size: max 1000(parent docs which include 300 children each) = 1000*300
The number of threads used for full indexing: 10
Average total docs indexed/second: 2400 Parent docs * 300 children

承诺设定：

autosoftcommit maxtime: 30s
autocommit maxtime: 1min
numRecordsToKeep: 100

十个线程都从Cassandra获取数据并创建索引文档，一旦线程有1000个父文档(带300个子文档)可以在其缓冲区列表中索引，它就会使用update API将数据推送到Solr。

在上面的设置中，当我运行完整的索引作业时，2-3个节点会进入恢复状态。

我有几个问题：

1. 对于具有文档大小的单片solr集群，我可以索引的记录数/秒数是多少？
2. 我需要减少线程的数量吗？还是批次的尺寸？

Answer 1

我们的几个Solr项目也有类似的问题，这些项目有大量更新提交，同时运行几个线程。我们能够通过停止SolrCloud中的所有Solr实例并用一个线程重新启动更新来解决这个问题。由于某些原因，如果同时提交更新的进程不止一个，Solr有时就无法与领导者保持其追随者副本的最新。