Solr文件描述符计数

Question

我有一个ApacheSolr4.2.1实例，它的总大小为4个核心(625 GB +30 GB+20 GB+300 GB) 21 GB。

它运行在一个4核CPU，16 HD内存，120 HD高清，CentOS专用机器。

第一芯完全进口，每天一次。

第二芯每两小时全部进口。

第三个核心是德尔塔每两小时进口一次。

4rth芯每两小时全部进口。

服务器还有大量的查询(搜索、创建、更新和删除文档)。

每个核心都有maxDocs: 100和maxTime: 15000表示autoCommint，maxTime: 1000表示autoSoftCommit。

系统使用情况如下：

1. 约97%的14.96 GB物理内存
2. 0MB交换空间
3. 约94%的4096文件描述符计数
4. 从60%到90%的1.21GB JVM-内存。

当我重新启动机器时，文件描述符计数下降到接近0，然后在一周左右的时间内稳定地达到上述值。

因此，最后，我的问题是：

1. 4096文件描述符中94%的计数正常吗？
2. 如何增加文件描述符的最大计数？
3. 如何计算最大和使用的文件描述符计数的理论最优值。
4. 文件描述符计数会达到100吗？如果是，服务器会崩溃吗？或者，它将保持100%以下，并按其应有的功能？

事先非常感谢！

Answer 1

1. 好的。
2. ulimit -n <number>。见提高CentOS的上限。
3. 实际上没有一个--取决于许多因素，如合并因子(如果您有许多文件，打开的文件数量也会很大)--对于没有完全导入的索引尤其如此。检查您的数据目录中的文件数量，并进行优化，如果相同的索引已经变得非常分散，并且有一个很大的合并因子)，搜索者的数量，在同一服务器上运行的其他软件，等等。
4. 有可能。是的(或者至少它不能正常工作，因为它不能打开任何新文件)。不是的。在实践中，您将得到一条消息，即无法使用“打开的文件太多”打开文件。

Answer 2

因此，文件描述符计数(，FDC )的问题--更确切地说，随着FDC的不断增加--问题是在每次更新之后我都要提交！

我注意到Solr并没有删除旧的事务日志。因此，经过一周的时间，FDC是最大的，我被迫重新启动。

每次更新后我都停止提交，现在我的Solr统计数据如下：

1. 约55%的14.96 GB物理内存
2. 0MB交换空间
3. 4096个文件描述符计数的4%左右
4. 从60%到80%的1.21GB JVM-内存。

此外，旧的事务日志被自动提交(软和硬)删除，Solr没有更多的性能价值！

因此，正如本文很好地指出的：

理解SolrCloud中的事务日志、软提交和提交

“客户的承诺要小心！事实上，不要这样做。”