Apache Nutch刷新gora记录

Question

我已经用Hadoop/Hbase生态系统配置了Nutch 2.3.1。我没有更改gora.buffer.read.limit和gora.buffer.read.limit，即在这两种情况下使用它们的默认值( 10000 )。在生成阶段，我将topN设置为100,000。在生成作业期间，我得到以下信息

org.apache.gora.mapreduce.GoraRecordWriter: Flushing the datastore after 60000 records

作业完成后，我发现有10万个urls被标记为获取了我想要的。但是我很困惑，上面的警告显示了什么？gora.buffer.read.limit对我的爬行有什么影响？有人能指点吗？

Answer 1

该日志是这里编写的。默认情况下，在写入10000条记录后，缓冲区将被刷新，因此必须将gora.buffer.write.limit配置为60000 (在core-site.xml、mapred-site.xml或代码？)。

这并不重要，因为它是在信息级别。它只通知写缓冲区将被写入存储。每次调用store.flush()或gora.buffer.write.limit大小的批处理时，都会发生写入过程。