在Heritrix 3.1.0中更改MirrorWriterProcessor的路径

Question

我正在使用Heritrix 3.1.0进行爬行。我正在尝试使用MirrorWriterProcessor保存文件。但是，此选项在crawler-beans.cxml中不可用。

我所做的就是将"org.archive.modules.writer.WARCWriterProcessor“的"warcWriter”替换为"org.archive.modules.writer.MirrorWriterProcessor“

但是，此处理器将镜像内容写入$HERITRIX_HOME/mirror

我将“路径”配置为"${launchId}/mirror"，希望Heritrix将镜像目录写入作业目录下。

如何将作业目录下的MirrorWriterProcessor路径更改为？

Answer 1

目前，你不能使用像warcWritter接受的那样的标签。但是，您可以编写一些spring魔术来创建您自己的带戳文件夹。这将为SimpleDateFormat的format函数创建一个工厂，并输出一个可用于创建带戳文件夹的字符串。

<bean id="dateFormat" class="java.text.SimpleDateFormat">
  <constructor-arg value="ddMMyyyy" />
</bean>
<bean id="formatedDate" factory-bean="dateFormat" factory-method="format">
  <constructor-arg>
    <bean class="java.util.Date" />
  </constructor-arg>
</bean>
<bean id="mirrorWriter" class="org.archive.modules.writer.MirrorWriterProcessor">
  <property name="path">
    <bean class="java.lang.String">
      <constructor-arg value="#{formatedDate + '/mirror'}" />
    </bean>
  </property>
...