用于下载邮件列表归档的开源项目，最好使用Python

Question

我想知道是否有任何开源项目(最好是Python)可以用来下载(crawl?)Lucene/Hadoop等开源项目的邮件列表归档(如http://mail-archives.apache.org/mod_mbox/lucene-java-user/)。我特别寻找一个(Apache)邮件列表档案定制的爬虫/下载器(不是一个通用的爬虫，如Scrappy)。任何指点都是非常感谢的。谢谢。

Answer 1

通常有下载mbox文件的工具。例如，在您提供的链接中，您可以附加mbox名称并直接获取邮件存档。例如，2012年10月的mbox：

http://mail-archives.apache.org/mod_mbox/lucene-java-user/201210.mbox

因此，以编程方式获取归档文件非常简单。一旦你有了它们：

import mailbox
mails = mailbox.mbox(filename.mbox)
for message in mails: print message['subject']