智能URL同步/下载引擎是否开源？

Question

我想知道有没有人知道开源的URL同步/下载引擎，或者我会不会自己写一个。

预期功能：-提供要在本地磁盘存储上同步的HTTP URL的普通列表-引擎负责有效地同步URL内容(头请求检查更改)和高效(所有使用Gzip压缩执行的下载)-最好是足够智能，通过识别频繁更改的URL来优化其行为

有没有人知道这样的引擎有类似的实现？最好是用Perl？

Answer 1

你有没有看过LWP附带的lwp-mirror程序？这可能是一个很好的起点。或者，wget有更多的特性。