如何阻止Apify保存已处理的请求？

Question

看起来Apify将处理过的请求保存在“已处理”目录中。我想停止这个操作，因为apify不会抓取我之前抓取过的页面。有人知道如何阻止Apify保存已处理的请求吗？

Answer 1

您可以通过使用不同的uniqueKey多次将请求放入队列中来解决此问题，这样请求队列在处理一次之后就不会自动将其过滤掉。本地文件仅模拟RequestQueue在Apify平台上的行为。

Answer 2

我假设您使用的是Apify CLI。只需使用apify run -p启动运行。-p意味着它会清除旧的请求队列。