在擦除之前删除scrapy作业后会发生什么情况

Question

在Scrapy Cloud中，job可以是deleted。首先，它的状态将发生变化，但数据将是可用的-项data、job.metadata、items.stats。具体的删除过程是什么？所有数据将在多长时间内被擦除？

Answer 1

Scrapy Cloud中的作业删除是一个异步过程:首先，作业只被标记为已删除，并且所有数据都可用，然后在7天后在服务器端将其清除(使用cron作业)。它是以这种方式实现的，以便有最后的机会恢复被错误删除的作业或保存一些重要数据。

此外，上下文中的清除只与作业数据(请求/项目/日志/样本)相关，而作业元数据和统计数据目前是无限期存储的(尽管您不应该依赖这一点，但策略可以在任何给定时刻进行修改)。