我知道这个页面应该是可访问的,并且可以打开索引。我有一些网页保存的问题,在网上档案。他们中的大多数都有https协议。例如,页面https://www.asterra.ru/
为什么我得到一个回应"Bummer.This url是不可用的,或无法在网上存档?“
发布于 2017-04-18 07:44:47
正如https://archive.org/web/在“立即保存页面”块中所述:
只适用于允许爬虫的网站。
robots.txt阻止webarchive爬虫,这样它就不能创建站点的快照。
https://stackoverflow.com/questions/43466196
相似问题