使用和服Web,在爬行的有效负载中,每个源url JSON中总是有URL和索引字段。但是对于台式机,这些字段缺失了,而我的产品完全依赖于它。
我正在浏览和服桌面的源代码,但我无法找到这一部分。
这里解释了索引字段;https://help.kimonolabs.com/hc/en-us/articles/203349674-Add-a-unique-index-to-each-result-object-
有人能帮我吗?
谢谢
发布于 2016-05-22 07:41:10
我也遇到过同样的问题。我找到了桌面应用程序http://mudd.com/blog/how-to-extract-vdp-data-from-your-website/中缺失url字段的解决方法
此外,如果您在和服web应用程序中使用爬行计划功能,我发现如果我编辑app并再次保存它们,它会让我选择爬行频率。我刚刚发现了这一点,所以我正在祈祷,看看它是否真的能工作。
https://stackoverflow.com/questions/37133239
复制相似问题