配置GSA以抓取内容

Question

我的网站是说www.abc.com和有一个特定的网址模式，其中包括安全和非安全的内容。例如，www.abc.com/foo/xxx根据内容提供安全/开放的内容。

我如何告诉GSA对安全内容使用安全爬行？我知道这很简单，是特定的url总是被搜索的安全内容。我读过谷歌的支持网站这里，但是GSA怎么知道一些urls是安全的内容呢？我不能列出GSA管理控制台中的所有urls，因为有超过10K这样的唯一urls。

Answer 1

据我所知，您网站中的一些urls是安全的，rest是公共urls。你想告诉GSA只对安全的urls使用受控访问内容爬行。如果是这样的话，那么您必须将所有受保护的内容移动到一些常见的模式Ex: www.abc.com/ secured /xxx，并使用受控访问内容爬行。如果这不是一个可行的解决方案，那么添加一些元标记到网页(对于打开的页面-添加viewers=公共，为安全的页面-添加viewers=secured)和抓取您的整个网站使用受控访问内容爬行，并使所有的urls公开使用GSA配置。为了为结果服务，在应用程序中执行身份验证，并在viewers requiredfields参数中使用适当的值查询GSA。

Answer 2

你的问题(而不是你的问题)的答案是：

GSA将根据web服务器的http响应确定内容是否安全。如果您的内容响应为401或301/302，则GSA将假定此内容是安全的。

公共内容确定内容是否以200响应。