当你让搜索引擎爬虫通过，但为用户增加了额外的步骤时，你会受到搜索引擎的惩罚吗？

Question

我目前正在为一个项目工作，其中网站的几个部分可能会受到限制，因为一个地区的用户居住。因此，当用户访问页面时，他会被重定向到一个表单，他必须完成该表单才能查看内容。

希望搜索引擎索引内容，我正在为搜索引擎爬虫创建例外，以便它们可以轻松访问内容。

我从this页面中挑选了一些搜索引擎，我的解决方案是检查爬虫的IP地址(可以在我链接的页面上找到)，并根据授予的访问权限。

这个解决方案是否足够可行？我之所以这样问，是因为我在谷歌官方网站管理员中心博客上读到了an article，该博客建议对机器人进行域名系统反向查找，以匹配其真实性。

我不得不提一下，这没有安全隐患。

如果我允许搜索代理机器人在用户被重定向时直接转到内容，我会受到惩罚吗？哪种方法更好？(与成本/收益相关的用户代理、IP地址或反向DNS查找)

Answer 1

答案是否定的，

但一些用户也会绕过你的限制，通过谷歌缓存查看你的页面。