如何设置支持一系列动态URL的AdSense爬虫登录？

Question

我有一个网站，主要功能动态内容。每一段动态内容都有自己的网址，如"www.example.com/page/\*/\*“

我遇到的问题是，其中许多页面都需要用户登录。我读过关于AdSense爬虫登录的文章，并试图实现它。但是，我发现没有提到通配符或URL的正则表达式。据我所知，AdSense爬虫登录只支持静态URL。

是否有任何方法来设置支持一系列动态URL的AdSense爬虫登录？

Answer 1

从AdSense帮助页面中可以看出，它们支持需要登录的整个目录：

您需要提供以下信息：

• 限制目录或URL:从我们的爬虫访问中被阻塞的URL。
• ..。

所以你可以告诉他们/page/需要登录。如果目录中还有其他不需要登录的页面，AdSense爬虫也会获取它们。