爬虫体系结构:避免将请求计算在Google中

Question

我们运行一个服务，我们需要索引我们的客户的网站偶尔。我们的一位客户刚刚注意到，我们的机器人的流量正在他们的分析中看到(他们使用Google标记管理器)。当然，他们可以尝试过滤它，但是我想知道为什么会首先跟踪它，因为我们在bot中没有启用JS，而且他们已经标出了“从已知的机器人和蜘蛛中排除流量”。两个问题：

1. 我们能不能，从我们这边(机器人)，做点什么，告诉谷歌分析，不要计算在流量？
2. 如果没有，他们又如何过滤掉我们的机器人呢？我们已经设置了一个用户代理，但是它似乎在google分析中是不可用的--我们的IP也是如此。

Answer 1

我在想为什么这是跟踪，如果有谷歌标签管理器，你已经禁用了JS。

没有JS

其结果似乎不包括通过iframe包含的tagmaneger变体。

<noscript><iframe src="//www.googletagmanager.com/ns.html?id=GTM-XXXX"
height="0" width="0" style="display:none;visibility:hidden"></iframe></noscript>

因此，请尝试在您的爬虫中阻止URL: www.googletagmanager.com。

与JS

只需设置窗口变量：

window['ga-disable-UA-XXXX-Y'] = true;