如何在中禁用googlebot？

Question

昨天googlebot导致我的应用程序超过了阅读配额。如何禁用googlebot？谢谢。

更新

我加了

- url: /robots.txt
  static_dir: robots

到我的app.yaml 如前所述并创建了robots.txt文件，目录为“机器人”，但是url http://www.example.com/robots.txt不工作。我做错了什么？

Answer 1

将机器人路径移动到/.*上方，捕获所有路由，并使用以下方法修改app.yaml：

- url: /robots.txt
  static_files: robots/robots.txt
  upload: robots/robots.txt

请记住，此操作将影响应用程序的SERP (Google迟早会取消对应用程序的索引)。

Answer 2

添加一个文件。下面是一个简单的例子，它可以阻止所有注意到它的机器人：

User-agent: *
Disallow: /