- 综合排序
- 最热优先
- 最新优先
- 来自专栏ytkah
如何屏蔽GPTBot抓取网站内容
User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/ 2、你也可以将以上ip段加入到防火墙来屏蔽GPTBot 3、将user-agent
1.1K50编辑于 2023-08-11 - 来自专栏个人博客
GPTBot介绍 - plus studio
仅访问您网站的部分内容，您可以将 GPTBot 令牌添加到您网站的 robots.txt，如下所示： User-agent: GPTBot Allow: /directory-1/ Disallow: /directory
27510编辑于 2024-02-29 - 来自专栏新智元
GPT-5不远了！OpenAI推出网络爬虫GPTBot，自动抓取数据，可选择性关闭
User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/ IP出口 对于OpenAI的爬虫，将从OpenAI网站上记录的IP地址块调用网站
86950编辑于 2023-09-09 - 来自专栏量子位
OpenAI：ChatGPT将遵守爬虫协议，网站可拒绝白嫖
User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/ 其中Allow的优先级更高，也就是说当Allow的目录是Disallow目录的子目录时
49820编辑于 2023-09-08 - 来自专栏机器之心
OpenAI公布「官方爬虫」：GPT-5靠它训练，有需要可以屏蔽
GPTBot Disallow: / 还可以允许 GPTBot 访问网站特定部分的内容： User-agent: GPTBot Allow: /directory-1/ Disallow: /directory
40550编辑于 2023-09-08 - 来自专栏Python编程与实战
OpenAI公布「官方爬虫」：GPT-5靠它训练，有需要可以屏蔽
GPTBot Disallow: / 还可以允许 GPTBot 访问网站特定部分的内容： User-agent: GPTBot Allow: /directory-1/ Disallow: /directory
54740编辑于 2023-09-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号