我有一个用PHP技术创建的网站,我想阻止机器人从website.What中获取图像,这是防止机器人从网站上处理图像的最佳方法吗?
请确保它不会伤害SEO。请确保这不影响间谍和爬虫索引网站.
发布于 2010-12-14 09:38:40
就像其他人说的,如果可能的话,首先告诉机器人他们不能用robots.txt访问图像。行为端正的机器人会服从的。
搜索“防止热链接”。标准方法是使用mod_rewrite规则阻止对图像文件的请求,而不使用域中的引用程序。这会阻止大多数的机器人。
您可以使用浏览器和最近的browscap.ini文件匹配数百个常见爬虫的用户代理字符串。这在共享主机上并不常见,但是如果您阅读了手册中的注释,您应该可以找到一个可以从您自己的代码中运行的get_browsers实现。
所有这些都会影响搜索引擎优化,因为主要的搜索引擎都有图像搜索。它还将影响新的,在搜索结果上悬停时显示网页的截图,因为在创建截图时,您将阻止机器人看到页面上的图像。
发布于 2010-12-14 09:37:16
您可以将robots.txt配置为允许某些机器人,但不允许其他机器人:
例如:
User-Agent: *
Disallow: /images
User-Agent: Googlebot-Image
Disallow: 这只是一个例子。你也可以允许其他行为良好的机器人。
但这对那些忽视robots.txt的行为恶劣的机器人没有任何作用。他们确实没有解决方案,尽管身份验证可以帮上一点忙(您可以通过帐户控制图像访问)。
发布于 2010-12-14 09:40:37
不确定它是否有效,但如果您将所有图像都放在/映像/文件夹中,则可以设置
User-agent: *
Disallow: /images/https://stackoverflow.com/questions/4437687
复制相似问题