检查站点是否已在搜索引擎和目录中列出的代码

Question

我目前正在开发一个在Rails的应用程序，这需要检查一个网站是否已经在谷歌，冰，雅虎，Yelp和黄页列出。根据我的研究，最好的方法是在谷歌和必应上检查网站: domain.com，然后查找结果，并检查雅虎目录中的域名。

还有没有别的办法呢？我指的是一些代码片段，用来检查域名的主页，或者使用他们的API或类似的东西。还有如何查看Yelp和黄页。

Answer 1

你可以使用机械化和编写web风格的驱动程序Google:在你的域名上进行搜索，在搜索词上

site:checkmeout360.com
https://www.google.com/search?q=site%3A<SITE_NAME>.com

试着看看yelp，yahoo，bing和黄页是如何索引的。然后你可以使用机械化为你自动化搜索过程，你可以使用机械化来像上面那样用谷歌做搜索，然后写断言(检查你正在寻找的东西是否在搜索结果上)

Answer 2

搜索引擎并不欣赏自动发送的查询。

以下是Google has to say about it的内容

谷歌的Terms of Service不允许在没有事先得到谷歌明确许可的情况下向我们的系统发送任何类型的自动查询。发送自动查询消耗资源，包括使用任何软件(例如WebPosition金牌)向谷歌发送自动查询，以确定网站或网页在各种查询的谷歌搜索结果中的排名。除了排名检查之外，其他类型的未经许可自动访问谷歌也违反了我们的Webmaster Guidelines和服务条款。