定期搜索引擎,如谷歌,雅虎和msn等。我也使一个软件的搜索引擎。首先,它得到了网站的所有页面,然后需要data.Can,这也是在torrent网站或其他工作。对于我的搜索引擎来说,torrent链接必须出现在网站的任何地方,这是必须爬行的。
发布于 2013-10-09 18:07:21
这适用于大多数公共站点..但私人网站不能通过机器人访问。你可以在google上找到很多torrent搜索引擎的例子
https://stackoverflow.com/questions/18909476
复制相似问题