浅谈利用Internet进行信息收集

Question

现在，我有一个有趣的情况...我的目标是有一个软件，可以接受一个人的全名，出生日期，和其他一些凭证(他们是，是有争议的)，并从互联网上尽可能多地提取关于他的信息……

现在我做了一些研究，发现通过使用google的搜索API和像Scrapy这样的网络爬虫，我可以在某种程度上实现这个目标……但是，简单地在google上用双引号搜索人名并不总是能得到正确的结果……

有两个问题浮现在脑海中。如何提高准确性，其次，我是不是在重新发明轮子(因为有些网站有能力找到人……)？如果是这样的话，有没有已经开放的源代码(或任何可用的东西)来做这件事或类似的事情……？

Answer 1

这个答案涉及到如何在大量URL上使用抓取器。例如，您可以从SmokeDoc开始。