哪种web语言可用于数据挖掘或web爬行

Question

如果我想建立一个像谷歌新闻这样的复杂网站，它可以从其他网站收集数据。比如数据挖掘，爬行。我应该用哪种语言来建立网站。

目前我只知道PHP。我能用PHP实现吗？

Answer 1

对于这两个任务，Python都是一种很好的语言。我不能简单地说出所有可用的包，但首先想到的web爬行包是Mechanize和BeautifulSoup。Orange和NLTK实现了几种数据挖掘算法。

Answer 2

听起来你需要构建两个应用程序，一个用来抓取网络并将数据存储在数据库中的应用程序，另一个用来显示收集到的数据的网站。我会使用Perl来抓取web，以获得它良好的字符串操作特性。