我想知道哪种编程语言提供了大量的库来编写web机器人程序?就像在网页上抓取数据一样。假设我想为weather.yahoo.com网站获取天气信息。
同样,对于AI桌面机器人,答案也是一样的吗?
发布于 2010-11-18 10:36:56
以下是如何在Python中完成此操作:
from urllib2 import urlopen
from BeautifulSoup import BeautifulSoup
soup=BeautifulSoup(urlopen("http://weather.yahoo.com/").read())
for x in soup.find(attrs={"id":"myLocContainer"}).findAll("li"):
print x.a["title"], x.em.contents打印:
美国伊利诺伊州芝加哥(阴霾) u'35...47°F‘的完整预报
英国伦敦大伦敦(小雨) u'43...45°F‘的完整预报
纽约,纽约,美国(部分多云) u'42...62°F‘的完整预报
美国加利福尼亚州旧金山(部分多云) u'51...70°F‘的完整预报
发布于 2010-11-18 10:21:16
我不知道这是不是最好的,但是Python在这方面绝对是非常好和简单的。
发布于 2010-11-19 00:27:26
另一个用于屏幕抓取和web爬行的优秀python库是scrapy。
https://stackoverflow.com/questions/4211059
复制相似问题