需要的建议:使用.NET屏幕抓取网页

Question

我需要一个我即将开始的项目的建议。

一句话，我的应用程序必须访问某个足球网站，下载HTML并提取必要的数据。

这就是我到目前为止所做的：

* 1)访问某个足球网站(前)。( http://www.livescore.com/default.dll?page=england)并使用WebClient下载HTML。

* 2)使用SgmlReader将HTML转换为SgmlReader

* 3)使用XmlDocument检索我正在寻找的数据。这通常包括：

**3.1)使用GetElementsByTagName() (ex )检索节点的GetElementsByTagName(“tr”)

** 3.2)循环遍历GetElementsByTagName()方法返回的节点列表

有更好的方法来做我想做的事吗？

我在想LINQ。你认为这能提高性能吗？

任何建议或评论都将不胜感激！

Answer 1

只需使用HTML！http://www.codeplex.com/htmlagilitypack

这样，您就可以使用XPath查询文档以获取所需的节点。您甚至可以使用Firefox的插件Firebug来帮助您构建XPath查询

Answer 2

使用这些家伙这样的服务，这些服务为您完成了大部分工作。您还可以使用免费服务(如脱衣舞 )。我相信您可以以不同的格式导出数据，虽然我不知道您是否可以实时获取数据，但您可能会有延迟。

如果你不想在内部编程，使用第三方解决方案可以节省你的时间和金钱。

Answer 3

一旦将数据转换为XML，就可以使用XSLT将其转换为一组更简单的XML，并且更适合您的目的。从这里，您可以使用从XML中获取所需的数据。这种方法的好处是，它将网站与数据收集分离开来，这样当网站更改其格式时，您就可以简单地更改XSLT以匹配它，而无需更改任何其他内容。