首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从网页中抓取内容

问从网页中抓取内容
EN

Stack Overflow用户
提问于 2010-09-06 14:02:54
回答 2查看 1.5K关注 0票数 2

我需要抓取一个寻找图像和链接的远程html页面。我需要找到一个图像,这是“最有可能”的产品图像上的页面和链接,是“接近”该图像。我目前使用的是javascript bookmarklet,这样我就可以获得图像和链接的渲染x/y坐标,以帮助我确定这些是否是我想要的。

我想要的是通过使用url而不是bookmarklet来获取这些信息的能力。问题是,通过使用url并尝试像httpwebrequest这样的东西并在服务器上获取html,我将没有位置值,因为它不是在浏览器中呈现的。我需要图像和链接的位置,以帮助我确定我想要的图像和链接。

那么,如何从服务器上的远程站点获取html,并使用dom元素的位置值来帮助我定位图像和链接呢?

EN

回答 2

Stack Overflow用户

发布于 2010-09-06 14:13:35

正如您所指出的,纯粹通过检查html来做这件事是一件非常痛苦的事情(特别是当涉及到CSS时)。你可以尝试使用WebBrowser控件(它托管IE),但我想知道是否寻找一个合适的、受支持的API可能更好(而且不太可能让你被阻止)。如果没有API或类似的API,您可能不应该这样做。那就不要。

票数 1
EN

Stack Overflow用户

发布于 2010-09-06 17:55:12

您可以使用HttpWebRequet下载页面,然后使用HtmlAgilityPack解析出所需的数据。

你可以从http://htmlagilitypack.codeplex.com/下载

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3649342

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档