我需要抓取一个寻找图像和链接的远程html页面。我需要找到一个图像,这是“最有可能”的产品图像上的页面和链接,是“接近”该图像。我目前使用的是javascript bookmarklet,这样我就可以获得图像和链接的渲染x/y坐标,以帮助我确定这些是否是我想要的。
我想要的是通过使用url而不是bookmarklet来获取这些信息的能力。问题是,通过使用url并尝试像httpwebrequest这样的东西并在服务器上获取html,我将没有位置值,因为它不是在浏览器中呈现的。我需要图像和链接的位置,以帮助我确定我想要的图像和链接。
那么,如何从服务器上的远程站点获取html,并使用dom元素的位置值来帮助我定位图像和链接呢?
发布于 2010-09-06 14:13:35
正如您所指出的,纯粹通过检查html来做这件事是一件非常痛苦的事情(特别是当涉及到CSS时)。你可以尝试使用WebBrowser控件(它托管IE),但我想知道是否寻找一个合适的、受支持的API可能更好(而且不太可能让你被阻止)。如果没有API或类似的API,您可能不应该这样做。那就不要。
发布于 2010-09-06 17:55:12
您可以使用HttpWebRequet下载页面,然后使用HtmlAgilityPack解析出所需的数据。
https://stackoverflow.com/questions/3649342
复制相似问题