从URL存储产品详细信息

Question

有没有办法或者甚至可以使用URL来获取产品的详细信息。假设我粘贴了来自沃尔玛或百思买等商店的产品的URL，是否可以编写一些内容来检索产品信息(价格、名称、信息等)。这真的存在吗？或者这必须是特定于站点的东西，我可以为每个特定的商店编写代码？

Answer 1

是的，这是可能的，但由于same-origin-policy的原因，不能使用JavaScript。您必须将该URL发送到服务器，在服务器端读取该外部页面，然后将结果返回给服务器。

在服务器端(无论您使用哪种语言)，下载web页面，解析它(如果可以的话，使用xml/xpath )并提取相关信息。

正如已经注意到的，注意，一些网站禁止这种访问(称为网络抓取)，其他网站可能会积极尝试阻止，例如通过发现假客户端。

Answer 2

我看到的一种解决方案是解析网址重定向到的页面的HTML代码，例如使用Tika，但我不确定有问题的电子商务网站是否会非常喜欢这样:)也许你可以问他们是否实现了访问其产品数据的应用编程接口？

Answer 3

你正在谈论的是网站抓取，是的，这是可能的，有很多工具可以帮助你。不过，有些网站对你这样做并不满意。

您可以在C#中使用HttpWebRequest类从url请求数据，然后使用XmlReader或http://html-agility-pack.net/之类的内容解析数据