我正在创建一个网站,它将把女性鞋子从整个网络聚集到一个网站上。有点像polyvore.com对他们所有的产品所做的,但我的只会是鞋子。这使我的工作变得容易多了,但我仍然对如何获取所有的数据感到迷茫。
到目前为止,我已经访问了3个API。到目前为止,这些网站提供了15000多个项目,但有1000's的网站和数百万产品。
聚合所有这些数据的最佳方法是什么?有可能吗?
或者我也应该依赖一个社会方面,比如polyvore,用户可以上传任何不在网站上的产品?
还有,我是否要诉诸于屏幕抓取?
作为一个人的表演,这有可能吗?Polyvore有一个由30个程序员组成的团队,我需要一个团队来正确地完成这个任务吗?
发布于 2013-04-15 23:37:52
从技术角度来看,这在某种程度上是可能的。您最好的选择是通过API定期摄取另一个站点的集合,API提供哪些API返回机器可读的数据。否则,刮也可以工作,虽然它本身是脆弱的,可能需要经常调整你从每一个网站刮。此外,您仅限于通过web爬行可以发现的页面:任何隐藏在搜索表单后面的内容都将无法被您访问。
一旦您有了原始数据,您将需要将其规范化为显示一双鞋子所需的核心项目,并允许人们为它们购物。这本质上是一个将各种格式的数据映射到您的数据中的问题。所有的信息可能都在那里,但很可能每个源都有不同的组织方式。这里没有火箭科学,但是所有这些数据映射(更不用说构建自己的站点)可能会让您希望有一个由30名程序员组成的团队。:)
从商业角度来看,我认为你的立场有些不稳定。首先,你正在做的事情可能是合法的,也可能是不合法的:你很可能会复制他们的文本和图片,这可能是有版权的,或者你将是深联进入他们的网站,这本身就是有争议的。第二,如果你将购物体验统一起来,你就会压制一家商店独特的品牌和购物特色,并将其置于与竞争对手同等的地位,而竞争对手可能并不喜欢(这是一家来之不易的SEO和昂贵的工程)。为了帮助提高合法性和安全性,尊重robots.txt文件(如果你刮擦的话),让商店很容易选择退出(或者让你选择退出)。尽管如此,谷歌Shopper多年来一直在这样做(尽管他们最近转向了一种模式,商店付费将其纳入搜索结果-不再有争议)。
我认为你最好的选择是与你所支持的每一家商店建立业务和技术关系。这将使您可以使用干净的API,您将被视为朋友,而不是讨厌(或更糟)。
https://softwareengineering.stackexchange.com/questions/195026
复制相似问题