我已经创建了一些爬虫,这些爬虫可以使用kimonolabs.com和parsehub.com从一些网站收集数据。
我想根据爬虫获得的数据创建一个iPhone应用程序,并通过他们的api同步爬虫提供给我的数据。
因此,如果爬虫发现从网站的任何新的数据,我希望在这些数据的变化同步。
我尝试过kimonolabs.com和parsehub.com从一些网站上抓取一些数据。两种爬行器几乎是一样的。
json文件可能至少为10 be,因此我认为最好尝试将所有数据与其他服务(如parse.com)同步,并查询特定数据,以最小化iPhone应用程序的带宽。
这是来自kimonolabs:https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0的json的数据示例。
我正在考虑使用parse.com作为后端,并尝试将这些json数据导入parse.com,后者也提供了一些托管服务。
在将数据导入parse.com之后,我需要分析这些数据,并将其中的一些数据(特定的查询数据)提供给iPhone应用程序,我将根据爬虫的数据创建该应用程序。
如何在parse.com中创建后台作业或云代码以从json导入这些数据?我是parse.com的新手
我试过这个:
curl -X POST \
-H "X-Parse-Application-Id: **APPID**" \
-H "X-Parse-REST-API-Key: **RESTAPIKEY**" \
-H "Content-Type: application/json" \
-d 'https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0' \
https://api.parse.com/1/classes/CrawledData但是它不起作用,我在考虑用类似于上面的代码创建一个后台作业。
发布于 2014-12-20 14:56:25
在分析云代码..。
main.js
Parse.Cloud.define("crawledData", function(request, response) {
// this is the passed parameter (https://www.kimonolabs.com/api/...)
var url = request.params.value;
// do something with url
});然后您可以发送curl请求,如下所示
curl -X POST \
-H "X-Parse-Application-Id: **APPID**" \
-H "X-Parse-REST-API-Key: **RESTAPIKEY**" \
-H "Content-Type: application/json" \
-d '{ "value": "https://www.kimonolabs.com/api/..." }' \
https://api.parse.com/1/function/crawledData更多关于云代码的阅读:guide
更多地阅读云代码背景作业:guide#jobs
https://stackoverflow.com/questions/27347102
复制相似问题