如何使用Import.io进行查询自动化

Question

我已经用Import.io中的Extractor工具成功地创建了一个查询。它完成了我想要做的事情，但是现在我需要每天运行一到两次。Import.io作为API的目的是允许我用自己的应用程序构建诸如数据存储和调度任务(每天运行多次查询)之类的逻辑，还是有方法完全在Import.io服务中调度查询和使用长期存储的结果？

我很乐意创建一个Laravel或Rails应用程序来向API发出请求并将信息存储在其他地方，但是如果我通过这样做来重新发明轮子，并且它们提供了解决这个问题的方法，那么这就是一个真正的时间节省器。

Answer 1

感谢您使用新的论坛！是的，我们已经转移到堆栈溢出，以最大限度地利用社区氛围。

目前，Import没有调度爬行的能力。然而，这是我们将在不久的将来推出的。

目前，可以在指定时将Cron作业设置为运行。

Answer 2

如果您使用的是免费版本，另一个解决方案是使用一个CI工具，比如travis或jenkins来安排您的API脚本。您可以查询活动提取器，这样每次都不需要手动运行它们。这将从您的限制中消耗您的一个请求。

您可以使用的端点是：

https://extraction.import.io/query/extractor/extractor_id?_apikey=apikey&url=url

不幸的是，这个脚本将不是一个非常简单的脚本，因为大多数网站对import.io都有非常不同的响应结构，正如您可能已经知道的，该工具的高级版本现在提供了调度功能。