不分页的大API调用

Question

我需要从有大量条目的API源中检索数据。(1800+)问题是，源没有分页或分组条目的方法。然后，我们将将条目保存为站点上的帖子，并将每天运行一次Cronjob。

使用curl_init()从API源检索数据。但我们不断得到一个503错误，超时。当它工作时，它以json的形式检索数据，以元数据的形式保存重要信息，以json的形式保存其余的信息。

有没有更可靠的方法来检索数据。在我工作过的其他站点上，我们能够编程地在后端的每个页面上运行API。

Answer 1

您可以尝试先将JSON保存到文件中，然后在文件中的JSON上运行post创建，而不是直接的cURL连接。我在过去遇到过类似的问题，即使使用有分页的API。