如何设置Curl连接Gnip流？

Question

我正在尝试为Gnip流建立Curl连接。我的目标是下载所有输入的文本数据，然后上传到数据库中。但是卷发请求在一段时间后就被取消了。是否有任何方法来设置流数据的进程。

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt    

过了一段时间，我就要“关闭连接”了。

Answer 1

看起来您的curl命令很好，但是问题是您没有跟上流上的卷。这将导致服务器端的数据缓冲区完全填充，从而触发与服务器的“强制断开”。

最基本的建议是确保您有足够的带宽来传输该数据量。通常，这些强制断开是由客户端应用程序中的处理瓶颈造成的。但是，你在使用卷发，这是非常有效的.一般建议curl将客户端应用程序从循环中取出，并测试底层带宽.

看来你在试用十糖产品..。联系客户经理，讨论下一个步骤。

谢谢!