Libcurl回调函数可能不适用于Twitter流

Question

可能重复：

Using HTTP authentication with libcurl in C for Twitter Streaming

我编写了一个C代码，它接收来自流API的Tweets流。但是下面的代码没有输出(没有输出)流。当CURLOPT_URL设置为google.com或9gag.com时，代码工作。我想这个问题与大量接收到的数据源源不断的推特有关。write_func回调函数(用于打印响应(流))可能无法工作，这就是为什么没有输出?我认为回调函数可能被Twitter API发送的巨大流淹没了。如果是这样的话，我该如何编写正确的写回调函数呢？

你也许会问。我验证了流的接收工作正常，因为每当我执行代码时，我都会看到系统监视器的网络历史记录在接收到的字节上上升。

谢谢!

守则：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>

struct string {
  char *ptr;
  size_t len;
};

void init_string(struct string *s) {
  s->len = 0;
  s->ptr = malloc(s->len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "malloc() failed\n");
    exit(EXIT_FAILURE);
  }
  s->ptr[0] = '\0';
}

size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {

    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;

  return size*nmemb;
}

int main(void)
{
  CURL *curl;
  CURLcode res;

  curl = curl_easy_init();
  if(curl) {
    struct string s;
    init_string(&s);

    curl_easy_setopt(curl, CURLOPT_URL, "https://stream.twitter.com/1/statuses/sample.json");
    curl_easy_setopt(curl, CURLOPT_USERPWD, "neilmarion:password_here");
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writefunc);
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, &s); 
    res = curl_easy_perform(curl);

    printf("%s\n", s.ptr);
    free(s.ptr);

    /* always cleanup */
    curl_easy_cleanup(curl);
  }
  return 0;
}

Answer 1

好的，我做了一些测试，看起来URL一直在发送数据，似乎还没有完成。15米后我就把它弄坏了。但是，如果在回调中放置print语句或使用strace，则可以看到其正常工作。您的字符串s不断增长。

因此，一种解决方案是，当s达到一定大小时，将其更改为打印和重新初始化。否则，看起来该程序最终将耗尽内存。所以把你的回调改为

size_t max_buffer = 10240;  // 10K
size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;
  // Begin newly added code
  if( s->len >= max_buffer )
  {
    printf("%s", s->ptr);
    fflush( stdout );
    free(s->ptr);
    initString( s );
  }
  // End newly added code
  return size*nmemb;
}

而且仍然把指纹保存在最后。转储最后一个位和尾随的换行符。既然您有了一个缓冲的解决方案，您就可以看到一个更高效的实现，它不需要动态添加内存。