使用Python进行实时数据处理

Question

我正在做一个项目，它将消耗来自Twitter Stream API的数据，并计算某些标签。但我很难理解在我的情况下需要什么样的架构。我应该使用Tornado吗?或者有更合适的框架吗？

Answer 1

这真的取决于你想要对推文做什么。据我所知，仅仅阅读一串推文并不是什么问题。事实上，这可以在AWS Micro实例上完成。我甚至在实时提要上运行更高级的回归算法。如果您试图处理一组历史Tweet，就会出现可伸缩性问题。由于Tweet的生成速度非常快，因此处理历史Tweet的速度可能会非常慢。这就是你应该尝试并行化的时候。