Django/Python中的实时数据处理

Question

我们正在进行一个涉及实时数据处理的项目。我们计划使用Django/Python。实际过程是：

1. 数以万计的设备每秒钟采集4个样本(0、0.25、0.5、0.75)并连续发送回Django服务器，基本上它们是具有时间戳和值的时间序列。
2. 我们需要根据时间戳(需要毫秒精度)对齐来自所有设备的样本，并对所有时间序列做一个简单的平均值。
3. 所有这些都需要实时完成(最大1秒延迟)，并使用另一个线程发送出去。

我们正在研究RRDTool和scikits.timeseries，但是它们没有毫秒的精度，所以它们无法对齐我们的时间序列。

只是想知道有什么工具/数据结构，我们可以使用Django/Python进行这种类型的实时数据处理。并且线程安全是很重要的，因为发送结果将在另一个线程中完成。

提前谢谢。

Answer 1

您在python中的实时web服务选项是：扭曲的、龙卷风和埃文特。

您可以集成所有这些来使用Python/Django。关于这方面的教程。

Answer 2

您可能需要查看龙卷风，这是一个非阻塞的使用epoll的web服务器框架。应该比Django这样的更高级别的框架更适合您的实时需求。

Answer 3

简短回答:不。姜戈帮不了你。

长答案:听起来像是一个工作，一些定制代码直接从网络服务器。我正在考虑直接挂在wsgi上的python脚本，甚至是用C编写的apache模块！