Clojure时间序列分析

Question

我有一个大的数据集(200 9GB未压缩，9GB在bz2 -9压缩)股票滴答数据。

我想对它们进行一些基本的时间序列分析。

我的机器有16 My内存。

我宁愿：

• 将所有压缩的数据保存在内存中
• 动态解压缩这些数据，并将其流到磁盘上，这样就不会有任何数据进入磁盘。
• 在记忆中做所有的分析

现在，我认为这里有很好的交互，可以使用Clojure的懒惰和未来的对象(也就是说，我可以定义对象s.t )。当我试图访问它们时，我会即时解压它们。)

问:在Clojure中进行高性能时间序列分析时，我应该记住什么？

我特别感兴趣的技巧包括：

• 在内存中有效地存储刻度数据
• 高效计算
• 减少对数据的传递的奇怪卷积

欢迎书籍/文章/研究论文的建议。(我是个CS PhD学生)。

谢谢。

Answer 1

一些想法：

• 在存储压缩数据方面，我认为您不会比操作系统自己的文件系统缓存做得更好。只需确保它被配置为使用内存的11GB+进行文件系统缓存，并且它应该在第一次读取时将整个压缩数据集拉到内存中。
• 然后，您应该能够定义您的Clojure代码，以便通过ZipInputStream懒洋洋地进入数据，这将为您执行解压缩。
• 如果您需要对数据执行第二次传递，只需在同一个文件上创建一个新的ZipInputStream。操作系统级缓存应该确保您不会再次访问磁盘。

Answer 2

我听说过类似用Java实现的系统。这是可能的。您当然希望了解如何创建自己的惰性序列来完成这一任务。如果您需要确保处理的是要处理的原始类型，我也会毫不犹豫地进入Java。例如，Clojure不会在32位ints上生成用于计算的代码，它只会生成用于longs的代码，如果您不想这样做，这可能会很痛苦。

让内存中的格式与磁盘格式兼容也是值得的。这将为您提供内存映射文件的选项，或者(至少)在程序崩溃时使您的启动变得容易。例如，它可以读取磁盘上的文件来恢复以前的状态。