XTS尺寸限制

Question

我最近一直在研究大型数据集(超过40万行)。到目前为止，我一直在使用XTS格式，它可以很好地处理成千上万个元素中的“小”数据集。

随着项目的发展，R在检索数据库的数据并将其放入XTS时就会崩溃。

我的理解是，R应该能够有大小可达2^32-1元素的向量(或者根据版本的大小为2^64-1 )。因此，我得出结论，XTS可能有一些限制，但我在文档中找不到答案。(也许我对我对理论上可能的向量大小的理解有点过于自信了)。

总括而言，我想知道是否：

1. XTS确实有一个大小限制。
2. 你认为处理大时间序列最聪明的方法是什么？(我正在考虑将分析分成几个较小的数据集)。
3. 我没有收到错误信息，R只是自动关闭。这是已知的行为吗？

溶液

1. 与R相同，它取决于所使用的内存类型(64位，32位)。它无论如何都是非常大的。
2. Chuncking数据确实是一个好主意，但它并不需要。
3. 这个问题来自于R2.11.0中的一个错误，R2.11.1已经解决了这个问题。长日期向量(这里是XTS的索引)出现了问题。

Answer 1

关于你的两个问题，我的0.02美元：

1. 是的，R向量的极限是2^32-1元素.这来自索引逻辑，据报道，它在R中的位置“很深”，不太可能很快被替换(因为它会影响大量现有代码)。谷歌的r-发展列表的细节；这已经出现过。xts包不施加额外的限制。
2. 是的，将事物分割成易于管理的块是最聪明的方法。当我专门使用32位版本的R时，我经常在大型数据集中这样做，现在我使用64位R，不再有这个问题(并且/或保持数据集正常)，

有一些“内存不足”的方法，但我首先尝试重新考虑这个问题，并确认您确实需要同时使用所有400 k行。