Dremel或它的实现(比如data )如何处理内存中的大型柱状数据布局？

Question

我正在通过谷歌的白皮书。我知道它将复杂的数据转换成柱状的数据布局。

这些数据存储在什么位置？

由于memory没有中央元数据存储库，所以我认为它必须是内存中的。

因此，当我有数十亿行时，如何处理这些数据？

Answer 1

要从数十亿行获得完整、一致的查询结果，您将使用连接到多个Drillbit的分布式文件系统，通过将文件复制到每个节点来模拟分布式文件系统，或者使用NFS卷(如Amazon弹性文件系统)。data使用多种技术执行大数据的性能查询，包括：

• 依赖集群节点来处理故障(不花费时间处理与故障相关的任务)。
• 使用层次化和列式的内存中数据模型(不对不涉及分析查询的列访问磁盘，处理列数据而不进行行物化)。
• 使用列式存储优化和执行(保持低内存占用)。
• 使用矢量化处理来自不同记录的值数组，而不是一次处理来自一个记录的单个值。

有关更多信息，请参见http://drill.apache.org/docs/performance/。