使用SqlSoup实现Postgres中的数据转换

Question

我在Postgres数据库中有一个大型的事件数据集，它太大了，无法在内存中进行分析。因此，在返回结果之前，我希望将日期时间量化为固定的时间间隔，并在数据库中执行group by操作。我想我应该使用SqlSoup遍历适当表中的记录并进行必要的转换。不幸的是，我不知道如何以这样一种方式执行迭代，即我不能一次将对每条记录的引用加载到内存中。是否有某种方法可以一次获取一个记录引用，以便访问数据并根据需要更新每条记录？

如有任何建议，我们将不胜感激！

克里斯

Answer 1

在与一些人交谈后，很明显更好的答案是使用Pig在本地处理和聚合我的数据。在规模上，我并不清楚Hadoop是不是合适的工具。我采访的一个人说，Pig的速度将比我在数据库中操作的速度快几个数量级，我目前的数据库操作规模约为10^7条记录。