用于存储/访问大量数据的PostgreSQL和S3QL

Question

我们目前在亚马逊的EC2上使用postgres9，对其性能非常满意。现在我们正在考虑向Postgres添加~2TB的数据，这超出了我们的EC2小实例所能容纳的范围。

我找到了S3QL，并正在考虑将它与将Postgres数据目录移动到S3存储中结合使用。有没有人有这样做的经验？我主要关心的是性能(频繁的读取，较少的写入)。欢迎任何建议，谢谢。

Answer 1

我的建议是“不要那样做”。我对您的问题的背景一无所知，但我猜解决方案不必涉及通过PostgreSQL进行批量数据处理。发明网格处理系统的全部原因是为了解决分析大数据集的问题。我认为您应该考虑构建一个在提取维度数据方面遵循标准BI实践的系统。然后将规范化的数据加载到Hadoop/Pig中，假设它仍然很大。在那里进行分析和汇总。将生成的聚合数据转储到一个文件中，并将该文件与维度一起加载到PG数据库中。