用于数据转储处理的DynamoDB或Hive

Question

我有大数据转储。计划使用批处理插入上传AWS DynamoDB。哪种流程选择是符合成本效益的：

1. 大数据(GiB) ->批处理插入到DynamoDB ->用于分析的查询
2. 大数据(GiB) -> AWS S3 ->创建蜂窝表映射-> EMR hive查询以进行分析而不使用Dynamo

在DynamoDB中，如果从EMR或EC2访问，是否存在吞吐量限制？

Answer 1

没有必要为此使用DynamoDB。选择选项2，将数据上传到S3中，然后执行Hive查询。

对于DynamoDB读取容量EMR将使用多少，有一个可配置的限制。

Answer 2

这在很大程度上取决于你试图在蜂巢中优化什么，如果有的话。如果您想使用ORC文件，那么您可能想看一下DynamoDB。ORC文件要求您加倍加载数据。首先，您必须将数据加载到暂存表中。然后，您必须从这个阶段进行选择，并插入到ORC文件表中。这有效地使您携带了两次数据。

如果您不打算优化数据加载，那么您可能需要更多地查看@种子头的响应。