QuickSight SPICE如何刷新数据

Question

我有一个快速视觉仪表板指向雅典娜桌子。现在我要安排每小时更新一次香料。根据文档，刷新将数据再次导入SPICE，因此数据包含自上次导入以来的任何更改。

如果我有一个2TB数据集在雅典娜和每小时新的数据添加到雅典娜。那么，QuickSight将每小时加载2TB以找到增量？如果是的话，会增加雅典娜的成本。QuickSight查询雅典娜来获取数据吗？

Answer 1

截至应答日期(11/11/2019)，SPICE实际上执行完整的数据集重新加载(即不进行增量计算或增量刷新)。我能够通过使用MySQL数据集和在刷新时查看查询日志来验证这一点。

对于您的问题的含义是，您将收费每小时雅典娜查询2TB数据集。

如果您不需要雅典娜提供的健壮查询，我建议将QuickSight直接指向S3数据。

Answer 2

我的数据是拼花格式的。我想Quicksight不支持对s3拼板数据的直接查询。

• 是的，我们需要用雅典娜来看地板。

当你说QuickSight直接指向S3时，你的意思是没有香料吗？

• 不要这样做，这将大大增加雅典娜和S3的成本。

溶液：

• 从你的来源收集三角洲。
• 将其推入S3 (未处理的数据)
• 创建一个lambda函数来预处理数据(如果需要的话)
• 为lambda设一个扳机。
• 在lambda中处理数据，并通过gzip压缩将数据转换为parquet格式。
• 将数据推入S3 (已处理的数据)
• 从S3中删除未处理的数据，或者设置一个S3生命周期来维护它。
• 还使用primary_key和必需字段创建了一个元数据表。
• S3 &雅典娜不支持更新记录，所以每次您推送数据时，它将被附加到旧数据中，整个数据将被扫描。
• S3和雅典娜都遵循扫描优先的方法，所以即使你在应用过滤器，它也会在应用过滤器之前扫描整个数据。
• 使用元数据表删除旧条目并插入新条目。
• 尽可能使用分区以避免扫描整个数据。
• 一旦数据可用，配置Quicksight数据刷新以将数据拉到SPICE中。

最佳实践：

• 始终使用SPICE (直接查询成本高，延迟时间长)
• 尽可能使用增量刷新。
• 始终使用静态数据，不要为每次访问/刷新仪表板处理数据。

提高Quicksight SPICE数据刷新频率