写一个火花数据或者写一个胶水动态框架，哪个选项在AWS胶中更好？

Question

在AWS Glue中，我在胶水动态框架中读取数据目录中的数据。然后将动态框架转换为激发数据格式以应用架构转换。为了将数据写回s3，我看到开发人员将数据转换回动态框架。写火花数据帧比写胶水动态框架有什么优势吗？

Answer 1

您会发现，有些功能仅适用于动态框架编写器类，在使用数据帧时无法访问这些功能：

1. 当您想要利用到JDBC源的连接时，也要在基于目录表源上写入s3。即使用from_jdbc_conf
2. 使用格式glueparquet作为格式写入拼板。
3. 使用书签跟踪目标位置中已处理的文件

这些是我能想到的一些用例，但是如果您有一个需要使用保存模式的用例，例如mode('overwrite')，您可以使用数据框架。然而，在动态框架中存在类似的方法，但实现方式略有不同。您可以先看看[purge_s3_path][3]，然后再写。