使用iceberg表格式向DataFrame模式添加自定义元数据

Question

我使用StructField's metadata field将自定义元数据添加到PySpark应用程序的DataFrames模式中

当我将拼图文件直接写到s3中时，它工作得很好。当按预期读取这些拼图文件时，自定义元数据可用。

但是它不能使用冰山表格格式。没有错误，但df.schema.fields.metadata始终为空。

有没有办法解决这个问题？

Answer 1

通过确保关键字始终是“注释”来解决

例如：{'comment'：'my_metadata_info_field'}