问获取Spark数据集元数据
EN

Stack Overflow用户

提问于 2018-03-29 02:42:37

回答 1查看 2.1K关注 0票数 0

我正在尝试将Dataset<row>转换为另一个对象。可能是java.list。我需要提取这个数据集的元数据。比如列数、列名和列类型。有没有办法做到这一点？谢谢

发布于 2018-03-29 02:59:05

您可以从数据集获取方案，格式为

ds.schema

这将为您提供包含所有信息的StructType

ds.schema.fieldNames

这将提供所有列名的列表

ds.schema.fields

这将为您提供一个StructField列表，其中包含column name、datatype和nullable作为boolean值。

ds.schema.size

这提供了列名的总计数

此外，您还可以使用ds.printSchema()查看详细信息

希望这能有所帮助！

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49541934

复制

相似问题

问获取Spark数据集元数据EN