首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Spark SQL模式

Spark SQL模式
EN

Stack Overflow用户
提问于 2017-06-15 06:47:08
回答 0查看 285关注 0票数 1

我在PySpark中有这个RDD,我想创建一个模式。

收集到的1行RDD示例:

代码语言:javascript
复制
(('16/12/2006', '17:24:00', 4.216, 0.418, 234.84, 18.4, 0.0, 1.0, 17.0), 0)
代码语言:javascript
复制
customSchema = StructType([
    StructField("Date", StringType(), True),
    StructField("Hour", StringType(), True),
    StructField("ActivePower", FloatType(), True),
    StructField("ReactivePower", FloatType(), True),
    StructField("Voltage", FloatType(), True),
    StructField("Instensity", FloatType(), True),
    StructField("Sub1", FloatType(), True),
    StructField("Sub2", FloatType(), True),
    StructField("Sub3", FloatType(), True),
    StructField("ID", IntegerType(), True)])

问题是索引(最后一个零)不在数据元组中,我不知道如何正确地创建模式。

提前谢谢你。

EN

回答

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44555879

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档