首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为什么星火Dataset.select替换列值

问为什么星火Dataset.select替换列值
EN

Stack Overflow用户
提问于 2020-01-15 20:02:32
回答 1查看 205关注 0票数 0
代码语言:javascript
复制
Dataset<Row> ds = .....
ds = ds.select("cola", "colb");
ds.show();

DS装得很好。DS包含多个列。我想选择“可乐”和“可乐”栏目。这些列确实存在,否则上面的代码会抛出错误Caused by: org.apache.spark.sql.AnalysisException: cannot resolve colA given input columns。我的问题是它用列名替换值。我如何才能保留原始价值?

代码语言:javascript
复制
expected 

cola | colb
1       2
3       4

我得到了什么

代码语言:javascript
复制
cola | colb
cola   colb 
cola   colb
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-16 19:38:44

当您从DB将数据加载到dataSet中时,永远不要相信数据是正确加载的,直到您能够看到实际的数据。

在这种情况下,我可以看到ds.printSchema,我可以看到ds.count().show(),但是当我执行ds.select("cola", "colb")时,它没有显示适当的数据。

现在有一点调查表明,我在从memSql加载时不应该使用JDBC

我使用的是跟踪,这是错误的。它可以加载架构,计数而不是实际数据。

代码语言:javascript
复制
 Dataset<Row> ds= spark.read()
                .format("jdbc")
                .option("user", getDbUser(true))
                .option("password", getDbPass(true))
                .option("url", h2RawPositions)
                .option("dbtable", h2PositionTableName)
                .load();

相反,我使用了com.memsql.spark.connector (来源 ),它起作用了。

代码语言:javascript
复制
Dataset<Row> gsProducts = spark.read()
                .format("com.memsql.spark.connector")
                .option("url", memsqlConnection)
                .option("dbtable", mamsqlTableName) 
                .option("query", "select blah, blah frm memSqlTableName")
                .load();
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/59758782

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档