Dataset<Row> ds = .....
ds = ds.select("cola", "colb");
ds.show();DS装得很好。DS包含多个列。我想选择“可乐”和“可乐”栏目。这些列确实存在,否则上面的代码会抛出错误Caused by: org.apache.spark.sql.AnalysisException: cannot resolve colA given input columns。我的问题是它用列名替换值。我如何才能保留原始价值?
expected
cola | colb
1 2
3 4我得到了什么
cola | colb
cola colb
cola colb发布于 2020-01-16 19:38:44
当您从DB将数据加载到dataSet中时,永远不要相信数据是正确加载的,直到您能够看到实际的数据。
在这种情况下,我可以看到ds.printSchema,我可以看到ds.count().show(),但是当我执行ds.select("cola", "colb")时,它没有显示适当的数据。
现在有一点调查表明,我在从memSql加载时不应该使用JDBC
我使用的是跟踪,这是错误的。它可以加载架构,计数而不是实际数据。
Dataset<Row> ds= spark.read()
.format("jdbc")
.option("user", getDbUser(true))
.option("password", getDbPass(true))
.option("url", h2RawPositions)
.option("dbtable", h2PositionTableName)
.load();相反,我使用了com.memsql.spark.connector (来源 ),它起作用了。
Dataset<Row> gsProducts = spark.read()
.format("com.memsql.spark.connector")
.option("url", memsqlConnection)
.option("dbtable", mamsqlTableName)
.option("query", "select blah, blah frm memSqlTableName")
.load();https://stackoverflow.com/questions/59758782
复制相似问题