我正在使用SparkR构建一些旧代码的新版本。在这样的街区上
hiveContext <- sparkRHive.init(sc)
hive_db = 'our_database'
db <- sql(hiveContext, paste0("use ", hive_db))我被告知'sparkRHive.init' is deprecated. Use 'sparkR.session' instead.所以,好吧,好吧,我现在有:
hiveContext <- sparkR.session(sc)
hive_db = 'our_database'
db <- sql(hiveContext, paste0("use ", hive_db))这是运行的,但现在星火警告'sql(sqlContext...)' is deprecated. Use 'sql(sqlQuery)' instead.,我不知道它在这里期望什么样的输入,并希望解决这个问题。有人知道该怎么做吗?
发布于 2017-09-26 19:51:37
由于Spark2.0,sql和其他函数的数量(如createDataFrame)不需要SQLContext实例。只是:
sql(paste0("use ", hive_db))在内部,这将使用getSparkSession检索会话对象。
https://stackoverflow.com/questions/46434647
复制相似问题