在Scala-Spark中读取Hive表中的行并写入文件

Question

我想从spark-scala program.After中读取其中一个hive表中的数据行，相同的数据需要逐行写入文件。实际上是逐行写入文件。有没有人能分享一下点子呢？Spark版本1.6，Hive1.2。

Answer 1

你可以像这样从表中读出...

val mydf = hiveContext.sql("select * from hive_table_name")

mydf.write.save.format("com.databricks.spark.csv").option("header", "true").save(hdfs_path_to_save)

以下是Spark 2.0 https://github.com/databricks/spark-csv之前所需的csv解析器的帮助