如何在读取CSV时指定Hadoop配置

Question

我使用的是Spark 2.0.2。如何在将CSV文件读入Dataset时为TextInputFormat类指定Hadoop配置项textinputformat.record.delimiter？

在Java语言中，我可以编写：spark.read().csv(<path>);。但是，似乎没有一种方法可以提供特定于read的Hadoop配置。

可以使用spark.sparkContext().hadoopConfiguration()设置项目，但这是全局的。

谢谢,

Answer 1

你不能。Data Source API使用自己的配置，从2.0开始，它甚至与Hadoop配置不兼容。

如果您想使用自定义输入格式或其他Hadoop配置，请使用SparkContext.hadoopFile、SparkContext.newAPIHadoopRDD或相关类。

Answer 2

可以使用spark2.0中的option()设置分隔符

var df = spark.read.option("header", "true").option("delimiter", "\t").csv("/hdfs/file/locaton")