是否有方法从hdfs中的Parquet文件从Mobius读取到SqlContext？

Question

我知道在Scala中，您可以按以下方式在一个拼花文件中阅读：

//Create Spark Context
val sparkConf = new SparkConf().setAppName(appName).setMaster(sparkMaster)
val sc = new SparkContext(sparkConf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._

 val pf = 
      sqlContext.read.parquet(hdfsDataUri + "test.parquet")
 pf.registerTempTable("test")

是否有一种方法可以使用Mobius (火星之友的C# API )来做到这一点？我只能找到一种在CSV文件中阅读的方法。参考文献：https://github.com/Microsoft/Mobius

Answer 1

Apache中使用Parquet的C# API可在莫比乌斯中使用。下面是问题中Apache代码的C#实现：

        var sparkConf = new SparkConf().SetAppName(appName).SetMaster(sparkMaster);
        var sc = new SparkContext(sparkConf);
        var sqlContext = new SqlContext(sc);
        var pf = sqlContext.Read().Parquet(hdfsDataUri + "test.parquet");
        pf.RegisterTempTable("test");

Answer 2

您可以通过.NET直接通过https://github.com/elastacloud/parquet-dotnet读写拼花文件。