如何从星火(DataStax企业)连接CFS？

Question

我们可以使用DataStax企业从节点上的火花壳访问.

在build.sbt中，声明了以下依赖项：

libraryDependencies += "org.apache.spark" %% "spark-core" % ...

当我执行行时：

sc.textFile("cfs://...")

我正面临着例外：

java.io.IOException: No FileSystem for scheme: cfs

如果我们在SPARK_MASTER中使用Spark (节点在DSE)，我们也会得到“无FileSystem方案: cfs”异常。

问:如何用火花进入CFS？

• 我们应该改变libraryDependencies吗？也许，还有另一个DSE的构建-火花？
• 设置？

Answer 1

注意：我对如何使用DSE/Cassandra和火花几乎一无所知。

UPDATE：在从火场进入卡桑德拉中，有一些示例说明如何使用DSE访问Spark中的Cassandra数据。似乎存在访问Cassandra表的sc.cassandraTable方法。这可能是解决办法。查看其他链接以了解API。

我认为你应该使用网站上的火花卡桑德拉连接器：

如果您编写了一个需要访问Cassandra的Spark应用程序，这个库是为您准备的

Answer 2

DataStax企业火花预先配置为使用CFS。因此，下面的工作应该是有效的：sh> dse spark scala> sc.textFile("cfs:/tmp/test.txt")配置外部火花是一个很长的故事，至少需要为适当的hadoop版本重新构建星星之火。