首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >什么是最好的方式,使火花工作在东家分布式数据库?(RDD或FileInputFormat)

问什么是最好的方式,使火花工作在东家分布式数据库?(RDD或FileInputFormat)
EN

Stack Overflow用户
提问于 2014-10-28 18:23:30
回答 2查看 348关注 0票数 4

我们有某种分布式数据存储。我们了解所有内部设备,可以直接访问磁盘上的数据。

我正在研究将Apache直接部署在上面的选项。

做这件事的最佳/推荐方法是什么?

  • 编写自定义RDD (从RDD派生)
  • 或者,通过扩展FileInputFormat

)一个比另一个容易吗?更好的表现?等)

谢谢你的帮忙

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-11-02 18:15:39

Spark1.2将包含一个新的用于Spark的外部数据源API。这将方便地编写新的输入连接器,用于加载(半)结构化数据并从SQL查询数据,并将具有挂钩以启用特定于数据源的查询优化,例如分区剪枝或谓词下推。即使您没有使用Spark查询您的数据(例如,您希望使用常规的RDD API),这也可能是加载它的最简单的方法,因为您可以对SchemaRDDs执行常规的Spark转换。

下面是学习这个API更多信息的几个资源:

票数 3
EN

Stack Overflow用户

发布于 2014-10-28 19:33:44

我会和CustomRDD一起去。作为参考,您可以查看datastax-cassandra-驱动程序,它们有为分布式数据库编写自定义RDD的非常好的示例。

https://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/scala/com/datastax/spark/connector/rdd/CassandraRDD.scala

然而,正如我所理解的,他们并不需要从磁盘加载数据,他们使用来自Cassandra的分区信息来划分RDD本身。但是,支持所需的内容应该是相对简单的。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/26615712

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档