我们有某种分布式数据存储。我们了解所有内部设备,可以直接访问磁盘上的数据。
我正在研究将Apache直接部署在上面的选项。
做这件事的最佳/推荐方法是什么?
)一个比另一个容易吗?更好的表现?等)
谢谢你的帮忙
发布于 2014-11-02 18:15:39
Spark1.2将包含一个新的用于Spark的外部数据源API。这将方便地编写新的输入连接器,用于加载(半)结构化数据并从SQL查询数据,并将具有挂钩以启用特定于数据源的查询优化,例如分区剪枝或谓词下推。即使您没有使用Spark查询您的数据(例如,您希望使用常规的RDD API),这也可能是加载它的最简单的方法,因为您可以对SchemaRDDs执行常规的Spark转换。
下面是学习这个API更多信息的几个资源:
发布于 2014-10-28 19:33:44
我会和CustomRDD一起去。作为参考,您可以查看datastax-cassandra-驱动程序,它们有为分布式数据库编写自定义RDD的非常好的示例。
然而,正如我所理解的,他们并不需要从磁盘加载数据,他们使用来自Cassandra的分区信息来划分RDD本身。但是,支持所需的内容应该是相对简单的。
https://stackoverflow.com/questions/26615712
复制相似问题