问用于分布式数据存储的Hadoop或Spark连接器是如何工作的？
EN

Stack Overflow用户

提问于 2016-02-26 15:24:34

回答 1查看 70关注 0票数 0

Spark具有用于各种数据库和数据存储的连接器。

但是，为您自己的自定义分布式数据库创建连接器需要什么。据我所知，Spark使用Hadoop连接器从分布式数据存储中获取数据。我找不到一个好的资源来理解Hadoop连接器是如何工作的以及如何制作的。

我希望了解Hadoop连接器的语义，以便能够为我的自定义数据库创建一个连接器。

发布于 2016-02-26 18:47:57

您必须使用Java和Hadoop API实现记录读取器

然后Spark就可以使用它了

我的建议是从读汤姆·怀特的书开始

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/35645861

复制

相似问题

问用于分布式数据存储的Hadoop或Spark连接器是如何工作的？EN