spark中的智能数据源是什么？

Question

我想知道在spark中哪些数据源可以被称为“智能”。根据“精通Apache Spark 2.x”一书，如果spark可以在数据源端处理数据，那么任何数据源都可以称为smart。示例JDBC源代码。

我想知道MongoDB，Cassandra和parquet是否也可以被认为是智能数据源？

Answer 1

我相信智能数据源也可以是这些。至少根据幻灯片41到42，您可以从数据库演示文稿中看到智能数据源和徽标的提及，包括这些源(注意，mongodb徽标不在那里，但我相信它支持相同的东西https://www.mongodb.com/products/spark-connector，请参阅“利用MongoDB的力量”一节)：https://www.slideshare.net/databricks/bdtc2

我还找到了一些支持MongoDB是智能数据源的信息，因为它在“精通Apache Spark 2.x”一书中用作示例：

“智能数据源上的谓词下推智能数据源是那些通过防止不必要的数据被发送到Apache Spark，直接在自己的引擎中进行数据处理的数据源。

例如，一个带有智能数据源的关系型SQL数据库。考虑一个包含三列的表: column1、column2和column3，其中第三列包含时间戳。此外，考虑一个ApacheSparkSQL查询，该查询使用此JDBC数据源，但仅使用投影和选择访问列和行的子集。以下SQL查询就是此类任务的一个示例：

选择column2，column3 from选项卡，其中column3>1418812500

在智能数据源上运行，通过让SQL数据库根据时间戳对行进行筛选并删除column1，可以利用数据局部性。让我们看一个关于如何在Apache Spark MongoDB连接器中实现这一点的实际示例。“