databricks结构化流:流体系结构上的可靠接收方在哪里？

Question

总之，尝试理解Databricks的结构化流体系结构。

​

这个架构图也与结构化流相关吗？

如果是这样的话，以下是我的问题：

Q1:我看到了这里，可靠的recievers.Where的概念，这些可靠的收信人是活的吗？司机或工人。换句话说，读取源发生在工人或司机？

Q2:正如我们在星火流官方图表中所看到的，接收者是一台接收记录的机器。因此，如果我们在EventHub源代码中有20个分区，那么我们是否受到驱动程序对最大并发读取的核心限制？换句话说，我们只能执行并发读取到源而不是并行？

Q3:与Q2相关，这是否意味着结构化流中的并行性只能用于处理？

下面是我的架构版本，如果需要修改，请告诉我。

​

提前谢谢。

Answer 1

根据我从星火流文档中的理解

回答Q1 :接收者生活在工作节点上

Q2的答案是:由于接收器是在工作人员上运行的，所以在集群的情况下，驱动程序的核心并不限制接收方。每个接收器占用一个核心，并由一个循环分配。

Q3的答案:读取并行可以通过增加源上的接收器/分区的数量来实现

这些信息被记录为这里

如果这不正确，请纠正我。谢谢。