段如何发送到Apache Pinot中的离线服务器？

Question

我们可以在Apache Pinot集群之外创建细分市场。那很好。但我不明白它是如何从深度存储上载数据段到离线服务器的。例如,

我将数据段写入Hdfs。然后我调用段tar push job。如果我没理解错，segmenttarpushjob作业从深度存储(S3)下载创建的段，然后它通过rest api将段上传到控制器，而控制器将段发送到离线服务器。

这个过程会不会在向控制器发送数据段时造成瓶颈？如果离线服务器直接从深度存储下载数据段，会发生什么情况？

Answer 1

有两种方法可以将数据推送到Pinot控制器

基于

1. URI :在这种模式下，调用方只提供段URI和段元数据。如果没有提供段元数据，控制器将获取段并提取元数据。控制器需要用于验证目的的元数据。在此模式下，服务器将直接从深度存储
2. 有效负载中提取段:在此模式下，调用者将段tarball作为有效负载发送，控制器将此段tarball存储在其dataDir中(这可以是NFS或深度存储)。控制器更新zookeeper中的段元数据以指示段的位置。服务器使用元数据中的位置来获取数据段

Answer 2

这里有一个视频解释了Apache Pinot离线表中的段分配的细节：https://youtu.be/HycNRCzkrjg它演示了当段被上传到深度存储时发生的步骤:控制器通知->段分配计算->服务器下载段。