Streamsets的示例Spark赋值器代码

Question

我正在尝试用Streamsets编写一个spark求值器。我必须处理复杂的SQL查询，因此我希望在这里使用数据框或数据集。但是Streamsets提供的示例代码只处理JavaRDD。我能否深入了解一下数据帧，以便在这里抢先一步？

Answer 1

几乎可以肯定，使用StreamSets Transformer会更好。Transformer具有更深层次的Spark集成，并将允许您使用原生Spark结构。