使用Spark3.2连续摄取三角洲湖泊的IoT数据

Question

是否可以直接使用org.apache.spark.sql.delta.sources.DeltaDataSource在附加模式下连续摄取数据？

还有其他更合适的方法吗？我关心的是延迟和扩展性，因为每个振动传感器的数据采集频率可达30 KHz，其中有几个，我需要在Delta记录原始数据，以便进行FFT和小波分析等。

在我的体系结构中，数据摄取是在星火应用程序中连续进行的，而分析则是在另一个具有按需查询的独立星火应用程序中执行的。

如果Delta没有解决方案，那么Apache的解决方案将有效，因为它可以从存储在Parquet数据集中的数据创建Delta中的数据集。

Answer 1

是的，这是可能的，而且效果很好。对于流式体系结构，Delta有几个优点：

• 您不存在在流工作负载中经常出现的“小文件问题”--您不需要列出所有数据文件来查找新文件(比如Parquet或其他数据源)--所有数据都记录在事务日志中
• 您的消费者看不到部分写入，因为Delta提供了事务性功能
• 流工作负载是三角洲本地支持
• 即使是流工作负载，也可以执行删除/更新/合并--使用Parquet是不可能的

你可以用.format("delta")代替全类名。