在Apache和Apache中，“流”是什么意思？

Question

当我访问Apache火花流网站时，我看到了一个句子：

火花流使得构建可伸缩的容错流应用程序变得非常容易。

在Apache Flink网站上，有一句话：

Apache是一个可伸缩的批处理和流数据处理的开源平台。

streaming application和batch data processing，stream data processing是什么意思？你能给出一些具体的例子吗？它们是为传感器数据设计的吗？

Answer 1

流数据分析(与“批处理”数据分析相反)是指对典型的无限数据项流(通常称为事件)进行的连续分析。

流式应用的特点

流数据处理应用程序通常具有以下特点：

• 流应用程序连续运行很长时间，并在事件出现时立即使用和处理它们。相比之下。批处理应用程序在文件或数据库中收集数据，并在以后进行处理。
• 流应用程序常常关注结果的延迟。延迟是从创建事件到分析应用程序考虑到该事件的时间点之间的延迟。
• 由于流是无限的，许多计算不能引用整个流，而是引用流上的“窗口”。窗口是流事件的子序列的视图(例如最后5分钟)。一个真实世界窗口统计的例子是“过去3天的平均股价”。
• 在流应用程序中，事件的时间通常起着特殊的作用。在时间上解释事件的顺序是非常普遍的。虽然某些批处理应用程序也可以这样做，但它并不是一个核心概念。

流应用程序示例

流数据处理应用程序的典型示例如下

• 欺诈检测:应用程序试图确定一个事务是否符合以前观察到的行为。如果没有，则交易可能表明有人试图滥用。通常是非常延迟的关键应用程序。
• 异常检测:流应用程序建立它观察到的事件的统计模型。异常值表示异常，并可能触发警报。传感器数据可能是要分析异常的事件来源之一。
• 在线推荐人:如果在访问网店的用户上没有很多过去的行为信息，那么当她浏览网页和探索文章时，从她的行为中学习并开始直接生成一些初步建议是很有趣的。
• 最新的数据仓库:有关于如何将数据仓库基础设施建模为流应用程序的有趣文章，其中事件流是数据库的更改序列，流应用程序将各种仓库计算为事件流的专门“聚合视图”。
• 还有更多..。