首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >批处理系统和流处理系统之间有什么区别和关系?

问批处理系统和流处理系统之间有什么区别和关系?
EN

Software Engineering用户
提问于 2019-12-19 13:04:12
回答 2查看 679关注 0票数 5

设计数据密集型应用程序他说

批处理系统(离线系统)第10章:批处理系统需要大量的输入数据,运行一个作业来处理它,并产生一些输出数据。作业通常需要一段时间(从几分钟到几天),因此通常不会有用户等待作业完成。相反,批处理作业通常定期运行(例如,每天一次)。批处理作业的主要性能度量通常是吞吐量(处理特定大小的输入数据集所需的时间)。我们在第10章中讨论了批处理。流处理系统(近实时系统)第11章流处理介于在线处理和离线/批处理之间(因此有时被称为近实时或近线处理)。像批处理系统一样,流处理器消耗输入并产生输出(而不是响应请求)。然而,流作业在事件发生后不久就会运行,而批处理作业则在一组固定的输入数据上运行。这种差异使得流处理系统比等效批处理系统具有更低的延迟时间。当流处理建立在批处理的基础上,我们将在第11章中讨论它.

在第10章批处理系统概述中,

在本章中,我们探讨了批处理的主题。我们从awk、grep和sort等Unix工具开始,我们看到了这些工具的设计理念是如何被传递到MapReduce和最近的数据流引擎中的。其中一些设计原则是输入是不可变的,输出是为了成为另一个程序的输入(到目前为止还不知道),复杂的问题可以通过组合“做好一件事”的小工具来解决。在Unix世界中,允许一个程序与另一个程序组成的统一接口是文件和管道;在MapReduce中,该接口是一个分布式文件系统。我们看到数据流引擎添加了它们自己的类似管道的数据传输机制,以避免将中间状态物化到分布式文件系统,但是作业的初始输入和最终输出仍然通常是HDFS。

批处理系统和流处理系统之间有什么区别和关系?具体来说

  1. 批处理系统和流处理系统之间的区别是是正确的吗?
    • 批处理系统必须读取其整个输入才能开始处理输入?
    • 流处理系统可以处理部分输入,而不需要读取所有输入?

  2. 假设第1部分的答案是肯定的:
    • 批处理系统如何知道其输入的大小?批次处理系统如何知道它读取了所有的输入?
    • 流处理系统是如何知道在开始处理之前需要读取多少输入的?

  3. 以类似bash的shell中的程序和管道为例,commandB | commandA。
    • 当commandA是awk grep或sort时,它是一个批处理系统吗?为什么?
    • 当commandA是cat时,它是一个批处理或流处理系统,为什么?

  4. 批处理系统和/或流处理系统是否都符合生产者-消费者模式?

谢谢。

EN

回答 2

Software Engineering用户

发布于 2019-12-19 15:59:07

从以下几个主要方面来考虑其区别:

  • 批处理系统周期性地处理数据块(即批处理)。
  • 流系统在每条记录上工作,当它进来时。

批量加工

的关键特性

批处理通常是“带外”完成的,或者根本不是作为应用程序套件的核心组件构建的。注意:批量数据吞并、映射减少和将数据重组为一个新的查找表以便于稍后进行查询,这些都是批处理的示例。

  • 要处理的新数据的批处理轮询
  • 希望批处理将限制它一次处理的记录数量。
  • 批处理将定期进行,或者至少在应用程序的活动最低时进行。

流

的关键特性

流是应用程序套件的核心组件,虽然它可以异步处理记录,但处理是构建的核心特性。

  • 数据被推送到流处理器。
  • 如果队列长度太长,流处理应该能够扩展。
  • 流处理是在接收到数据时发生的,通常会放在队列上,以便在后台工作。

何时选择一个或另一个

这取决于问题的性质。流工作良好,轻量级的处理和接近实时的要求。批处理可以很好地处理重重计算,这些计算可能需要在其他数据的上下文中完成。

最大的问题是你的实际需求是什么?

  • 您是否必须在短时间内显示处理结果?(溪流)
  • 你能等几分钟、几个小时或几天才能得到处理结果吗?(批次)
  • 你收到的数据作为个人的观察,你必须总结?(溪流)
  • 或者几个小时后你会收到一堆文件的数据吗?(批次)

希望您了解每一组背景处理可以执行的区别和问题类型。

票数 2
EN

Software Engineering用户

发布于 2019-12-19 16:03:25

批处理系统和流处理系统之间的区别是正确的吗?

  • 批处理系统必须读取其整个输入才能开始处理输入?
  • 流处理系统可以处理部分输入,而不需要读取所有输入?

是也不是。批处理系统不需要在批处理开始时直接读取所有输入。但是,这是一个要求,软件可以假设所有的输入数据是存在于一个批的开始。

对于流处理系统,输入可以逐渐可用。

  • 批处理系统如何知道其输入的大小?批次处理系统如何知道它读取了所有的输入?
  • 流处理系统是如何知道在开始处理之前需要读取多少输入的?

这些问题没有一个一般性的答案,因为它在很大程度上是由需要完成的处理来定义的。

例如,如果我有一个批处理作业来总结在第X天创建的日志,那么作业的大小是不可知的,但是,假设按时间顺序存储日志,作业一旦遇到日期X+1的日志条目,就完成了。如果文件系统报告输入的文件结束,那么批处理工作也就完成了。

以类似bash的shell中的程序和管道为例,commandB \ commandA。

  • 当commandA是awk或sort时,它是一个批处理系统吗?为什么?
  • 当commandA是cat时,它是一个批处理或流处理系统,为什么?

根据您从书中引用的定义,判断它是批处理系统还是流处理系统取决于如何给出运行该管道的触发器。

如果触发器是周期性的或手动的,那么它将是批处理系统的一部分。如果触发器是新数据的到达,那么它将是流处理系统的一部分。

批处理系统和/或流处理系统是否都符合生产者-消费者模式?

批处理系统可以是生产者/消费者模式的生产者一方,但它们不适合消费者一方。

流处理系统可以存在于生产者/消费者模式的任何一方。具有新数据的生产者可以成为流处理系统处理更多数据的极好触发器。

票数 2
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/402717

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档