设计数据密集型应用程序他说
批处理系统(离线系统)第10章:批处理系统需要大量的输入数据,运行一个作业来处理它,并产生一些输出数据。作业通常需要一段时间(从几分钟到几天),因此通常不会有用户等待作业完成。相反,批处理作业通常定期运行(例如,每天一次)。批处理作业的主要性能度量通常是吞吐量(处理特定大小的输入数据集所需的时间)。我们在第10章中讨论了批处理。流处理系统(近实时系统)第11章流处理介于在线处理和离线/批处理之间(因此有时被称为近实时或近线处理)。像批处理系统一样,流处理器消耗输入并产生输出(而不是响应请求)。然而,流作业在事件发生后不久就会运行,而批处理作业则在一组固定的输入数据上运行。这种差异使得流处理系统比等效批处理系统具有更低的延迟时间。当流处理建立在批处理的基础上,我们将在第11章中讨论它.
在第10章批处理系统概述中,
在本章中,我们探讨了批处理的主题。我们从
awk、grep和sort等Unix工具开始,我们看到了这些工具的设计理念是如何被传递到MapReduce和最近的数据流引擎中的。其中一些设计原则是输入是不可变的,输出是为了成为另一个程序的输入(到目前为止还不知道),复杂的问题可以通过组合“做好一件事”的小工具来解决。在Unix世界中,允许一个程序与另一个程序组成的统一接口是文件和管道;在MapReduce中,该接口是一个分布式文件系统。我们看到数据流引擎添加了它们自己的类似管道的数据传输机制,以避免将中间状态物化到分布式文件系统,但是作业的初始输入和最终输出仍然通常是HDFS。
批处理系统和流处理系统之间有什么区别和关系?具体来说
commandB | commandA。commandA是awk grep或sort时,它是一个批处理系统吗?为什么?commandA是cat时,它是一个批处理或流处理系统,为什么?谢谢。
发布于 2019-12-19 15:59:07
从以下几个主要方面来考虑其区别:
的关键特性
批处理通常是“带外”完成的,或者根本不是作为应用程序套件的核心组件构建的。注意:批量数据吞并、映射减少和将数据重组为一个新的查找表以便于稍后进行查询,这些都是批处理的示例。
流
的关键特性
流是应用程序套件的核心组件,虽然它可以异步处理记录,但处理是构建的核心特性。
这取决于问题的性质。流工作良好,轻量级的处理和接近实时的要求。批处理可以很好地处理重重计算,这些计算可能需要在其他数据的上下文中完成。
最大的问题是你的实际需求是什么?
希望您了解每一组背景处理可以执行的区别和问题类型。
发布于 2019-12-19 16:03:25
批处理系统和流处理系统之间的区别是正确的吗?
是也不是。批处理系统不需要在批处理开始时直接读取所有输入。但是,这是一个要求,软件可以假设所有的输入数据是存在于一个批的开始。
对于流处理系统,输入可以逐渐可用。
这些问题没有一个一般性的答案,因为它在很大程度上是由需要完成的处理来定义的。
例如,如果我有一个批处理作业来总结在第X天创建的日志,那么作业的大小是不可知的,但是,假设按时间顺序存储日志,作业一旦遇到日期X+1的日志条目,就完成了。如果文件系统报告输入的文件结束,那么批处理工作也就完成了。
以类似bash的shell中的程序和管道为例,commandB \ commandA。
根据您从书中引用的定义,判断它是批处理系统还是流处理系统取决于如何给出运行该管道的触发器。
如果触发器是周期性的或手动的,那么它将是批处理系统的一部分。如果触发器是新数据的到达,那么它将是流处理系统的一部分。
批处理系统和/或流处理系统是否都符合生产者-消费者模式?
批处理系统可以是生产者/消费者模式的生产者一方,但它们不适合消费者一方。
流处理系统可以存在于生产者/消费者模式的任何一方。具有新数据的生产者可以成为流处理系统处理更多数据的极好触发器。
https://softwareengineering.stackexchange.com/questions/402717
复制相似问题