首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >检查点在Apache上做什么?

问检查点在Apache上做什么?
EN

Stack Overflow用户
提问于 2016-04-14 19:34:14
回答 1查看 1.2K关注 0票数 2

对于Apache,检查点是做什么的,它在RAM或CPU上会受到什么影响吗?

EN

回答 1

Stack Overflow用户

发布于 2016-04-14 19:52:24

从Apache流文档 -希望它可以帮助:

流应用程序必须24/7操作,因此必须能够抵御与应用程序逻辑无关的故障(例如,系统故障、JVM崩溃等)。要做到这一点,星火流需要检查足够的信息到一个容错存储系统,以便它可以从故障中恢复。有两种类型的数据是检查点的。

  • 元数据检查点-将定义流计算的信息保存到诸如HDFS这样的容错存储中。这用于从运行流应用程序驱动程序的节点的故障中恢复(稍后将详细讨论)。元数据包括:
    • Configuration -用于创建流应用程序的配置。
    • DStream操作-定义流应用程序的一组DStream操作。
    • 不完全批次
    • 任务排队但尚未完成的批处理。

​

  • 数据检查点-将生成的RDDs保存到可靠的存储。这在跨多个批合并数据的一些有状态转换中是必要的。在这种转换中,生成的RDDs依赖于以前批的RDD,这导致依赖链的长度随着时间的推移而不断增加。为了避免恢复时间的无界增加(与依赖链成比例),定期检查有状态转换的中间RDDs到可靠存储(例如HDFS)以切断依赖链。

总之,元数据检查点主要用于从驱动程序故障中恢复,而即使使用有状态转换,数据或RDD检查点也是必要的。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36632356

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档