首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据

    Flink实战(10)-checkpoint容错保证

    4 Checkpoint V.S SavepointCheckpoint 是 自动容错恢复机制,Savepoint 某个时间点的全局状态镜像Checkpoint 是 Flink 系统行为 。 9 Data Source 和 Sink 的容错保证当程序出现错误的时候,Flink 的容错机制能恢复并继续运行程序。这种错误包括机器硬件故障、网络故障、瞬态程序故障等。

    58800编辑于 2024-08-06
  • 来自专栏新智元

    【荐读】不容错过的机器学习经典好文 Top 10

    【新智元导读】本文精选10篇2016年的经典机器学习相关文章,既有大牛写的深度好文,也有“神经网络动物园”这类的有趣小文,值得收藏研读。 去年,Mybridge对近14,500篇机器学习文章进行了筛选排名最终选出了10篇文章(入选几率为0.069%),旨在帮助读者在2017年提升职业生涯到一个台阶。 排名10:改变一切的神经网络 由Computerphile和诺丁汉大学的Mike Pound博士提供:http://t.cn/RJk8aTP ? 原文地址:https://medium.mybridge.co/machine-learning-top-10-of-the-year-v-2017-7552599935c0#.1xkxiyeyg

    66070发布于 2018-03-27
  • 来自专栏开源部署

    Sqoop:容错

    Sqoop本身的容错依赖于Hadoop,这里我们focus在Sqoop传输任务失败的处理,确切的说,focus在Sqoop如何解决传输任务失败引发的数据一致性问题 对于一个传输任务,将数据从A传输到B,

    68410编辑于 2022-06-29
  • 来自专栏从码农的全世界路过

    容错处理

    常见的容错机制一般有四种:fail-fast, fail-safe, fail-over, fail-back. 1.fail-fast 快速失败 fail-fast即为快速失败机制是Java集合中的一种保护机制 @Test public void testFailFast() { Listlist =new ArrayList<>(); for (int i = 0; i < 10; i++) { @Test public void testFailSafe2() { Listlist =new CopyOnWriteArrayList<>(); for (int i = 0; i < 10

    66650编辑于 2022-06-27
  • 来自专栏开源部署

    实现路由容错

    1、实现路由容错 通过路由可以定义已知的规则,但不可能考虑到所有用户的所有请求,而且路由设计可能存在变更,网络等基础设施可能产生错误,所以需要进行路由容错。 路由容错主要通过未定义的路由和路由熔断来实现。 其包含多种默认方法来将Predicate组合成复杂的路由逻辑 spring.cloud.gateway.routes[0].predicates[0]=Path=/hello 2.2、编写路由容错控制器 eureka.client.service-url.defaultZone=http://eureka01:50025/eureka/,http://eureka02:50026//eureka/ 3.3、编写路由容错控制器

    93420编辑于 2022-09-15
  • 来自专栏博文视点Broadview

    书单 | 今年有10本数据分析好书不容错过!

    所以,本期书单就和大家分享10本今年出版的数据分析好书,希望可以帮助你有效地利用数据分析,让数据更好地展示给大家! 自动化办公轻松实战》 朱鹏伟(朱小五),黄伟 著 Excel/Word/PPT/PDF处理、数据分析、图片处理、文件处理、即时通信…… 100+Python知识点图解 30+Python自动化办公案例 10 作者集多年运营公众号的心得,通过与大量读者的实际互动,了解他们的真实需求,针对大家在学习和工作中经常遇到的问题,于本书中浓缩了Python的最常用知识点,以及30多个 Python 自动化办公案例、10 10 ▊《Microsoft365+Power Platform企业数字化转型全攻略》 王凤辉,韩家旺 著 首本关于Microsoft 365全平台应用的书籍 它不仅仅是一本产品工具书,也是一种基于

    2.1K10编辑于 2022-09-20
  • 来自专栏飞鸟的专栏

    弹性和容错

    弹性和容错是微服务架构中非常重要的两个方面,它们能够保证系统在面对各种异常和故障时仍能正常运行,并且能够快速恢复正常状态。在本文中,我们将详细介绍弹性和容错的概念、原理和实现方式。 1.3 弹性容错弹性容错指系统能够自动检测和处理各种异常和故障,以保证系统的可靠性和可用性。例如,系统可以自动切换到备用服务、自动恢复故障服务、自动重试失败请求等,以应对不同的异常情况和故障状况。 容错容错是指系统在面对各种异常和故障时,能够保证系统的可靠性和可用性。容错包括以下几个方面:2.1 异常处理异常处理指系统能够正确处理各种异常情况,避免系统崩溃或数据丢失。 实现方式弹性和容错的实现方式有很多种,其中比较常用的包括以下几个方面:3.1 负载均衡负载均衡是指将流量和请求分摊到不同的服务实例或节点上,以避免单点故障和流量瓶颈。

    1.4K31编辑于 2023-04-08
  • 来自专栏互联网大杂烩

    拜占庭容错机制

    Client会发送一系列请求给各个replicas节点来执行相应的操作,BFT算法保证所有正常的replicas节点执行相同序列的操作。因为所有的replicas节点都是deterministic,而且初始状态都相同,根据状态机原理(state machine replication),这些replicas会产生相同的结果状态。当Client收到f+1个replicas节点返回的结果时,如果这些结果都一样,因为BFT算法确保了最多有f个replicas出现问题,所以至少有一个replicas是正确的,那么Client收到的这些结果都是正确的。

    1K20发布于 2018-08-22
  • 来自专栏移动端周边技术扩展

    拜占庭容错算法

    拜占庭容错算法不需要发行加密货币,但是只能用于私有链或者联盟链,需要对节点的加入进行权限控制;不能用于公有链,因为公有链中所有节点都可以随意加入退出,无法抵挡女巫攻击(sybil attack) 安全性

    82230发布于 2018-10-10
  • YashanDB容错机制

    容错机制是确保系统稳定性和数据一致性的关键要素。下面是 YashanDB 容错机制的详细解析:1. 数据冗余与副本YashanDB 使用数据副本机制来确保数据的高可用性。 在容错时,分布式事务机制能确保数据在不同副本之间的一致性,即使某个节点发生故障,也能够保证事务的原子性。 这些日志不仅有助于故障排查,也有助于系统恢复和容错机制的优化。- 操作日志:记录每一次数据库操作,便于故障追踪和数据恢复。- 审计日志:记录数据库的安全操作,确保系统在容错时不被恶意破坏。 总结YashanDB 的容错机制涉及到多个方面,包括数据冗余、自动故障转移、分布式事务、一致性恢复、异地容灾、监控告警等。 通过这些机制,YashanDB 能够确保在系统出现故障时快速恢复并维持高可用性,从而提升整个系统的稳定性和容错能力。

    15410编辑于 2025-10-19
  • 来自专栏Java学习录

    服务容错Hystrix

    Hystrix是一个实现断路器模式的库。什么是断路器模式呢?就像我们家庭中的电闸一样,如果有那一处出现意外,那么电闸就会立刻跳闸来防止因为这一处意外而引起更大的事故,直到我们确认处理完那一处意外后才可以再打开电闸。而Hystrix的存在就是为了预防程序中出现这种问题而导致程序不可用的情况。

    60700发布于 2019-04-18
  • 来自专栏行者悟空

    Spark的容错机制

    容错体系概述 Spark以前的集群容错处理模型,像MapReduce,将计算转换为一个有向无环图(DAG)的任务集合,这样可以通过重复执行DAG里的一部分任务来完成容错恢复。 但是由于主要的数据存储在分布式文件系统中,没有提供其他存储的概念,容错过程需要在网络上进行数据复制,从而增加了大量的消耗。 对于窄依赖,只需要通过重新计算丢失的那一块数据来恢复,容错成本较小。但如果是宽依赖,则当容错重算分区时,因为父分区数据只有一部分是需要重算子分区的,其余数据重算就造成了冗余计算。 在有些场景的应用中,容错会更复杂,比如计费服务等,要求零丢失。还有在Spark支持的Streaming计算的应用场景中,系统的上游不断产生数据,容错过程可能造成数据丢失。 Master节点失效 Spark Master的容错分为两种情况:Standalone集群模式和单点模式。

    2.4K40发布于 2018-06-22
  • 来自专栏Go语言学习专栏

    2026年不容错过的10个GitHub高星开源项目盘点

    我从自己的Star列表里精选了10个项目,它们让我感到兴奋,也让我看到了未来。 AI & Agent 领域:从“玩具”到“工具” 首先让我眼前一亮的是 OpenDevin-Next。 这种对开发者的尊重,让它在GitHub上拿到了10万个Star,我觉得实至名归。 ️ 基础设施 & 工具:开发者的瑞士军刀 在工具链方面,Zed-Extensions 必须榜上有名。

    1.2K10编辑于 2026-03-17
  • 来自专栏无原型不设计

    【干货】不容错过!前端工程师必备的10款优质工具

    今天就为大家介绍10款优秀的前端开发工具,学会使用这些工具,不仅能提高开发效率,还能更清晰地将自己的研发思路呈现出来。 1. 功能特色: 极高的安全性 APP体积小 数据同步流畅无冲突 不限制私有仓库数量和流量 10.项目管理 - Trello Trello 是一款灵活易用的项目管理工具,非常适合作为看板和 更直观的资料与任务分类 更清晰的便利贴式任务呈现 操作便利,拖曳即可整理分类与管理进度 可以新增丰富的卡片内容 支持颜色标签、特殊印章 简单易懂、即时同步、多人管理 以上是小摹精心整理的10

    2.5K20发布于 2020-12-25
  • 来自专栏全栈程序员必看

    Kafka容错性测试

    杀死broker2模拟容错 [hadoop@hadoop000 tmp]$ kill -9 3310 #领导权已切换到关注者之一,并且节点2不再位于同步副本集中: [hadoop@hadoop000 broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic hello 至此说明 Kafka的容错性是完全有保障的

    37330编辑于 2022-09-15
  • 来自专栏维C果糖

    Akka 指南 之「容错

    文章目录 容错 依赖 简介 实践中的故障处理 创建监督策略 默认监督策略 停止监督策略 记录 Actor 的失败 顶级 Actor 的监督者 测试应用 容错 依赖 容错(fault tolerance 为了演示,让我们考虑以下策略: private static SupervisorStrategy strategy = new OneForOneStrategy( 10, 在上面的示例中,10和Duration.create(1, TimeUnit.MINUTES)分别传递给maxNrOfRetries和withinTimeRange参数,这意味着策略每分钟重新启动一个子级最多 10次。 AbstractActor { private static SupervisorStrategy strategy = new OneForOneStrategy( 10

    1.1K30发布于 2019-05-26
  • 来自专栏Java编程技术

    Dubbo剖析-集群容错

    dubbo中当服务消费方调用服务提供方的服务出现错误时候,提供了多种容错方案,缺省为 failover 重试。 二、Dubbo集群容错模式 Failover Cluster 重试。 通常用于通知所有提供者更新缓存或日志等本地资源信息 三、原理 3.1何时加载集群容错扩展实现类 ? image.png 3.2 FailoverClusterInvoker原理 ? image.png 四、总结 dubbo本身提供了丰富的集群容错模式,如果您有定制化需求,可以根据dubbo提供的扩展接口进行定制。

    84310发布于 2018-09-06
  • 来自专栏自动化办公

    容错过!10个Python自动化办公库免费送!(上)

    本次内容涵盖了Excel、Word、PPT、PDF、微信、文件处理等所有能在办公场景实现自动化的库,希望能够对大家有所帮助。

    957150编辑于 2023-07-15
  • 来自专栏愿天堂没有BUG(公众号同名)

    大牛带你深入解读微服务容错与隔离:SpringCloudHystrix容错框架

    本文给大家讲解的内容是SpringCloudHystrix容错框架; Spring Cloud Hystrix容错框架 Hystrix中文名称为“豪猪”,平时性情温顺,在感受到危险时,用浑身长满的刺来保护自己 Hystrix同样是Netflix开源的一个分布式系统容错框架。 Spring Cloud将Hystrix的容错组件进行了自动化配置,在SpringCloud微服务架构中可以通过注解机制实现Hystrix与不同组件模块的联合使用,实现请求调用的容错处理。 fallback 3.异步Command,异步fallback 注意:异步fallbackMethod这里必须加@HystrixCommand注解,否则运行时会报错: 本文给大家讲解的内容是微服务容错与隔离 :SpringCloudHystrix容错框架 下篇文章给大家讲解的内容是微服务容错与隔离:Hystrix的核心工作原理 觉得文章不错的朋友可以转发此文关注小编; 感谢大家的支持!

    66520编辑于 2022-10-28
  • 来自专栏爱撸猫的杰

    Dubbo的容错机制原理

    一 选择集群容错方式  集群容错机制是交由 org.apache.dubbo.rpc.cluster.Cluster 接口的子类处理,为了清楚该接口有哪些扩展类,不妨打开该类的 Dubbo SPI 配置文件 org.apache.dubbo.rpc.cluster.support.BroadcastCluster registryaware=org.apache.dubbo.rpc.cluster.support.RegistryAwareCluster 1 2 3 4 5 6 7 8 9 10  理论上来说,Dubbo 的集群容错机制就有以上 10 种,且还可从 Cluster 接口上的 @SPI 可知,其默认的扩展类为 FailoverCluster。 二 前置动作  集群容错真正发生在消费端。当消费端发起调用时,会先从服务目录查询满足需求的服务提供者信息,在此基础上进行路由,路由后的结果才会真正进行容错处理。 TODO  其他的容错机制原理待补充。

    98110发布于 2021-03-09
领券