- 综合排序
- 最热优先
- 最新优先
- 来自专栏包子铺里聊IT
5分钟深入 Hadoop 容错
今天我们聊聊另一个重要的话题：容错。 Why fault tolerant is necessary？ 所以任何数据处理架构必须有良好的容错机制！ 什么是容错？ 但是手动调节（一天的 job，一年的，一辈子的……）太累了…… 这才是业界说的容错！ Hadoop如何做到容错？ Hadoop 容错的核心就是我们在《5分钟深入Hadoop内核》中介绍的心跳机制。 这种情况 Hadoop 就没办法容错了，因为错误不是硬件的问题，而很有可能是用户代码本身的问题。
913100发布于 2018-04-19 - 来自专栏Ken的杂谈
Spring Cloud 入门教程5、服务容错监控：Hystrix Dashboard
Hystrix提供了监控页面，本篇主要介绍如何使用Hystrix Dashboard对服务的容错情况进行监控。 如果分别狂按F5快速访问这两个接口。这个圆心和曲线就会发生变化。 ? 这时候这个圆点比着上一张图已经变大了，服务依旧是健康状态，所以圆点还是绿色。 另外流量曲线随着刚才的快速刷新访问也升了上去。
1.5K10发布于 2018-09-11 - 来自专栏开源部署
Sqoop：容错
Sqoop本身的容错依赖于Hadoop，这里我们focus在Sqoop传输任务失败的处理，确切的说，focus在Sqoop如何解决传输任务失败引发的数据一致性问题 对于一个传输任务，将数据从A传输到B，
68410编辑于 2022-06-29 - 来自专栏从码农的全世界路过
容错处理
常见的容错机制一般有四种:fail-fast, fail-safe, fail-over, fail-back. 1.fail-fast 快速失败 fail-fast即为快速失败机制是Java集合中的一种保护机制 的哨兵集群自然是依赖哨兵节点; redis集群模式下的检测是依靠集群中的其他节点投票决定; keepalived下的双机热备也是依赖keepalived本身的定期检查; Hystrix的fallback处理. 5.
66650编辑于 2022-06-27 - 来自专栏开源部署
实现路由容错
1、实现路由容错 通过路由可以定义已知的规则，但不可能考虑到所有用户的所有请求，而且路由设计可能存在变更，网络等基础设施可能产生错误，所以需要进行路由容错。 路由容错主要通过未定义的路由和路由熔断来实现。 其包含多种默认方法来将Predicate组合成复杂的路由逻辑 spring.cloud.gateway.routes[0].predicates[0]=Path=/hello 2.2、编写路由容错控制器 eureka.client.service-url.defaultZone=http://eureka01:50025/eureka/,http://eureka02:50026//eureka/ 3.3、编写路由容错控制器
93420编辑于 2022-09-15 - 来自专栏机器学习初学者精选文章
【特征工程】不容错过的 5 种特征选择的方法！
特征选择有很多方法，在本文中我将介绍 Scikit-Learn 中 5 个方法，因为它们是最简单但却非常有用的，让我们开始吧。 5、顺序特征选择(SFS) 顺序特征选择是一种贪婪算法，用于根据交叉验证得分和估计量来向前或向后查找最佳特征，它是 Scikit-Learn 版本0.24中的新增功能。
1.4K21发布于 2021-04-16 - 来自专栏超级架构师
【韧性架构】让你的微服务容错的 5 种模式
在本文中，我将介绍微服务中的容错以及如何实现它。如果你在维基百科上查找它，你会发现以下定义： 容错是使系统在其某些组件发生故障时能够继续正常运行的属性。 我不会介绍 DB/LB 容错机制，因为它们是特定于供应商的，启用它们最终会设置一些属性或更改部署策略。 作为软件工程师，应用程序是我们拥有所有权力和责任的地方，所以让我们照顾好它。 相反，重试请求超时或 5xx 是好的。 采用错误预算——技术，当可重试错误率超过阈值时停止重试，例如如果与服务 D 的 20% 的交互导致错误，请停止重试并尝试优雅降级。
1.4K10编辑于 2022-06-08 - 来自专栏飞鸟的专栏
弹性和容错
弹性和容错是微服务架构中非常重要的两个方面，它们能够保证系统在面对各种异常和故障时仍能正常运行，并且能够快速恢复正常状态。在本文中，我们将详细介绍弹性和容错的概念、原理和实现方式。 1.3 弹性容错弹性容错指系统能够自动检测和处理各种异常和故障，以保证系统的可靠性和可用性。例如，系统可以自动切换到备用服务、自动恢复故障服务、自动重试失败请求等，以应对不同的异常情况和故障状况。 容错容错是指系统在面对各种异常和故障时，能够保证系统的可靠性和可用性。容错包括以下几个方面：2.1 异常处理异常处理指系统能够正确处理各种异常情况，避免系统崩溃或数据丢失。 实现方式弹性和容错的实现方式有很多种，其中比较常用的包括以下几个方面：3.1 负载均衡负载均衡是指将流量和请求分摊到不同的服务实例或节点上，以避免单点故障和流量瓶颈。 负载均衡可以通过软件或硬件实现，例如，Nginx、HAProxy、F5等软件和硬件负载均衡器。
1.4K31编辑于 2023-04-08 - 来自专栏互联网大杂烩
拜占庭容错机制
Client会发送一系列请求给各个replicas节点来执行相应的操作，BFT算法保证所有正常的replicas节点执行相同序列的操作。因为所有的replicas节点都是deterministic，而且初始状态都相同，根据状态机原理（state machine replication），这些replicas会产生相同的结果状态。当Client收到f+1个replicas节点返回的结果时，如果这些结果都一样，因为BFT算法确保了最多有f个replicas出现问题，所以至少有一个replicas是正确的，那么Client收到的这些结果都是正确的。
1K20发布于 2018-08-22 - 来自专栏移动端周边技术扩展
拜占庭容错算法
拜占庭容错算法不需要发行加密货币，但是只能用于私有链或者联盟链，需要对节点的加入进行权限控制；不能用于公有链，因为公有链中所有节点都可以随意加入退出，无法抵挡女巫攻击（sybil attack） 安全性
82230发布于 2018-10-10 YashanDB容错机制
其容错机制是确保系统稳定性和数据一致性的关键要素。下面是 YashanDB 容错机制的详细解析：1. 数据冗余与副本YashanDB 使用数据副本机制来确保数据的高可用性。 在容错时，分布式事务机制能确保数据在不同副本之间的一致性，即使某个节点发生故障，也能够保证事务的原子性。 5. 异地容灾YashanDB 支持异地容灾，即将数据分布在不同地理位置的多个数据中心。当某个数据中心出现故障时，其他数据中心依然可以提供服务，确保系统的可用性和容错能力。 这些日志不仅有助于故障排查，也有助于系统恢复和容错机制的优化。- 操作日志：记录每一次数据库操作，便于故障追踪和数据恢复。- 审计日志：记录数据库的安全操作，确保系统在容错时不被恶意破坏。 通过这些机制，YashanDB 能够确保在系统出现故障时快速恢复并维持高可用性，从而提升整个系统的稳定性和容错能力。
15410编辑于 2025-10-19- 来自专栏Java学习录
服务容错Hystrix
Hystrix是一个实现断路器模式的库。什么是断路器模式呢？就像我们家庭中的电闸一样，如果有那一处出现意外，那么电闸就会立刻跳闸来防止因为这一处意外而引起更大的事故，直到我们确认处理完那一处意外后才可以再打开电闸。而Hystrix的存在就是为了预防程序中出现这种问题而导致程序不可用的情况。
60600发布于 2019-04-18 - 来自专栏行者悟空
Spark的容错机制
容错体系概述 Spark以前的集群容错处理模型，像MapReduce，将计算转换为一个有向无环图（DAG）的任务集合，这样可以通过重复执行DAG里的一部分任务来完成容错恢复。 但是由于主要的数据存储在分布式文件系统中，没有提供其他存储的概念，容错过程需要在网络上进行数据复制，从而增加了大量的消耗。 对于窄依赖，只需要通过重新计算丢失的那一块数据来恢复，容错成本较小。但如果是宽依赖，则当容错重算分区时，因为父分区数据只有一部分是需要重算子分区的，其余数据重算就造成了冗余计算。 在有些场景的应用中，容错会更复杂，比如计费服务等，要求零丢失。还有在Spark支持的Streaming计算的应用场景中，系统的上游不断产生数据，容错过程可能造成数据丢失。 Master节点失效 Spark Master的容错分为两种情况：Standalone集群模式和单点模式。
2.4K40发布于 2018-06-22 - 来自专栏全栈程序员必看
Kafka容错性测试
杀死broker2模拟容错 [hadoop@hadoop000 tmp]$ kill -9 3310 #领导权已切换到关注者之一，并且节点2不再位于同步副本集中： [hadoop@hadoop000 broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic hello 至此说明 Kafka的容错性是完全有保障的
37330编辑于 2022-09-15 - 来自专栏维C果糖
Akka 指南 之「容错」
文章目录 容错 依赖 简介 实践中的故障处理 创建监督策略 默认监督策略 停止监督策略 记录 Actor 的失败 顶级 Actor 的监督者 测试应用 容错 依赖 容错（fault tolerance system; scala.concurrent.duration.Duration timeout = scala.concurrent.duration.Duration.create(5,
1.1K30发布于 2019-05-26 - 来自专栏Java编程技术
Dubbo剖析-集群容错
dubbo中当服务消费方调用服务提供方的服务出现错误时候，提供了多种容错方案，缺省为 failover 重试。 二、Dubbo集群容错模式 Failover Cluster 重试。 通常用于通知所有提供者更新缓存或日志等本地资源信息 三、原理 3.1何时加载集群容错扩展实现类 ? image.png 3.2 FailoverClusterInvoker原理 ? image.png 四、总结 dubbo本身提供了丰富的集群容错模式，如果您有定制化需求，可以根据dubbo提供的扩展接口进行定制。
84310发布于 2018-09-06 - 来自专栏新智元
KDnuggets 本月最受欢迎：5 个不容错过的机器学习项目
【新智元导读】受欢迎的机器学习项目很多，它们受欢迎的程度体现在在 GitHub 上获得的星数（Star）。新智元不久前介绍了 GitHub 上星数最多的16个深度学习应用项目，本文作者发掘了几个数据科学和机器学习被人错过的好项目。即使你不需要使用这些特定的工具，但检查它们的实现细节或项目的代码，可能带给你一些新的启发。 Hyperopt-sklearn Star：219 GitHub地址：https://github.com/hyperopt/hyperopt-sklearn Hyperopt-sklear
86371发布于 2018-03-27 - 来自专栏VRPinea
Facebook F8：关于Oculus VR，这5个话题你不容错过
Facebook年度开发者大会F8即将于美国时间4月18日-19日在加利福尼亚圣何塞McEnery会议中心正式开幕。这也是自GDC大会以来，首个或将打破VR行业近期平静态势的重大事件。 虽然Faceb
73060发布于 2018-05-16 - 来自专栏愿天堂没有BUG（公众号同名）
大牛带你深入解读微服务容错与隔离：SpringCloudHystrix容错框架
本文给大家讲解的内容是SpringCloudHystrix容错框架； Spring Cloud Hystrix容错框架 Hystrix中文名称为“豪猪”，平时性情温顺，在感受到危险时，用浑身长满的刺来保护自己 Hystrix同样是Netflix开源的一个分布式系统容错框架。 Spring Cloud将Hystrix的容错组件进行了自动化配置，在SpringCloud微服务架构中可以通过注解机制实现Hystrix与不同组件模块的联合使用，实现请求调用的容错处理。 fallback 3.异步Command，异步fallback 注意：异步fallbackMethod这里必须加@HystrixCommand注解，否则运行时会报错： 本文给大家讲解的内容是微服务容错与隔离 ：SpringCloudHystrix容错框架 下篇文章给大家讲解的内容是微服务容错与隔离：Hystrix的核心工作原理 觉得文章不错的朋友可以转发此文关注小编； 感谢大家的支持！
66520编辑于 2022-10-28 - 来自专栏爱撸猫的杰
Dubbo的容错机制原理
一 选择集群容错方式 集群容错机制是交由 org.apache.dubbo.rpc.cluster.Cluster 接口的子类处理，为了清楚该接口有哪些扩展类，不妨打开该类的 Dubbo SPI 配置文件 org.apache.dubbo.rpc.cluster.support.BroadcastCluster registryaware=org.apache.dubbo.rpc.cluster.support.RegistryAwareCluster 1 2 3 4 5 Cluster { @Adaptive <T> Invoker<T> join(Directory<T> directory) throws RpcException; } 1 2 3 4 5 二 前置动作 集群容错真正发生在消费端。当消费端发起调用时，会先从服务目录查询满足需求的服务提供者信息，在此基础上进行路由，路由后的结果才会真正进行容错处理。 TODO 其他的容错机制原理待补充。
98110发布于 2021-03-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号