- 综合排序
- 最热优先
- 最新优先
- 来自专栏InvQ的专栏
RocketMQ消息高可靠详解
master和slave都可以提供读服务，但是只有master允许做写入操作，slave仅从master同步数据并不断上报自己的同步进度（slave自己的物理max offset）。
46040编辑于 2023-04-04 - 来自专栏星融元
从STP到去STP，园区网络高可靠技术的演进
为了保证网络的可靠性，我们往往会对关键链路进行冗余设计，而这难免就会产生一个封闭的物理环路，但是以太网的转发机制又决定了不能有物理环路，一有环路，发给所有主机的广播就会在环路反复传播，这便是广播风暴，此时网络及应用的访问将会变得缓慢 什么是STP（生成树协议）生成树协议是计算机网络中用于构建网络拓扑的一种协议。它通过选择网络中的某些连接来构建一个无环图，从而避免了网络中的环路，保证了网络的正常运行。 随着技术进步，人们逐渐开始采用可堆叠交换机和MC-LAG等方式来实现网络的高可靠，它们在一定程度上改善了网络环境，不过也带来了新的问题。 去STP/堆叠/MC-LAG的新一代高可靠园区网络设计为了追求网络的高可靠和高可用，大规模部署的二层以太网结构变得越来越复杂、但是健壮性变得越来越差，建设和维护成本都高居不下，那么有没有一种高可靠组网下的更简化的网络架构呢 图片云化园区网络架构从设计之处充分地考虑了环路规避、多路径转发、高可靠、多路径等因素，采用天然无环路的Leaf/Spine架构和轻量级的ECMP机制，基于L3的网络能力，在保证最高链路利用率和最低复杂度的前提下实现组网的可靠性
72320编辑于 2023-08-21 - 来自专栏桥路_大数据
Kafka如何保证数据高可靠
Kafka它本身其实不是一个金融级别数据可靠的分布式消息系统。 虽然说它存储到某个topic里的数据会先拆分多个partition，这体现了分治的一个思想。 虽然说性能会有下降，但是数据可靠性提高了。 因为返回ack的时候，其实数据已经在多个节点里了。任意一个节点挂掉，其实对系统是没有影响的。 当然每个产品有它自己的使用场景，Kafka本身就是用来抗压的，它的性能越高越好，数据可靠性的要求要低一些。 这个时候有的同学就很矛盾了，我既想用Kafka的这种高性能高吞吐，但是我又不希望它丢数，我们换一种思路该怎么办？ 依赖kafka的高性能同时，尽量减少对kafka数据可靠性的依赖，并协调生产者与消费者去保障数据问题，这种解决方案能够满足生产上多数需求。 那Kafka的数据可靠性，就聊到这里，谢谢大家。
42020编辑于 2023-10-16 - 来自专栏鹅厂网事
金城千里，稳如磐石——云网络高可靠路由平台实现
FCR在腾讯云网络中提供的路由服务对整个网络路由学习起到重要作用，因此在进行部署时，为了保证路由控制层面的可靠性，经常采用双邻居模式。但是这种双邻居架构在实际搭建网络时遇到了比较多的问题和挑战。 因此支持NSR功能在选择分布式数据库时，需要有以下优点： 读写性能高：单线程情况下可以达到10万条数据/秒，可以满足NSR数据设计要求； 高可靠性：有成熟的高可靠性方案，可以实时监控数据库异常情况； 开源可控 从上述实现方案可以看出，传统设备厂商NSR的复杂度是非常高的，在软件开发和后期功能维护时都需要投入大量的人力，同时由于NSR涉及组件很多，出问题后又较难复现和定位。 最后 本文讨论了云网络中路由协议的可靠性问题，以及互联网厂商与传统厂商实现NSR的差异；同时以腾讯云网络接入路由控制平台FCR为例讲解了在实践中的应用，也为后续持续演进提供了一些参考。 FCR作为一款互联网厂商自研的路由平台，在具备传统路由协议的功能的同时拥有互联网基因： 功能完备&高可靠性：适用于多种云网络场景，能够在快速开发迭代时保证高可靠性； 形态多样化：适应各种服务器，不仅可以单独发布
2.1K20发布于 2020-11-26 - 来自专栏一英里广度一英寸深度的学习
Kafka-0.10.0.0 集群高可靠实验
bin/zkServer.sh start zookeeper状态和高可靠 bin/zkServer.sh status 命令输出 ZooKeeper JMX enabled by default 至此，完成zookeeper的安装、集群配置以及集群可靠性验证。 二、Kafka安装 解压kafka-0.10.0.0到/opt/kafka路径中，3个主机组成Kafka集群。 三、Kafka可靠性验证 1.关闭broker0 bin/kafka-server-stop.sh 2.查看topic信息 Topic:exam2 PartitionCount:10 ReplicationFactor partion3 6 9发生同样的变化。 通过手动关闭进程的方式，实现了kafka高可用性、负载均衡。
93020发布于 2018-09-12 - 来自专栏一个执拗的后端搬砖工
高并发场景缓存真的可靠吗？
高并发场景缓存真的可靠吗？ ? 缓存提供的核心的能力是查询高性能与承受高qps，一般是纯内存(jvm缓存)或类内存(redis)操作，缓存 使用流程大概如图： ? 并且查询频率远大于更新频率，对于缓存的使用，大多数中小型应用使用以上图中所描述的链路基本不会存在什么问题，但是我们要思考一个问题，在并发很大的场景下，单纯的使用缓存来抵抗高qps真的可靠吗？ 在此处输入标题 在互联网大环境中，很多复杂的场景并不能单纯的依靠一种手段来做到尽善尽美，有时候几种技术实现融合到一起能够更好地解决问题，对于本篇所讲述的高并发场景下，单纯的依靠缓存来解决高QPS 问题其实是不可靠的，因为缓存实现层也不是无限的资源，这种情况下就需要根据应用服务器的承受能力，数据库层的处理能力以及缓存层的QPS流量限制，来对应用的处理能力做一个合理的评估，然后对超过处理能力的部分流量丢弃或者说削峰处理
1.4K30发布于 2020-11-19 Golang HTTP请求超时与重试：构建高可靠网络请求｜得物技术
一、序 言在分布式系统中，网络请求的可靠性直接决定了服务质量。 Golang标准库虽然提供了基础的HTTP客户端实现，但在高并发、高可用场景下，我们需要更精细化的策略来应对复杂的网络环境。 五、重试策略网络请求失败不可避免，但盲目重试可能加剧服务负载，甚至引发惊群效应。一个健壮的重试机制需要结合错误类型判断、退避算法和幂等性保证，在可靠性和服务保护间取得平衡。 创建操作：使用唯一索引（如订单号、外部交易号）删除操作：采用"标记删除"而非物理删除七、性能优化高并发场景下，HTTP客户端的性能瓶颈通常不在于网络延迟，而在于连接管理和内存分配。 构建高可靠的网络请求需要在超时控制、重试策略、幂等性保证和性能优化之间取得平衡。记住，在分布式系统中，超时和重试不是可选功能，而是生存必需。
36810编辑于 2025-11-18- 来自专栏腾讯技术工程官方号的专栏
Kafka 高可靠高性能原理探究
通过上述例子可以发现交易、支付等场景常需要异步解耦和削峰填谷功能解决问题，而交易、支付等场景对性能、可靠性要求特别高。那么，我们本文的主角 Kafka 能否满足相应要求呢？下面我们来探讨下。 Kafka 高可靠性探究 Kafka 高可靠性的核心是保证消息在传递过程中不丢失，涉及如下核心环节： 消息从生产者可靠地发送至 Broker；-- 网络、本地丢数据； 发送到 Broker 的消息可靠持久化 同步发送在一定程度上确保了我们在跨网络向 Broker 传输消息时，消息一定可以可靠地传输到 Broker。 注意：所有副本都有对应的 HW 和 LEO，只不过 Leader 副本比较特殊，Kafka 使用 Leader 副本的高水位来定义所在分区的高水位。 换句话说，分区的高水位就是其 Leader 副本的高水位。
1.9K43编辑于 2023-05-08 - 来自专栏about云
flume与kafka整合高可靠教程
6.如何测试整合配置是否成功？ kafka安装 flume与kafka整合很多人都用到，但是网上却没有一份详细可靠的教程。说的都是些只言片语。这里整理份flume与kafka整合的教程。 ZOOKEEPER_HOME=/data/zookeeper-3.4.6 export PATH=$ZOOKEEPER_HOME/bin:$PATH 然后执行以下命令：source ~/.bashrc 6. 而且很多人遇到过这种情况，网络都是通的，防火墙是关闭的，为何连接还是拒绝的，原因可能就是，服务根本没有启动。 上面有以前创建的内容，这里做一个测试，我们在增加一条 6. 添加文件到flume source目录 这个是在master上执行 echo -e "this is a test file! (kafka.consumer.ZookeeperConsumerConnector) 记得还有另外的错误就是如果未启动，生产者和消费者链接端口是拒绝的，这让很多人认为是网络问题。
2.3K90发布于 2018-03-26 - 来自专栏EAWorld
应用高可靠助力企业运维
在高并发场景下（如商品秒杀，抢票等），大量的请求会涌入web服务器中。如何防止业务无法按用户预期提供正常服务的问题，提高用户的使用体验，是所有服务器中间件都要面临的挑战。 提供应用在线率，出现问题快速解决，是提高用户体验的重要手段，应用高可靠性已经具有十分重要的意义。 应用高可靠有三大难点： 难点一：应用出现类冲突如何解决 比如，应用错误的引入了一个三方jar包的多个版本，或应用中不同的三方jar之中存在相同全限定名的类，这种存在的类冲突该如何解决。 针对该场景，通过PAS的长线程检测功能，及时发现耗时异常的业务，即时查找问题保证应用高可靠性。 Primeton APM V6可以协助用户基于中间件应用服务器进行应用性能分析，帮助用户更好的梳理系统拓扑。
1.4K50编辑于 2022-09-27 - 来自专栏加米谷大数据
Flume的高可靠，高性能和高扩展性
官网：https://flume.apache.org/ Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。 ? 每一个agent都由Source，Channel和Sink组成。 使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。 Sink Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。 这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。 ?
92320发布于 2018-07-25 - 来自专栏腾讯开源的专栏
【开源公告】“高可用、高吞吐、高可靠”分布式队列PhxQueue开源
PhxQueue PhxQueue 是微信开源的一款基于 Paxos 协议实现的高可用、高吞吐和高可靠的分布式队列，保证At-Least-Once Delivery，目前在微信内部广泛支持微信支付、 其设计出发点是高数据可靠性，且不失高可用和高吞吐，同时支持多种常见队列特性： * 同步刷盘，入队数据绝对不丢，自带内部实时对账 * 出入队严格有序 * 多订阅 * 出队限速 * 出队重放 * 所有模块均可平行扩展 * 存储层批量刷盘、同步，保证高吞吐 * 存储层支持同城多中心部署 * 存储层自动容灾/接入均衡 * 消费者自动容灾/负载均衡 高可用、高可靠、高性能的分布式队列PhxQueue正式开源 Github
1.1K61发布于 2018-03-02 - 来自专栏腾讯技术工程官方号的专栏
基于Flink的高可靠实时ETL系统
GIAC（GLOBAL INTERNET ARCHITECTURE CONFERENCE）是长期关注互联网技术与架构的高可用架构技术社区和msup推出的，面向架构师、技术负责人及高端技术从业人员的年度技术架构大会 今年的第六届GIAC大会上，在大数据架构专题，腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下为嘉宾演讲实录： ? 而在2017年，腾讯大数据基于Flink在易用性、可靠性和性能上的优势，通过Flink对TDBank的数据接入进行了重构。相比于Storm，Flink对state提供了更多的支持。 一方面Flink将程序的状态保存在本地的内存或者RocksDB中，用户不需要通过网络远程访问状态数据，因此可以获得较好的作业性能。 由于一般的指标系统并不能保证指标的时效性和正确性，因此我们也基于Flink实现了高可靠和强一致性的指标聚合。 ? 类似于数据链路，我们也采用Flink的checkpoint机制来保证指标数据的一致性。
1.8K50发布于 2020-09-01 - 来自专栏程序猿的大杂烩
搭建高可用高可靠的RabbitMQ镜像队列集群架构
100%数据可靠性解决方案一般是3节点以上） 在本文中将要搭建的RabbitMQ集群架构如下： ? ---- RabbitMQ集群整合负载均衡基础组件HAProxy 在上一小节中，我们搭建了RabbitMQ的镜像队列集群，虽然集群节点之间能够同步数据保证高可靠的存储了，但有个问题就是客户端通常只能连接集群中的其中一个节点 HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 它能够保证当个别节点宕机时，整个网络可以不间断地运行，所以Keepalived一方面具有配置管理LVS的功能，同时还具有对LVS下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用功能。 KeepAlived服务的三个重要功能： 管理LVS负载均衡软件 实现LVS集群节点的健康检查 作为系统网络服务的高可用性（failover） Keepalived高可用服务对节点之间的故障切换转移，是通过
2K10发布于 2020-12-01 Kafka高可用与可靠性深度解析：Reactor模式与网络层架构揭秘
在这种背景下，如何确保系统的高可用性和可靠性，不仅是一个技术问题，更是业务连续性的关键保障。 高可用性意味着系统能够在部分组件发生故障时继续提供服务，而可靠性则保证了消息的不丢失、不重复和有序传递。 Reactor模式基础：理解Kafka网络层的设计哲学 在分布式系统中，高效处理海量网络连接是保障高可用性和可靠性的核心挑战之一。 高可用性机制：Kafka如何保障系统可靠性 在Kafka的分布式架构中，高可用性和可靠性不仅依赖于高效的网络层处理，还通过多层次的机制协同实现。 Reactor模式作为底层网络通信的核心，为系统提供了非阻塞、事件驱动的处理能力，但这仅仅是保障可靠性的起点。 这种设计使得网络层具备弹性，能够容忍部分组件的失效，而整体服务仍保持可用。 此外，Kafka的高可用性还体现在其端到端的可靠性保障上。
22910编辑于 2025-11-28- 来自专栏SDNLAB
SRv6可靠性方案（二）
目前主要从事SR/SRv6协议以及5G切片相关技术的研究。自2017年起积极参与IETF标准创新工作，主导和参与SRv6可靠性保护，SRv6 Yang, 5G 切片，IGP协议等相关标准。 致力于通过SRv6协议创新支撑网络向5G，云化的演进。 李振斌 华为首席协议专家/IETF互联网架构委员会（IAB）委员。负责华为的IP协议研究和标准推动工作。 在过去六年内持续推动了SDN演进BGP/PCEP/Netconf/YANG的协议创新和标准化，当前研究的重点包括SRv6、网络智能、Telemetry、5G承载等。 本文为SRv6可靠性方案第二篇，第一篇详见：SRv6技术课堂：SRv6可靠性方案（一） 3 SRv6 Endpoint故障保护 在TE场景中，我们经常要约束中间的转发路径，会在报文中指定沿途要经过的节点或链路 （未完待续） 注：本公众号允许其他公众号或网络平台进行转载，但任何形式的转载需注明“文章转载自SDNLAB公众号”相关字样
2.3K20发布于 2019-12-26 - 来自专栏架构师之路
高并发、高可用、高可靠微服务架构7大顶级设计思维模型
《百万年薪架构师必备能力—亿级企业高可用高并发高可靠微服务架构设计与实践》。
1.2K30发布于 2021-04-22 - 来自专栏Java探索之路
Flume——高可用的、高可靠的、分布式日志收集系统
，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 这样配置可能会导致单点故障 , 因此可以配置高可用 流复用模式 Flume支持将事件流复用到一个或多个目的地。 Source可以监听一个或者多个网络端口，用于接受数据或者从本地文件系统中读取数据，每个Source必须至少连接一个Channel。 与Exec源不同，此源是可靠的，即使Flume重新启动或终止，它也不会丢失数据。为了获得这种可靠性，必须仅将不可变的唯一命名的文件放入Spooling目录中。 尽管有此源的可靠性保证，但是在某些情况下，如果发生某些下游故障，则事件可能会重复。这与Flume其他组件提供的保证是一致的。
2K30发布于 2020-07-24 - 来自专栏运维开发王义杰
理解CAP定理：构筑高可靠系统的基石
CAP定理揭示了在面临网络分区时，系统只能在一致性（Consistency）、可用性（Availability）和分区容忍性（Partition-tolerance）三者之间做出选择。 可用性（Availability） 可用性是指系统提供的服务必须始终保持可用状态，即使在面临网络分区或节点失败的情况下，系统也能及时响应客户端的请求。 分区容忍性（Partition-tolerance） 分区容忍性是指系统在网络分区（节点之间的通信断裂）的情况下，仍然能够继续提供服务。这是分布式系统中的一个基本需求，因为网络分区是不可避免的。 这种权衡选择对于系统的性能和可靠性具有直接的影响。 提高系统可靠性：通过理解CAP定理，我们能够更好地设计和选择合适的技术和策略来提高系统的可靠性。 总结 CAP定理是每一个希望建设高可靠、高性能分布式系统的系统运维人员和架构师必须掌握的基础理论。
48620编辑于 2023-11-07 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
相较于云端AI需要用户将数据发送到云端进行处理，存在网络稳定性、隐私安全等问题。 随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 LiveVideoStack：5G 高带宽、低时延，更多连接的特性为各行业的发展带来了新的变革。5G时代的来临将推动哪些AI应用场景的快速落地？ AI芯片除了要满足DSP对视频编解码的需求外，必定还需要支撑视频后处理的功能，因此对端侧的视频AI高算力需求是存在的。 所以可以同时克服高算力及低功耗两个截然不同方向的芯片能力，应该才能真正适应这变化万千的智能终端需求。
1.8K50发布于 2020-05-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号