- 综合排序
- 最热优先
- 最新优先
- 来自专栏InvQ的专栏
RocketMQ消息高可靠详解
master和slave都可以提供读服务，但是只有master允许做写入操作，slave仅从master同步数据并不断上报自己的同步进度（slave自己的物理max offset）。
46040编辑于 2023-04-04 - 来自专栏用户10616523的专栏
构建可靠的socks5代理网络
一个可靠且高效的socks5代理网络可以为用户提供匿名性、安全性和地理突破等功能，同时对于提高网络性能和保护隐私也起着关键作用。 在网络工程领域中，构建一个可靠的socks5代理网络对于提供安全、高效的网络访问具有重要意义。 创新实践：构建高可用的socks5代理网络 2.1 分布式架构：采用分布式架构是构建高可用socks5代理网络的关键。 影响力分析：socks5代理网络的热度与认可度 3.1 技术影响力：构建高可用的socks5代理网络是网络工程师关注的重点领域。 通过介绍创新的实践方法和关键技术，本文能够为网络工程师提供具体的指导和实施方案，受到广泛认可。3.2 应用影响力：可靠的socks5代理网络在企业、组织和个人用户中具有广泛的应用。
49110编辑于 2023-07-04 - 来自专栏星融元
从STP到去STP，园区网络高可靠技术的演进
为了保证网络的可靠性，我们往往会对关键链路进行冗余设计，而这难免就会产生一个封闭的物理环路，但是以太网的转发机制又决定了不能有物理环路，一有环路，发给所有主机的广播就会在环路反复传播，这便是广播风暴，此时网络及应用的访问将会变得缓慢 什么是STP（生成树协议）生成树协议是计算机网络中用于构建网络拓扑的一种协议。它通过选择网络中的某些连接来构建一个无环图，从而避免了网络中的环路，保证了网络的正常运行。 随着技术进步，人们逐渐开始采用可堆叠交换机和MC-LAG等方式来实现网络的高可靠，它们在一定程度上改善了网络环境，不过也带来了新的问题。 去STP/堆叠/MC-LAG的新一代高可靠园区网络设计为了追求网络的高可靠和高可用，大规模部署的二层以太网结构变得越来越复杂、但是健壮性变得越来越差，建设和维护成本都高居不下，那么有没有一种高可靠组网下的更简化的网络架构呢 图片云化园区网络架构从设计之处充分地考虑了环路规避、多路径转发、高可靠、多路径等因素，采用天然无环路的Leaf/Spine架构和轻量级的ECMP机制，基于L3的网络能力，在保证最高链路利用率和最低复杂度的前提下实现组网的可靠性
72320编辑于 2023-08-21 - 来自专栏桥路_大数据
Kafka如何保证数据高可靠
Kafka它本身其实不是一个金融级别数据可靠的分布式消息系统。 虽然说它存储到某个topic里的数据会先拆分多个partition，这体现了分治的一个思想。 虽然说性能会有下降，但是数据可靠性提高了。 因为返回ack的时候，其实数据已经在多个节点里了。任意一个节点挂掉，其实对系统是没有影响的。 当然每个产品有它自己的使用场景，Kafka本身就是用来抗压的，它的性能越高越好，数据可靠性的要求要低一些。 这个时候有的同学就很矛盾了，我既想用Kafka的这种高性能高吞吐，但是我又不希望它丢数，我们换一种思路该怎么办？ 依赖kafka的高性能同时，尽量减少对kafka数据可靠性的依赖，并协调生产者与消费者去保障数据问题，这种解决方案能够满足生产上多数需求。 那Kafka的数据可靠性，就聊到这里，谢谢大家。
42020编辑于 2023-10-16 - 来自专栏鹅厂网事
金城千里，稳如磐石——云网络高可靠路由平台实现
FCR在腾讯云网络中提供的路由服务对整个网络路由学习起到重要作用，因此在进行部署时，为了保证路由控制层面的可靠性，经常采用双邻居模式。但是这种双邻居架构在实际搭建网络时遇到了比较多的问题和挑战。 需要备份和还原的主要数据及性能要求主要有： 路由数据：百万级BGP路由信息的读写数据库，性能要达到50K/秒； 会话信息：BGP会话信息和TCP相关数据在倒换过程中备份和还原,支持万级以上邻居时整体时间不能高于5秒 因此支持NSR功能在选择分布式数据库时，需要有以下优点： 读写性能高：单线程情况下可以达到10万条数据/秒，可以满足NSR数据设计要求； 高可靠性：有成熟的高可靠性方案，可以实时监控数据库异常情况； 开源可控 最后 本文讨论了云网络中路由协议的可靠性问题，以及互联网厂商与传统厂商实现NSR的差异；同时以腾讯云网络接入路由控制平台FCR为例讲解了在实践中的应用，也为后续持续演进提供了一些参考。 FCR作为一款互联网厂商自研的路由平台，在具备传统路由协议的功能的同时拥有互联网基因： 功能完备&高可靠性：适用于多种云网络场景，能够在快速开发迭代时保证高可靠性； 形态多样化：适应各种服务器，不仅可以单独发布
2.1K20发布于 2020-11-26 - 来自专栏一英里广度一英寸深度的学习
Kafka-0.10.0.0 集群高可靠实验
bin/zkServer.sh start zookeeper状态和高可靠 bin/zkServer.sh status 命令输出 ZooKeeper JMX enabled by default 至此，完成zookeeper的安装、集群配置以及集群可靠性验证。 二、Kafka安装 解压kafka-0.10.0.0到/opt/kafka路径中，3个主机组成Kafka集群。 0,2 Topic: exam2 Partition: 4 Leader: 1 Replicas: 1,0 Isr: 0,1 Topic: exam2 Partition: 5 三、Kafka可靠性验证 1.关闭broker0 bin/kafka-server-stop.sh 2.查看topic信息 Topic:exam2 PartitionCount:10 ReplicationFactor 通过手动关闭进程的方式，实现了kafka高可用性、负载均衡。
93020发布于 2018-09-12 - 来自专栏一个执拗的后端搬砖工
高并发场景缓存真的可靠吗？
高并发场景缓存真的可靠吗？ ? 缓存提供的核心的能力是查询高性能与承受高qps，一般是纯内存(jvm缓存)或类内存(redis)操作，缓存 使用流程大概如图： ? 并且查询频率远大于更新频率，对于缓存的使用，大多数中小型应用使用以上图中所描述的链路基本不会存在什么问题，但是我们要思考一个问题，在并发很大的场景下，单纯的使用缓存来抵抗高qps真的可靠吗？ 在此处输入标题 在互联网大环境中，很多复杂的场景并不能单纯的依靠一种手段来做到尽善尽美，有时候几种技术实现融合到一起能够更好地解决问题，对于本篇所讲述的高并发场景下，单纯的依靠缓存来解决高QPS 问题其实是不可靠的，因为缓存实现层也不是无限的资源，这种情况下就需要根据应用服务器的承受能力，数据库层的处理能力以及缓存层的QPS流量限制，来对应用的处理能力做一个合理的评估，然后对超过处理能力的部分流量丢弃或者说削峰处理
1.4K30发布于 2020-11-19 Golang HTTP请求超时与重试：构建高可靠网络请求｜得物技术
一、序 言在分布式系统中，网络请求的可靠性直接决定了服务质量。 Golang标准库虽然提供了基础的HTTP客户端实现，但在高并发、高可用场景下，我们需要更精细化的策略来应对复杂的网络环境。 五、重试策略网络请求失败不可避免，但盲目重试可能加剧服务负载，甚至引发惊群效应。一个健壮的重试机制需要结合错误类型判断、退避算法和幂等性保证，在可靠性和服务保护间取得平衡。 错误最多重试3次，对429错误使用Retry-After头指定的间隔，对网络错误使用指数退避（初始100ms，最大5秒）。 构建高可靠的网络请求需要在超时控制、重试策略、幂等性保证和性能优化之间取得平衡。记住，在分布式系统中，超时和重试不是可选功能，而是生存必需。
36810编辑于 2025-11-18- 来自专栏腾讯技术工程官方号的专栏
Kafka 高可靠高性能原理探究
通过上述例子可以发现交易、支付等场景常需要异步解耦和削峰填谷功能解决问题，而交易、支付等场景对性能、可靠性要求特别高。那么，我们本文的主角 Kafka 能否满足相应要求呢？下面我们来探讨下。 Kafka 高可靠性探究 Kafka 高可靠性的核心是保证消息在传递过程中不丢失，涉及如下核心环节： 消息从生产者可靠地发送至 Broker；-- 网络、本地丢数据； 发送到 Broker 的消息可靠持久化 同步发送在一定程度上确保了我们在跨网络向 Broker 传输消息时，消息一定可以可靠地传输到 Broker。 之间的消息为已提交消息，5 至 7 的消息为未提交消息。 换句话说，分区的高水位就是其 Leader 副本的高水位。
1.9K43编辑于 2023-05-08 - 来自专栏about云
flume与kafka整合高可靠教程
5.flume在kafka中扮演什么角色？ 6.如何测试整合配置是否成功？ kafka安装 flume与kafka整合很多人都用到，但是网上却没有一份详细可靠的教程。说的都是些只言片语。 tar -zxvf ~/jar/zookeeper-3.4.6.tar.gz -C /data 网盘下载 链接: https://pan.baidu.com/s/1i50vzb3 密码: p5s5 echo "3" >/data/zk_data/myid 5. 而且很多人遇到过这种情况，网络都是通的，防火墙是关闭的，为何连接还是拒绝的，原因可能就是，服务根本没有启动。 (kafka.consumer.ZookeeperConsumerConnector) 记得还有另外的错误就是如果未启动，生产者和消费者链接端口是拒绝的，这让很多人认为是网络问题。
2.3K90发布于 2018-03-26 - 来自专栏EAWorld
应用高可靠助力企业运维
在高并发场景下（如商品秒杀，抢票等），大量的请求会涌入web服务器中。如何防止业务无法按用户预期提供正常服务的问题，提高用户的使用体验，是所有服务器中间件都要面临的挑战。 提供应用在线率，出现问题快速解决，是提高用户体验的重要手段，应用高可靠性已经具有十分重要的意义。 应用高可靠有三大难点： 难点一：应用出现类冲突如何解决 比如，应用错误的引入了一个三方jar包的多个版本，或应用中不同的三方jar之中存在相同全限定名的类，这种存在的类冲突该如何解决。 本文将以运维的角度介绍如何解决普元应用服务器（PAS）在应用部署，运行时遇到类冲突问题，应用运行时出现问题如何定位，来保证应用运行时的高可靠性。 针对该场景，通过PAS的长线程检测功能，及时发现耗时异常的业务，即时查找问题保证应用高可靠性。
1.4K50编辑于 2022-09-27 - 来自专栏加米谷大数据
Flume的高可靠，高性能和高扩展性
官网：https://flume.apache.org/ Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。 ? 每一个agent都由Source，Channel和Sink组成。 使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。 Sink Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。 这样连接不同配置的Agent就可以组成一个复杂的数据收集网络。通过对agent的配置，可以组成一个路由复杂的数据传输网络。 ?
92320发布于 2018-07-25 - 来自专栏腾讯开源的专栏
【开源公告】“高可用、高吞吐、高可靠”分布式队列PhxQueue开源
PhxQueue PhxQueue 是微信开源的一款基于 Paxos 协议实现的高可用、高吞吐和高可靠的分布式队列，保证At-Least-Once Delivery，目前在微信内部广泛支持微信支付、 其设计出发点是高数据可靠性，且不失高可用和高吞吐，同时支持多种常见队列特性： * 同步刷盘，入队数据绝对不丢，自带内部实时对账 * 出入队严格有序 * 多订阅 * 出队限速 * 出队重放 * 所有模块均可平行扩展 * 存储层批量刷盘、同步，保证高吞吐 * 存储层支持同城多中心部署 * 存储层自动容灾/接入均衡 * 消费者自动容灾/负载均衡 高可用、高可靠、高性能的分布式队列PhxQueue正式开源 Github
1.1K61发布于 2018-03-02 - 来自专栏腾讯技术工程官方号的专栏
基于Flink的高可靠实时ETL系统
GIAC（GLOBAL INTERNET ARCHITECTURE CONFERENCE）是长期关注互联网技术与架构的高可用架构技术社区和msup推出的，面向架构师、技术负责人及高端技术从业人员的年度技术架构大会 今年的第六届GIAC大会上，在大数据架构专题，腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下为嘉宾演讲实录： ? 而在2017年，腾讯大数据基于Flink在易用性、可靠性和性能上的优势，通过Flink对TDBank的数据接入进行了重构。相比于Storm，Flink对state提供了更多的支持。 一方面Flink将程序的状态保存在本地的内存或者RocksDB中，用户不需要通过网络远程访问状态数据，因此可以获得较好的作业性能。 由于一般的指标系统并不能保证指标的时效性和正确性，因此我们也基于Flink实现了高可靠和强一致性的指标聚合。 ? 类似于数据链路，我们也采用Flink的checkpoint机制来保证指标数据的一致性。
1.8K50发布于 2020-09-01 - 来自专栏程序猿的大杂烩
搭建高可用高可靠的RabbitMQ镜像队列集群架构
100%数据可靠性解决方案一般是3节点以上） 在本文中将要搭建的RabbitMQ集群架构如下： ? ---- RabbitMQ集群整合负载均衡基础组件HAProxy 在上一小节中，我们搭建了RabbitMQ的镜像队列集群，虽然集群节点之间能够同步数据保证高可靠的存储了，但有个问题就是客户端通常只能连接集群中的其中一个节点 HAProxy是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 它能够保证当个别节点宕机时，整个网络可以不间断地运行，所以Keepalived一方面具有配置管理LVS的功能，同时还具有对LVS下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用功能。 KeepAlived服务的三个重要功能： 管理LVS负载均衡软件 实现LVS集群节点的健康检查 作为系统网络服务的高可用性（failover） Keepalived高可用服务对节点之间的故障切换转移，是通过
2K10发布于 2020-12-01 Kafka高可用与可靠性深度解析：Reactor模式与网络层架构揭秘
在这种背景下，如何确保系统的高可用性和可靠性，不仅是一个技术问题，更是业务连续性的关键保障。 高可用性意味着系统能够在部分组件发生故障时继续提供服务，而可靠性则保证了消息的不丢失、不重复和有序传递。 Reactor模式基础：理解Kafka网络层的设计哲学 在分布式系统中，高效处理海量网络连接是保障高可用性和可靠性的核心挑战之一。 高可用性机制：Kafka如何保障系统可靠性 在Kafka的分布式架构中，高可用性和可靠性不仅依赖于高效的网络层处理，还通过多层次的机制协同实现。 这种设计使得网络层具备弹性，能够容忍部分组件的失效，而整体服务仍保持可用。 此外，Kafka的高可用性还体现在其端到端的可靠性保障上。 问题5：如何处理连接过程中的异常或故障？ Kafka通过多层机制保障可靠性： 心跳检测：Processor线程定期检查连接活性，自动关闭超时连接。
22910编辑于 2025-11-28- 来自专栏架构师之路
高并发、高可用、高可靠微服务架构7大顶级设计思维模型
《百万年薪架构师必备能力—亿级企业高可用高并发高可靠微服务架构设计与实践》。
1.2K30发布于 2021-04-22 - 来自专栏Java探索之路
Flume——高可用的、高可靠的、分布式日志收集系统
，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 图5 可以看到数据被完整的显示, 以及每个字符的16进制表示 ? 这样配置可能会导致单点故障 , 因此可以配置高可用 流复用模式 Flume支持将事件流复用到一个或多个目的地。 Source可以监听一个或者多个网络端口，用于接受数据或者从本地文件系统中读取数据，每个Source必须至少连接一个Channel。 与Exec源不同，此源是可靠的，即使Flume重新启动或终止，它也不会丢失数据。为了获得这种可靠性，必须仅将不可变的唯一命名的文件放入Spooling目录中。
2K30发布于 2020-07-24 - 来自专栏运维开发王义杰
理解CAP定理：构筑高可靠系统的基石
CAP定理揭示了在面临网络分区时，系统只能在一致性（Consistency）、可用性（Availability）和分区容忍性（Partition-tolerance）三者之间做出选择。 可用性（Availability） 可用性是指系统提供的服务必须始终保持可用状态，即使在面临网络分区或节点失败的情况下，系统也能及时响应客户端的请求。 分区容忍性（Partition-tolerance） 分区容忍性是指系统在网络分区（节点之间的通信断裂）的情况下，仍然能够继续提供服务。这是分布式系统中的一个基本需求，因为网络分区是不可避免的。 这种权衡选择对于系统的性能和可靠性具有直接的影响。 提高系统可靠性：通过理解CAP定理，我们能够更好地设计和选择合适的技术和策略来提高系统的可靠性。 总结 CAP定理是每一个希望建设高可靠、高性能分布式系统的系统运维人员和架构师必须掌握的基础理论。
48620编辑于 2023-11-07 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
相较于云端AI需要用户将数据发送到云端进行处理，存在网络稳定性、隐私安全等问题。 随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 LiveVideoStack：5G 高带宽、低时延，更多连接的特性为各行业的发展带来了新的变革。5G时代的来临将推动哪些AI应用场景的快速落地？ 庄光庭：目前我们观察到5G的三大特性、高带宽、低时延、更多连接，最直观的收益应用还是在视频、VR、远程会议、AIOT等场景下。设备间的互联会从有线连接，全方面的迁移到无线连接。 所以可以同时克服高算力及低功耗两个截然不同方向的芯片能力，应该才能真正适应这变化万千的智能终端需求。
1.8K50发布于 2020-05-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号