- 综合排序
- 最热优先
- 最新优先
- 来自专栏CSDN技术头条
腾讯大规模Hadoop集群实践
，文件数和块数达到6亿多；存储利用率83%左右，CPU利用率85%左右。 建设单个大规模集群的原因 随着业务的快速增长，TDW的节点数也在增加，对单个大规模Hadoop集群的需求也越来越强烈。 TDW需要做单个大规模集群，主要是从数据共享、计算资源共享、减轻运营负担和成本等三个方面考虑。 1. 数据共享。 建设单个大规模集群的方案及优化 面临的挑战 TDW从单集群400台规模建设成单集群4000台规模，面临的最大挑战是Hadoop架构的单点问题：计算引擎单点JobTracker负载重，使得调度效率低、集群扩展性不好 结语 TDW从实际情况出发，采取了一系列的优化措施，成功实施了单个大规模集群的建设。为了满足用户日益增长的计算需求，TDW正在进行更大规模集群的建设，并向实时化、集约化方向发展。
2.1K71发布于 2018-02-07 - 来自专栏技术杂记
ZooKeeper 集群6
可以使用 iptables -L -nv 进行检查，filter 表中包含以下几行的，为已经生效
33040编辑于 2022-03-25 - 来自专栏开源部署
Firmament – 大规模集群任务调度
本篇文章就以此为背景，介绍大规模调度场景下分布式任务调度的难点、解决策略及现有的一些方案。 这些年发展迅速的Kubernetes也包含调度器，其本质上还是面向应用运行层面，默认调度器的策略比较丰富，扩展性也比较好，但在面对大规模的调度时，吞吐性能表现不是那么完美。 对于大规模的计算集群也一样，应用程序由群集上的多个任务(通常在不同的主机上)组成。集群调度程序基本上必须解决： 多租户: 在群集上，许多用户代表多个组织启动了许多不同的应用程序。 Firmament 调度 Firmament 通过对调度算法的优化使得大规模计算集群的任务调度可以很好地在性能和准确之间找到平衡。 有些类似梯度递减形式的机器学习模型可以开始应用在调度上，已经有一些公司在做相关的探索，相信在未来大规模分布式调度会变得越来越重要。
98830编辑于 2022-07-24 - 来自专栏曲径通幽
Kubernetes 大规模集群最佳实践
Kubernetes 搭建大规模集群最佳实践 Kubernetes 自 v1.6 以来，官方就宣称单集群最大支持 5000 个节点。 eth0 parent 1: protocol ip prio 2 u32 match ip dport 2379 0xffff flowid 1:1 分离 Kubernetes events 存储 为了在大规模集群下提高性能 http://etcd3:2379" --etcd-servers-overrides="/events#http://etcd4:2379,http://etcd5:2379,http://etcd6: 2379" Master 节点配置 GCE 推荐配置： 1-5 节点: n1-standard-1 6-10 节点: n1-standard-2 11-100 节点: n1-standard-4 101 参考材料 Building large clusters Scaling Kubernetes to 2,500 Nodes Kubernetes 大规模集群 大规模集群配置优化
2.7K00发布于 2020-03-08 - 来自专栏云云众生s
OVHcloud 启用大规模 Kubernetes 集群管理
大规模 Kubernetes 集群管理的帮助 在 KubeCon Paris 2024 上，OVHcloud 将宣布一款名为 OVHcloud Managed Rancher Service 的新产品， 这是一个完全开源、自助、现成的平台，公司可以使用它来管理 Kubernetes 集群。 值得注意的是，Managed Rancher Service 为多云和混合云场景提供支持，使公司能够轻松管理和编排 K8s 集群，无论它们来自公有云还是私有云、内部部署基础设施、第三方或其他来源。 “Rancher 将帮助他们管理工作负载并在不同容量的 K8s 集群中编排，无论是在我们的云中，还是作为我们云和他们自己的内部部署设施的混合解决方案的一部分，甚至与其他服务提供商一起。” 对于在多个服务提供商的数据中心中运营多个 K8s 集群的公司而言，这是一个特别的挑战，因为 K8s 集群管理出了名的复杂。
42710编辑于 2024-05-15 - 来自专栏技术杂记
Consul 集群6
Consul 提供了一个简单的键值存储机制，可以使用这个特性来存储动态配置，服务协调，主节点选举和其它一些功能
44910编辑于 2021-12-01 - 来自专栏技术杂记
etcd 集群6
加减节点相关的操作 [root@h104 etcd-v2.2.4-linux-amd64]# ./etcdctl member --help NAME: etcdctl member - member add, remove and list subcommands USAGE: etcdctl member command [command options] [arguments...] COMMANDS: list enumerate existing cluster mem
18310编辑于 2022-01-19 - 来自专栏Technology Share
大规模 codis 集群的治理与实践
令人惊喜膜拜的是，他在农历春节期间就快马加鞭实现了异步迁移原型，在这过程中我们协助其测试、反馈BUG和瓶颈、不断改进、优化迁移性能，最终异步迁移不仅支持任意大小Key迁移，而且迁移性能相比同步迁移要快5-6倍 ，我们也是第一个在线上大规模应用实践Redis异步迁移的，更令人可喜的是此异步迁移方案击败了Redis作者antirez之前计划的多线程方案，将正式合入Redis 4.2版本。 异步定时检查ZooKeeper上是否有待迁移状态的哈希槽，若有则首先进入准备中状态，Dashboard将此状态同时分发到所有Proxy，若有异常Proxy应答失败，则无法进入迁移，状态回退(时序图4,5,6,7 基于Quorum的分布式探测Agent,如Redis的Sentinel,Sentinel在新浪微博等公司已经进行了较大规模应用，Codis也是基于此实现主备自动切换，我们在此基础上增加了告警和当网络出现分区时 （图八6流程） 但是在极端情况下若网络出现分区，业务服务、个别Proxy跟Redis Master在同一个可用区，则会出现脑裂，为了避免此种情况，部署在Redis机器上的Agent会定时持续检测与ZooKeeper
7K55发布于 2017-11-01 - 来自专栏开源部署
Sun Grid Engine 大规模集群监控
Sun Grid Engine 大规模集群监控 #!/usr/bin/perl #! /bin/bash ## 最近查看队列使用情况 发现如下问题，用户使用SGE 集群的时候内存溢出 ## 此程序用于查看SGE (Sun Grid Engine) 整体集群监控 ##仅以此程序，帮助大家查看 -,-,- 1,2,- 49,98,19.3 --- --- --- --- linfq -,-,- 3,6,
78710编辑于 2022-06-29 - 来自专栏东风微鸣技术博客
大规模 IoT 边缘容器集群管理的几种架构-6-个人体验及推荐
前文回顾 1.大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介[1]2.大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s[2]3.大规模 IoT 边缘容器集群管理的几种架构 -2-HashiCorp 解决方案 Nomad[3]4.大规模 IoT 边缘容器集群管理的几种架构-3-Portainer[4]5.大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge[5] 6.大规模 IoT 边缘容器集群管理的几种架构-5-总结[6] ️Reference: IoT 边缘计算系列文章[7] 概述 在前文，我列出以下几种解决方案： •Rancher + K3s•HashiCorp •更要命的是对存储的要求，K3s 默认启动需要的 K8s 镜像，差不多就需要占用 4-6 G 的空间，如果运行 etcd, 那么 SD 卡这种边缘场景常见的存储是无法满足的。 "边"端存储容量 很多边端设备只有 8G 存储，除去系统和一些必要的软件包，空间就剩 4 - 6 G 了，而且 K8s 是对存储空间有强制 GC 的。
1.4K20编辑于 2023-09-01 - 来自专栏深度学习与python
Pinterest 大规模缓存集群的架构剖析
本文中，我们将对支持 Pinterest 的大规模缓存集群的架构进行深入的技术研究。 ，针对位于基于闪存的容量集群后方的基于内存集群的 L1L2 路由（具有穿透）等。 6优劣权衡和我们的考虑 所有足够复杂的基础架构系统都具有一个共同特点：充满了（往往非常细微的）优劣权衡。在构建和扩展我们的缓存系统的过程中，我们权衡了许多方案的成本和收益。 我们管理维护着约一百个不同的 Memcached 集群，其中，许多集群具有不同的租户（tenancy）特征（专用与共享）、硬件实例类型和路由策略。 原文链接： https://medium.com/pinterest-engineering/scaling-cache-infrastructure-at-pinterest-422d6d294ece
68830编辑于 2023-04-01 - 来自专栏田飞雨的专栏
大规模场景下 kubernetes 集群的性能优化
六、kube-proxy 优化 1、使用 ipvs 模式 由于 iptables 匹配时延和规则更新时延在大规模集群中呈指数增长，增加以及删除规则非常耗时，所以需要转为 ipvs，ipvs 使用 hash 八、客户端优化 在大规模场景下，集群中所有的 daemonset、webhook 以及 operator 等组件非常多，每个客户端都要从 apiserver 中获取资源，此时对 apiserver 的压力非常大 十、动态调整 Pod 资源限制 参考：超大规模商用 K8s 场景下，阿里巴巴如何动态解决容器资源的按需分配问题？ 在大规模集群场景，服务可能会因高峰期资源不足导致响应慢等问题，对于某些应用时间内 HPA 或者 VPA 都不是件容易的事情。 参考： eBay应用程序集群管理器TESS.IO在大规模集群下的性能优化 Meet a Kubernetes Descheduler 网易云基于Kubernetes的深度定制化实践 开放下载《阿里巴巴云原生实践
3.6K11发布于 2019-12-15 - 来自专栏技术杂记
RabbitMQ集群II6
修改node类型 一个集群中运行着的node，可以动态地切换类型 [root@h101 ~]# rabbitmqctl -n rabbit cluster_status Cluster status rabbit@h101]}, {cluster_name,<<"hare@h101.temp">>}, {partitions,[]}] [root@h101 ~]# 一个node 停止应用后，会对集群中剩余
29220编辑于 2022-05-03 - 来自专栏技术杂记
RabbitMQ集群I6
更多node的加入也是使用相同的办法，并且集群中node是平等的，新node可以选择任意一个节点加入 加入集群分三步 1 停应用 2 加入集群 3 启应用 [root@h102 ~]# rabbitmqctl
24120编辑于 2022-05-04 - 来自专栏CNCF
治大国若烹小鲜，大规模Kubernetes集群的运营哲学
治大国若烹小鲜，大规模Kubernetes集群的运营哲学 鲍永成 TIGCHAT 昨天 ? 其实不然，集群运营，特别是大规模集群运营，需要丰富的经验，成熟的体系，辅助的工具链等等，因此其难度并不亚于开发一套大型系统。所谓治大国若烹小鲜，集群需要精细化的运营，对于细节的要求更是严格甚至苛刻。 借助于运营数据的收集和可视化，我们发现了更多在集群规模扩充时可能发生瓶颈的潜在问题，也对其进行了优化处理。 etcd 的容量。etcd 默认是 2G 的容量，在大规模的集群下很容易达到瓶颈。 运营工具 大规模的运营需要成套的运营工具链进行辅助，缓解运营人员的工作压力，同时也提供更为自动化的流程，对整个集群提供更为稳固的保障。 在运营了大规模 Kubernetes 集群之后，我们对更高的技术层次发起了挑战，那就是调度。下一章预告《第三章：庖丁解牛，调度的框架与策略》。
70920发布于 2019-12-06 - 来自专栏CSDN技术头条
Google的大规模集群管理系统Borg（上篇）
摘要：Google的Borg系统是一个运行着成千上万项作业的集群管理器，它同时管理着很多个应用集群，每个集群都有成千上万台机器，这些集群之上运行着Google的很多不同的应用。 Borg不是解决这些问题的第一个系统，但它是在能够保证最大弹性和完整性情况下，以大规模运行的少数几个系统之一。 本文将主要围绕这些主题进行组织，并从Borg投入生产，这十多年来的使用经验作为总结 。 2.2 集群和单元 单元中的机器属于单个集群，由连接它们的高性能数据中心规模的网络架构定义。 一个集群位于单个数据中心大楼内，大厦集合构成一个站点。 Borg作业配置与Aurora配置文件相似[6]。 图2说明了作业和任务在其生命周期中经历的状态。 ? 图2：作业和任务的状态图。 用户可以触发提交，终止和更新转换。 4.可用性 故障是大规模系统中的常态[10,11,22]。图3提供了15个样本cell中任务驱逐原因的分解。
2.7K90发布于 2018-02-12 - 来自专栏日常杂记
关于较大规模hadoop集群的小文件问题
上一遍记录了当时集群资源死锁的问题，后来想了想其实小文件较多也会让集群变慢，小文件较多在执行作业时rpc时间就会增加，从而拖垮了job的执行速度。 在数据进入集群之前，将小文件进行合并 2. 小文件写入集群之后，定期合并小文件 3. 使用HBase存储数据 4. 对于已经在集群上的运算结果，采取文件合并的方式 由于不同的引擎，相应使用的方法不同，目前集群主要使用了hive，Impala，Spark进行数据计算。
2K20发布于 2021-01-06 - 来自专栏大数据架构
超大规模 Spark 集群灰度发布 CI CD
目前主流的代码管理工具有，Github、Gitlab等。本文所介绍的内容中，所有代码均托管于私有的 Gitlab 中。
1.8K41发布于 2018-10-11 - 来自专栏QQ大数据团队的专栏
深入腾讯云TBDS：大规模HDFS集群优化实战
HDFS被设计用来在大规模的廉价服务器集群上可靠地存储大量数据, 并提供高吞吐的数据读取和写入，具备高可用、高容错、高吞吐、低成本、数据本地性等特点。 01、集群横向扩容 单个ActiveNameNode在大规模集群的局限性主要体现在： 1. 数据规模受限，NameNode内存使用和元数据量正相关，具有内存瓶颈。 2. 多NS独立集群联邦 图三 独立HDFS集群分管不同的业务数据，实现降低单集群的元数据量。 尽管社区也通过editlog异步化、DU请求采用分段锁等一系列措施来优化读写性能，但并未从根本上解决锁的影响，对于大规模集群难以满足生产场景。 HDFS重启速度主要受限于： NameNode串行加载fsimage；大规模集群下该文件可达几十G。
1.6K32编辑于 2024-06-03 - 来自专栏数据社
快手超大规模集群调度优化实践
导读：随着公司业务的快速发展，离线计算集群规模和提交的作业量持续增长，如何支撑超大规模集群，如何满足不同场景的调度需求成为必须要解决的问题。 随着集群规模增长和队列数目的增加，调度耗时越来越长，调度吞吐成为制约集群规模的主要瓶颈。 基于集群状态做全局批量调度 ? 04 其他工作&未来规划 支持超大规模集群： 主要目标支撑十万量级的集群规模，目前基于社区的federation方案进行改造。 Hadoop跨IDC集群建设： 受限于公司物理集群规划，离线集群会分布在不同的IDC，如何基于有限的跨IDC带宽，对数据和计算进行合理排布，是一个非常有挑战的问题。
1.5K20发布于 2021-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号