- 综合排序
- 最热优先
- 最新优先
- 来自专栏洁癖是一只狗
Docker 容器化部署实践Docker Compose
准备haproxy 和 nginx 镜像 [root@workernode1 ~]# docker pull nginx [root@workernode1 ~]# docker pull haproxy 准备docker-compose.yml 文件 [root@workernode1 ~]# mkdir compose [root@workernode1 ~]# cd compose/ [root@workernode1 编写web测试页面 [root@workernode1 compose]# mkdir web1 [root@workernode1 compose]# mkdir web2 [root@workernode1 负载均衡haproxy配置 [root@workernode1 compose]# cd haproxy [root@workernode1 haproxy]# ls haproxy.cfg [root @workernode1 haproxy]# cd haproxy.cfg/ [root@workernode1 haproxy.cfg]# ls [root@workernode1 haproxy.cfg
1.2K40发布于 2020-06-15 - 来自专栏洁癖是一只狗
Docker Swarm介绍及搭建集群
担任角色：swarm node IP：192.168.1.106 主机名：workernode2 担任角色：swarm node ）关闭防火墙 关闭三台机器上的防火墙。 [root@manager ~]# yum -y install docker [root@workernode1 ~]# yum -y install docker [root@workernode2 上面运行， 有1个在workernode2 上面运行。 如我们将workernode1 的节点down 掉： [root@workernode1 ~]# systemctl stop docker [root@workernode1 ~]# 可以看到原 workernode2 上面的task 转到workernode1 上面运行了：swarm的负载均衡会把请求路由到一个任意节点的可用的容器上 [root@manager ~]# docker service
2.2K20发布于 2020-06-15 - 来自专栏用户1880875的专栏
用 Ansible 自动化系统管理员的 5 个日常任务
-20210221184525.txt ----------------------------------------------------- Uptime for workernode1 -- -20210221214056.txt ----------------------------------------------------- sar output for workernode1 日志应该是这样的： $ cat /tmp/logs-workernode1-20210221214758.txt | more ------------------------------------- ---------------- Logs gathered: /var/log/messages for workernode1 ---------------------------------- ] => (item=iotop) ok: [workernode1] => (item=traceroute) ok: [master] => (item=traceroute) PLAY RECAP
1.2K10发布于 2021-09-06 解析IllegalThreadStateException异常处理日志
(WorkerNode.java:89) ...初步分析发现，异常发生在尝试启动线程时，但线程似乎已经处于某种非法状态。 ：不必要地尝试启动线程，而不是提交给线程池 taskThread.start(); // 正确做法应该是：executor.submit(task); }}同时，在WorkerNode 中存在这样的调用：public class WorkerNode { private TaskExecutor executor = new TaskExecutor(); public 手动创建Thread绕过了线程池的管理，导致：资源无法有效复用线程数量失控状态管理混乱3.3 并发控制缺失在WorkerNode中，没有对processTask方法的并发调用进行控制。 在分布式环境下，多个请求可能同时到达同一个WorkerNode，导致：竞争条件线程对象被重复使用状态不一致四、异常的连锁反应4.1 系统稳定性下降频繁的IllegalThreadStateException
16010编辑于 2025-09-27- 来自专栏about云
让你真正理解什么是SparkContext, SQLContext 和HiveContext
如果使用是YARN，hadoop的resourcemanager (headnode)和 nodemanager (workernode) 将会为executors分配container 。 如果你使用Sparks 集群管理器，SparkMaster(headnode) 和SparkSlave (workernode) 将会使用分配在的executors。
3.4K90发布于 2018-03-27 - 来自专栏知了一笑
实时计算框架：Spark集群搭建与入门案例
ClusterManager 负责申请和管理在WorkerNode上运行应用所需的资源，可以高效地在一个计算节点到数千个计算节点之间伸缩计算，目前包括Spark原生的ClusterManager、ApacheMesos Executor Application运行在WorkerNode上的一个进程，作为工作节点负责运行Task任务，并且负责将数据存在内存或者磁盘上，每个 Application都有各自独立的一批Executor
75520发布于 2021-04-29 - 来自专栏大数据
Zzreal的大数据笔记-SparkDay01
WorkerNode是集群中可以执行计算任务的节点。Executor是在一个WorkerNode上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。
682100发布于 2018-02-01 - 来自专栏全栈学习之路
分布式全局唯一ID生成方案（附源码）
/** * 添加对象 * @param workerNodeEntity * @return */ int addWorkerNode(WorkerNode /** * 通过host port 获取ID * @param host * @param port * @return */ WorkerNode Override @Transactional(rollbackFor = Exception.class) public long assignWorkerId() { WorkerNode workerNode = buildWorkerNode(); workerNodeMapper.addWorkerNode(workerNode); return workerNode.getId(); } private WorkerNode buildWorkerNode() { WorkerNode workNode
1.9K30编辑于 2023-07-16 - 来自专栏Web前端
前端自动化测试革命：Playwright如何一统端到端测试？
小规模测试 一致性哈希 高 中 有状态任务 动态权重 极高 高 混合硬件环境 核心调度逻辑实现// 节点健康检查class WorkerNode this.nodeId}`); return tasks < this.maxCapacity * 0.8; }}// 任务分配算法function dynamicScheduler(nodes: WorkerNode
77421编辑于 2025-05-18 - 来自专栏沃趣科技
Pod挂载Volume失败问题分析
3.jpg 从三个维度分析： 从卷的生命周期来讲，卷被Pod使用或者卷被回收，会依赖顺序严格的几个阶段 – 卷被Pod使用 provision，卷分配成功 attach，卷挂载在对应workernode mount，卷挂载为文件系统并且映射给对应Pod 卷要成功被Pod使用，需要遵循以上顺序 – 卷被回收 umount，卷已经和对应workernode解除映射，且已经从文件系统umount detach ，卷已经从workernode卸载 recycle，卷被回收 卷要成功回收，需要遵循以上顺序 2.从Kubernetes存储系统来讲，卷生命周期管理的职责，又分散于不同的控制器中 – csi-qcfsplugin^csi-qcfs-volume-4faa18f5bbbd11e8-1365 3.volume manager在worker node中负责将卷挂载到对应路径 – pod分配到本workernode
3.5K30发布于 2018-10-31 - 来自专栏云云众生s
使用Talos简化Kubernetes
以下命令将创建一个 3 节点集群（controlplane、workernode-1、workernode-2）。
1.5K10编辑于 2024-05-10 - 来自专栏洁癖是一只狗
HAProxy负载均衡器用法详解
[root@workernode1 html]# pwd /var/www/html [root@workernode1 html]# cat index.html Web1 [root@worknode2 server2 上面启动httpd服务： systemctl start httpd 5）使用curl http://localhost:80 访问页面查看访问内容分别为Web1 和 Web2: [root@workernode1
14.9K52发布于 2020-06-15 - 来自专栏机器学习/数据可视化
Spark笔记4-RDD运行原理
生成有向无环图DAG DAG提交给DAG Scheduler，分解成多个阶段，每个阶段包含多个任务task 每个任务分配给Task Scheduler,Task Scheduler将任务分发给工作节点WorkerNode
79510发布于 2021-03-02 - 来自专栏YO大数据
【精通Spark系列】一文搞懂Spark的运行架构，文末附带大数据Spark的学习路线
运行的流程介绍中涉及到了一些Spark基本概念与名词，下面进行解释 Driver：该进程调用Spark程序的main方法，并启动SparkContext Executor：作为一个进程运行在工作节点WorkerNode
1.1K60编辑于 2022-01-04 - 来自专栏蘑菇先生的技术笔记
探索C#之微型MapReduce
public void WorkerNode(IEnumerable<T> list) { new Thread(() => {
1.1K100发布于 2018-05-21 - 来自专栏Prompt Engineering
你的笔记不是“知识”，只是堆积的“屎山代码”：用AI重构你的思维架构
保存集群状态数据│├──•Scheduler││├──○资源调度决策││└──○节点选择策略(亲和性/污点)│└──•ControllerManager│├──○维持预期状态│└──○节点/副本/端点控制器├──WorkerNode
12610编辑于 2026-01-23 - 来自专栏智能大数据分析
Spark分布式内存计算框架
Executor：是运行在工作节点（WorkerNode）的一个进程，负责运行Task。 应用（Application）：用户编写的Spark应用程序。
89210编辑于 2025-01-22 - 来自专栏陶辉笔记
十分钟搭建好K8S集群
ROLES AGE VERSION taohui.tech Ready control-plane,master 14h v1.20.0 workernode
1.2K20发布于 2020-12-23 - 来自专栏陶辉笔记
十分钟搭建好K8S集群
ROLES AGE VERSION taohui.tech Ready control-plane,master 14h v1.20.0 workernode
2.4K30发布于 2020-12-23 - 来自专栏AI SPPECH
77_二进制安全高级技术：模糊测试(Fuzzing)深度解析与实战指南——从随机测试到智能漏洞挖掘的系统化方法
DFF (Distributed Fuzzing Framework) 轻量级分布式模糊测试框架： # DFF基本架构示例 from dff import MasterNode, WorkerNode # 启动主节点 master = MasterNode(port=8080) master.start() # 工作节点连接 worker = WorkerNode(master_ip="192.168.1.10
58410编辑于 2025-11-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号