- 综合排序
- 最热优先
- 最新优先
了解集合通信与模型并行策略
集合通信集合通信基础了解通信相关术语：图片了解常见网络拓扑结构：典型拓扑结构优缺点了解场景硬件架构图：1.A+K(8P):图片通过HCCS实现两两互联（Full Mesh），如NPU与NPU之间，CPU 在Full Mesh网络中，任何两个节点之间都可以直接通信。 2.A+X(16P):双mesh组网（8P Full-mesh）集合通信原语一对多Broadcast：将通信域内root节点的数据广播到其他rank图片 Scatter：将通信域内root节点的数据均分并散布至其他 那就将它的参数进一步切分到多个节点上，每个节点计算部分结果，再通过通过节点间的通信获取到最终结果，这就是张量并行。简言之，流水并行是模型的层间切割，而张量并行是模型的层内切割。 参考资料通信基础概述HCCL集合通信库深度学习的分布式训练与集合通信（一）深度学习的分布式训练与集合通信（二）深度学习的分布式训练与集合通信（三）典型拓扑结构优缺点
27700编辑于 2025-06-24- 来自专栏技术杂货店
java集合【10】——— LinkedList源码解析
构造函数 构造函数有两个，一个是无参数构造函数，另一个是初始化集合元素，里面调用的其实是addAll，一看就是将里面所有的元素加入到集合中。 extends E> c) { // 检查添加位置 checkPositionIndex(index); // 将需要添加的集合转换成为数组 extends E> c) { // 检查索引合法性 checkPositionIndex(index); // 将需要插入的集合转换成为数组 previousIndex()：上一个索引位置 remove()：删除当前索引位置的元素 set()：更新元素 add()：新增元素 forEachRemaining()：遍历剩下的元素 里面主要有集合重要的属性 LLSpliterator<E> implements Spliterator<E> { // 分割长度增加单位 static final int BATCH_UNIT = 1 << 10
55800发布于 2020-12-05 - 来自专栏Don的成长史
【蓝桥杯】ALGO-10 集合运算
输入描述： 第一行为一个整数n，表示集合A中的元素个数。 第二行有n个互不相同的用空格隔开的整数，表示集合A中的元素。 第三行为一个整数m，表示集合B中的元素个数。 第四行有m个互不相同的用空格隔开的整数，表示集合B中的元素。 集合中的所有元素均为int范围内的整数，n、m< =1000。 输出描述： 第一行按从小到大的顺序输出A、B交集中的所有元素。 输入样例： 5 1 2 3 4 5 5 2 4 6 8 10 输出样例： 2 4 1 2 3 4 5 6 8 10 1 3 5 解题思路： 这题set就完事了，主要考察了set的三个函数 ：①set_intersection求集合的交集，②set_union求集合的并集，③set_difference求集合的差集。 这三个函数都有5个参数：集合A的begin、end，集合B的begin、end，还有一个back_inserter()函数，这是iterator适配器,它能使元素被插入到作为实参的某种容器的尾部。
59910发布于 2019-11-08 - 来自专栏若城技术专栏
10.Python Set集合方法详解
Python Set集合方法详解 本教程将详细介绍Python set集合的所有内置方法，包括它们的使用方式、参数说明、返回值以及实际应用场景。 集合方法总览 Python set提供了丰富的内置方法，可以分为以下几类： 添加元素的方法 删除元素的方法 集合运算方法 集合关系判断方法 其他实用方法 添加元素的方法 1. add(elem) 向集合中添加单个元素 = {1, 2, 3, 4, 5} numbers.clear() print(numbers) # 输出: set() 集合运算方法 1. union(*others) 和 | 返回包含所有集合元素的新集合 1. issubset(other) 和 <= 判断当前集合是否为另一个集合的子集 # 语法：set.issubset(other) 或 set1 <= set2 # 返回值：布尔值 set1 = 在适当的场景使用集合推导式来创建集合 注意集合运算的顺序，可能影响性能 通过掌握这些方法，你可以更有效地使用Python集合来解决各种编程问题。
50010编辑于 2025-04-08 - 来自专栏韩曙亮的移动开发专栏
【EventBus】事件通信框架 ( 订阅类-订阅方法缓存集合 | 事件类型-订阅者集合 | 订阅对象-事件类型集合 )
文章目录 前言 一、订阅类-订阅方法缓存集合 二、事件类型-订阅者集合 三、订阅对象-事件类型集合 前言 首先声明几个数据结构 , 参考 【EventBus】EventBus 源码解析 ( 注册订阅者总结 | 从封装的数据结构角度分析 EventBus ) 博客 , 仿 EventBus , 设置几个重要的集合 ; 一、订阅类-订阅方法缓存集合 ---- METHOD_CACHE 作用仅用于作为订阅方法的缓存类 >, List<MySubscriberMethod>> METHOD_CACHE = new HashMap<>(); 二、事件类型-订阅者集合 ---- 事件类型-订阅者集合 : Map<Class ; 在构造函数中初始化该集合 ; CopyOnWriteArrayList 在写入数据时会拷贝一个副本 , 写完之后 , 将引用指向新的副本 , 该集合的线程安全级别很高 ; 该集合的重要作用就是进行消息转发 >, CopyOnWriteArrayList<MySubscription>> subscriptionsByEventType; 三、订阅对象-事件类型集合 ---- 订阅对象-事件类型集合 : Map
1.4K20编辑于 2023-03-29 - 来自专栏游戏开发司机
UNIX(进程间通信)：10 消息队列
一、消息队列的特点 1.消息队列是消息的链表,具有特定的格式,存放在内存中并由消息队列标识符标识. 2.消息队列允许一个或多个进程向它写入与读取消息. 3.管道和命名管道都是通信数据都是先进先出的原则 return -1; } printf("receive msg = [%s]\n", msgbuf.data); return 0; } 例2：进程间消息队列通信 可在这2个进程中分别创建2个线程，分别负责收和发，就完成了进程间的通信。
1.3K31发布于 2021-03-04 - 来自专栏四月天的专栏
Win10 串口通信 —— 同步异步
文章目录 Win10 串口通信 —— 同步/异步 简介 实现 1.主函数 2.串口模块 源码 Win10 串口通信 —— 同步/异步 简介 之前接到的一个小项目，好像不能算。 win10下的串口通信，不需要界面，排除了Qt,MFC只剩C++ 底层了，调用WindowsApi来实现。翻了翻网上资料大致写出来了。 虚拟串口工具：https://blog.csdn.net/qq_34202873/article/details/88391265 系统环境：Win10 IDE: VS2017 编译器 WzSerialPort，并做了一些简单修改，实现了异步串口通信。 修改部分，最先测试同步通信一直没有问题，异步通信没有实现。
1.8K20编辑于 2023-03-10 - 来自专栏好好学java的技术栈
Java 集合系列10： HashMap深入解析（1）
ks : (keySet = new KeySet())); } // Key对应的集合 // KeySet继承于AbstractSet，说明该集合中没有重复的Key。 vs : (values = new Values())); } // “value集合” // Values继承于AbstractCollection，不同于“KeySet继承于 public void clear() { HashMap.this.clear(); } } // 返回“HashMap的Entry集合 public Set<Map.Entry<K,V>> entrySet() { return entrySet0(); } // 返回“HashMap的Entry集合 es : (entrySet = new EntrySet()); } // EntrySet对应的集合 // EntrySet继承于AbstractSet，说明该集合中没有重复的
56430发布于 2019-09-18 - 来自专栏一个会写诗的程序员的博客
第10章 集合类与泛型
第10章 集合类与泛型 10.1 Kotlin集合类 10.1.1 不可变集合类 10.1.1.1 List 10.1.1.2 Set 10.1.1.3 Map 10.1.2 可变集合类 10.1.2.1
33730发布于 2018-08-17 - 来自专栏好好学java的技术栈
Java 集合系列10： HashMap深入解析（2）
entrySet()的作用是返回“HashMap中所有Entry的集合”，它是一个集合。 第二步：通过Iterator迭代器遍历“第一步”得到的集合。 第二步：通过Iterator迭代器遍历“第一步”得到的集合。 第二步：通过Iterator迭代器遍历“第一步”得到的集合。 )); map.put("two", r.nextInt(10)); map.put("three", r.nextInt(10)); // 打印出map
84640发布于 2019-09-18 - 来自专栏技术杂货店
java集合【10】——— Vector超级详细源码解析
构造函数 Vector一共有四个构造函数： 指定容量和增长系数 指定容量 不指定，使用默认容量值10 指定集合初始化 1.指定容量和增长系数构造函数 public Vector(int initialCapacity 0 public Vector(int initialCapacity) { this(initialCapacity, 0); } 3.什么都不指定，默认给的容量是10 ： public Vector() { this(10); } 4.指定集合初始化： public Vector(Collection<? = 0; } 指定index，插入一个集合，和前面不一样的地方在于复制之前，需要计算往后面移动多少位，不是用for循环去插入，而是一次性移动和写入。 小结一下 Vector的思路和ArrayList基本是相同的，底层是数组保存元素，Vector 默认的容量是10，有一个增量系数，如果指定，那么每次都会增加一个系数的大小，否则就扩大一倍。
66010编辑于 2022-02-15 - 来自专栏RDMA
MNNVL（Multi-Node NvLink）、NCCL超节点集合通信
前言NCCL、ACCL等集合通信库发展的早期，并没有超节点（SuperNode/SuperPod）的概念，这些集合通信库是如何支撑超节点集合通信的？ 哈哈哈，本文分享：1、什么是超节点2、非超节点的传统集合通信3、超节点集合通信 哈哈哈，针对本文的部分视频说明：MNNVL 超节点集合通信初识、NCCL、SuperPod、SuperNode，scale-up 二、非超节点的传统集合通信哈哈哈，浅浅回顾一下非超节点的集合通信。集合通信早期没有超节点，集合通信也相对简单点。2.1 拓扑识别非超节点的传统集合通信拓扑识别核心流程如图3所示。 2.2 集合通信算法传统非超节点集合通信，由于节点内NvLink/AccLink的通信延迟带宽性能远高于跨服务器的网卡通信，因此集合通信算法严格区分节点内和节点间通信。 三、超节点集合通信超节点出现后，集合通信的整个框架都做了相应修改和调整。今天呢，我们初步了解一下其中一部分内容。
55010编辑于 2025-11-30 - 来自专栏daos
Nvidia-NCCL-GPU集合通信接口简介_源码笔记
术语nccl: NVIDIA Collective Communications Library (NCCL) 集合通信接口常用链接NCCL开发者文档: https://developer.nvidia.com docs.nvidia.com/deeplearning/nccl/user-guide/docs/index.html项目主页: https://github.com/NVIDIA/nccl介绍针对 GPU 间通信的优化原语 NCCL（发音为“Nickel”）是 GPU 标准通信例程的独立库，可实现全归约、全收集、归约、广播、归约分散以及任何基于发送/接收的通信模式。 )的实现了单边读写和双边发送/接收通信语义, 以此来满足GPU间高性能和高带宽通信, 满足AI大模型训练中的数据传输RDMA调用栈-QP建连:ncclResult_t ncclIbCreateQp )的实现了单边读写和双边发送/接收通信语义, 以此来满足GPU间高性能和高带宽通信, 满足AI大模型训练中的数据传输 晓兵(ssbandjl)博客: https://cloud.tencent.com/
3.1K02编辑于 2023-11-24 - 来自专栏鲜枣课堂
通信人必须记住的10个定律
摩尔定律、梅特卡夫定律和吉尔德定律的三大趋势，共同推动着通信网络和信息社会飞速发展。 从1897 年吉列尔莫·马可尼（ Guglielmo Marconi）用无线电报传递莫尔斯电码，到今天4G通信技术的应用，这个定律都被认为是正确的。 ▲克劳德·香农 ▉ No.10 墨菲定律（Murphy's law） 墨菲定律是一种心理学效应，由爱德华·墨菲（Edward A. Murphy）提出：凡事只要有可能出错，那就一定会出错。 墨菲定律自被提出之日起便被广泛应用于各个行业的安全生产管理中,通信行业也不例外。 “墨菲定律”是我们通信行业的铁律，不要有侥幸心理，请保持敬畏之心。 十大定律，你都记住了吗？
1.3K30发布于 2020-11-04 - 来自专栏全栈程序员必看
用js来实现那些数据结构10（集合02-集合的操作）
前一篇文章我们一起实现了自定义的set集合类。那么这一篇我们来给set类增加一些操作方法。那么在开始之前，还是有必要解释一下集合的操作有哪些。便于我们更快速的理解代码。 1、并集：对于给定的两个集合，返回一个包含两个集合中所有元素的新集合。注意，集合中不会有重复的值。 2、交集：对于给定的两个集合，返回一个包含两个集合中共有元素的新集合。 3、差集：对于给定的集合，返回一个包含所有存在于第一个集合且不存在于第二个集合的元素的新集合。简单来说就是我有你没有的元素。 4、验证一个给定集合是否是另一个集合的子集。 这里我们就不详细的再赘述一遍集合操作的数学计算方法了。有兴趣或者忘记了的小伙伴可以百度一下。那么咱们就正式开始集合的操作方法。 那么我们看看如何用原生Set类来操作集合。
1K20编辑于 2022-07-20 - 来自专栏非著名程序员
10个经典的Java面试题集合
那么你就一定不能错过以下小编为你量身打造的Java面试题集合了！让我们一起来看看 这里有10个经典的Java面试题，同时小编也为大家列出了答案。 快速失败的Java迭代器可能会引发ConcurrentModifcationException在底层集合迭代过程中被修改。故障安全作为发生 在实例中的一个副本迭代是不会抛出任何异常的。 Java BlockingQueue是一个并发集合util包的一部分。BlockingQueue队列是一种支持操作，它等待元素变得可用时来检索，同样等待空间可用时来存储元素。 8.迭代器和枚举之间的区别 如果面试官问这个问题，那么他的意图一定是让你区分Iterator不同于Enumeration的两个方面： Iterator允许移除从底层集合的元素。 10.IdentityHashMap和HashMap的区别 IdentityHashMap是Map接口的实现。不同于HashMap的，这里采用参考平等。
1.2K50发布于 2018-02-01 - 来自专栏zaking's
用js来实现那些数据结构10（集合02-集合的操作）
前一篇文章我们一起实现了自定义的set集合类。那么这一篇我们来给set类增加一些操作方法。那么在开始之前，还是有必要解释一下集合的操作有哪些。便于我们更快速的理解代码。 1、并集：对于给定的两个集合，返回一个包含两个集合中所有元素的新集合。注意，集合中不会有重复的值。 2、交集：对于给定的两个集合，返回一个包含两个集合中共有元素的新集合。 3、差集：对于给定的集合，返回一个包含所有存在于第一个集合且不存在于第二个集合的元素的新集合。简单来说就是我有你没有的元素。 4、验证一个给定集合是否是另一个集合的子集。 这里我们就不详细的再赘述一遍集合操作的数学计算方法了。有兴趣或者忘记了的小伙伴可以百度一下。那么咱们就正式开始集合的操作方法。 那么我们看看如何用原生Set类来操作集合。
1.3K60发布于 2018-05-02 - 来自专栏鸿蒙Flutter实战
鸿蒙Flutter实战：10-常见问题集合
1.1 学习和掌握 Flutter 开发技术，这块需要在Flutter社区学历 Flutter开发文档
50210编辑于 2024-10-22 - 来自专栏智算中心网络
如何破解GPU集群集合通信路径的“黑盒”难题？
AI大模型时代的通信挑战近年来，AI大模型训练对算力的需求呈指数级增长。 在典型的智算集群中，GPU服务器通过NVIDIA NCCL（Collective Communication Library）等集合通信库实现跨节点数据同步，同时结合RDMA（如RoCE）网络技术降低传输延迟 然而，随着集群规模扩大和网络拓扑复杂化，通信链路拥塞、路径选择不当等问题频发，导致训练性能波动甚至中断。更棘手的是，集合通信库（如NCCL、HCCL）的运行细节用户完全无感知，形成“黑盒”状态。 EPS通过实时解析集合通信库的底层运行状态，将隐蔽的通信路径、GPU与网卡状态等信息可视化，并提供智能路由推荐，帮助用户快速优化集群性能。EPS的三大核心功能1. 未来，随着智算集群规模的持续扩大，集合通信的自动化与智能化将成为刚需。我们将持续迭代EPS功能，探索与Kubernetes、SLURM等调度系统的深度集成，进一步释放硬件算力潜能。
35910编辑于 2025-05-22 HarmonyOS NEXT 实战系列10-网络通信
网络通信-http协议HTTP 协议和 TCP/IP 协议族内的其他众多的协议相同，用于客户端和服务器之间的通信。HTTP 协议规定，请求从客户端发出，最后服务器端响应该请求并返回。 鸿蒙操作系统提供了网络通信相关的 API 和服务，其中包括支持 HTTP 协议的数据请求功能，允许开发者在其应用程序中执行 HTTP 请求。2. 网络通信-http模块HTTP数据请求功能主要由http模块提供，使用该功能需要申请ohos.permission.INTERNET权限。 网络通信-PromisePromise是一种用于处理异步操作的对象，可以将异步操作转换为类似于同步操作的风格，以方便代码编写和维护。 网络通信-异步编程async/await是一种用于处理异步操作的Promise语法糖，使得编写异步代码变得更加简单和易读。
31100编辑于 2025-03-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号