- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器之心
飞桨推出异构参数服务器架构，异构硬件高效组合，训练速度提升65%以上
——异构参数服务器训练架构 上面的要求好像很多，其实核心问题就在于硬件的配置，传统的参数服务器对硬件的统一性要求太严格，而现实是单一「兵种」是无法应对大部分「战场」的。 为了应对上述问题，飞桨框架 2.0 版本基于工业实践，创新性地推出了大规模稀疏异构参数服务器功能，一举解除了传统参数服务器模式必须严格使用同一种硬件型号 Trainer 节点的枷锁，使训练任务对硬件型号不敏感 通过异构参数服务器训练架构，用户可以在硬件异构集群中部署分布式训练任务，例如云服务器集群，实现对不同算力的芯片高效利用，为用户提供更高吞吐、更低资源消耗的训练能力。 ? 图 6：传统参数服务器架构的异构改造 值得注意的是，异构参数服务器架构并不只是简单的将计算任务拆分。拆分后，异构硬件间的通信代价高的问题也需要解决。为了解决这个问题，飞桨的整个传输通信过程得到了优化。 图 7：传统参数服务器架构的异构改造（外挂硬件，CPU 机器为例） 飞桨的异构参数服务器架构不仅可以支持 CPU 机器、GPU 机器和 XPU 机器的混合模式，而且支持全部 CPU-Trainer 或
1.2K31发布于 2020-11-13 - 来自专栏相约机器人
飞桨推出异构参数服务器架构，异构硬件高效组合，训练速度提升65%以上
——异构参数服务器训练架构 上面的要求好像很多，其实核心问题就在于硬件的配置，传统的参数服务器对硬件的统一性要求太严格，而现实是单一「兵种」是无法应对大部分「战场」的。 为了应对上述问题，飞桨框架 2.0 版本基于工业实践，创新性地推出了大规模稀疏异构参数服务器功能，一举解除了传统参数服务器模式必须严格使用同一种硬件型号 Trainer 节点的枷锁，使训练任务对硬件型号不敏感 通过异构参数服务器训练架构，用户可以在硬件异构集群中部署分布式训练任务，例如云服务器集群，实现对不同算力的芯片高效利用，为用户提供更高吞吐、更低资源消耗的训练能力。 ? 图 6：传统参数服务器架构的异构改造 值得注意的是，异构参数服务器架构并不只是简单的将计算任务拆分。拆分后，异构硬件间的通信代价高的问题也需要解决。为了解决这个问题，飞桨的整个传输通信过程得到了优化。 图 7：传统参数服务器架构的异构改造（外挂硬件，CPU 机器为例） 飞桨的异构参数服务器架构不仅可以支持 CPU 机器、GPU 机器和 XPU 机器的混合模式，而且支持全部 CPU-Trainer 或
90320发布于 2020-11-13 - 来自专栏软硬件融合
软硬件共同定义：超异构开放生态
今天这篇文章，我们主要关注如下话题： 超异构计算，为什么需要开放生态？ 开放生态应该由硬件定义还是软件定义？ 什么样的生态才算开放？ 2.4 从异构并行到超异构并行 计算从单核的串行走向多核的并行；又进一步从同构并行走向异构并行。未来，计算需要进一步从异构并行走向超异构并行。 5 总结：软硬件共同定义，超异构开放生态 5.1 软件原生支持硬件加速 软件原生支持硬件加速： 软件架构调整，控制面和计算/数据面分开； 控制面和计算/数据面接口标准化； 硬件加速资源的发现能力，自适应选择软件计算 需要从硬件定义，逐步转向软件定义。 超异构计算，包括CPU、GPU，也包括多种DSA、ASIC类型的处理器。 超异构时代，必须要形成开放的生态，才能让计算资源形成一个整体，才能满足元宇宙等应用场景对算力数量级提升的要求。 5.6 软硬件共同定义：超异构开放生态 首先，是超异构计算架构。
1.4K50编辑于 2023-02-28 - 来自专栏FPGA/ARM/DSP技术专栏
Zynq-70107020异构多核SoC工业核心板硬件说明书
本期分享Zynq-7010/20工业开发板（双核ARM Cortex-A9+A7）的参数规格资料，其中包含软硬件、原理图、工业温度等均有。 测试板卡是一款基于Xilinx Zynq-7000系列XC7Z010/XC7Z020高性能低功耗处理器设计的异构多核SoC工业级核心板，处理器集成PS端双核ARM Cortex-A9 + PL端Artix 硬件资源SOM-TLZ7x-S核心板板载CPU、ROM、RAM、USB PHY、晶振、电源、LED等硬件资源，并通过邮票孔连接方式引出IO。 图 1 核心板硬件框图图 2CPU核心板CPU型号兼容XC7Z010-2CLG400I/XC7Z020-2CLG400I，CLG400封装，工作温度范围为-40°C~100°C，引脚数量为400个，尺寸为 设备已使用SDIO1；SPI2支持Master Mode、Slave Mode、Multi Mode；每一路SPI支持3个片选；最高支持50MHz工作频率；UART2最高支持波特率为921600bps；支持硬件或软件流控
3.6K21编辑于 2022-10-31 - 来自专栏腾讯大数据的专栏
腾讯联合生态伙伴，共同推动业界首个异构硬件编程模型标准立项！
前言 近期，由腾讯联合中国移动、中国联通、中国信通院、中国科学院计算技术研究所共同发起，在中国通信标准化协会（CCSA）互联网与应用委员会（TC1）推动异构硬件两项行业标准成功立项。 前者为开发者提供一套针对不同硬件的统一编程模型及范式标准；后者将定义一套异构硬件的统一虚拟指令集，对异构高性能加速硬件的运算、处理等基础功能进行一致化约束，实现同一应用程序经过一次编译即可在不同异构硬件上运行和迁移 同时，展现了其对主流框架、模型格式、以及异构硬件的强大支持能力，包括兼容PyTorch、Tensorflow、ONNX等主流框架及相应的模型格式，支持CPU、GPU以及腾讯自研的紫霄处理器等多种硬件平台 ，使得业务几乎无需对源码或模型结构进行修改，便能在异构平台上运行，并获得显著的性能提升。 业务实践 在腾讯广告推荐场景中，支持联盟粗排等业务异构芯片生产上线，性能超过了厂商原生方案的30%-140%，精排业务也在上线进行中； 在大模型推理场景中，ABO异构编译器支持多种混元子模型，能够平滑运行在多异构芯片上
43710编辑于 2024-06-19 - 来自专栏技术汇总专栏
轻量级边缘Agent架构的动态裁剪机制与异构硬件适配策略
内存调度、异构计算协同）两大核心技术，并结合PyTorch实现模型裁剪案例与硬件适配工程实践，最后通过实验验证架构的有效性。 其中，优化层是架构轻量化的核心保障：模型裁剪引擎针对感知层和决策层的基础模型，基于硬件资源动态选择裁剪策略；硬件适配引擎通过指令集映射、内存池管理、异构计算调度，实现模型计算与硬件资源的高效匹配。 硬件适配的核心目标是最大化硬件资源利用率（如CPU多核并行、GPU张量核心利用、内存带宽优化），其技术体系涵盖指令集优化、内存调度优化、异构计算协同三大方向。 4.3异构计算协同：发挥多硬件的协同优势现代边缘设备多具备异构计算能力（如CPU+GPU+NPU的组合，如NVIDIAJetson系列的CPU+GPU、华为昇腾AI芯片的CPU+NPU），通过异构计算协同 异构计算协同的核心是任务调度策略，在轻量级Agent中，优化层的异构调度模块采用“任务类型-硬件能力”匹配机制：1）将密集型浮点计算（如卷积、矩阵乘法）分配给GPU/NPU，利用其并行计算单元提升效率；
22910编辑于 2025-10-29 - 来自专栏软硬件融合
软硬件融合：超异构计算革命（第七版，附下载链接）
---- 编者按： 《软硬件融合》图书的写作背景： 软件热点层出不穷，并且快速迭代；CPU性能瓶颈，摩尔定律失效；图灵奖获得者J&D给出的解决方案是特定领域架构DSA。 软件业务异构加速，如网络、存储、虚拟化、安全、数据库、视频图像、深度学习等场景的加速，目前是各自为战的“孤岛”。 云/边缘计算等综合性“宏”场景，是多种复杂场景的叠加。 提出了全新的设计理念和方法——软硬件融合，期望实现软件灵活性和硬件高效性的统一。 ---- ◉ 点击访问网址，观看“软硬件融合”直播回放： https://aijishu.com/l/1110000000344055。
47630编辑于 2022-12-16 - 来自专栏公有云大数据平台弹性 MapReduce
HDFS 异构存储
需求 Hadoop 从 2.4 后开始支持异构存储，异构存储是为了解决爆炸式的存储容量增长以及计算能力增长所带来的数据存储需求，一份数据热数据在经历计算产生出新的数据，那么原始数据有可能变为冷数据，随着数据不断增长差异化存储变的非常迫切
4.5K21发布于 2017-07-28 hadoop异构存储
·Hadoop异构存储是一种基于HDFS的存储优化技术，通过将不同热度的数据分配到不同类型的存储介质上实现性能与成本的平衡。 以下是其核心原理和实现方式： 一、核心概念 异构存储基本原理：Hadoop集群允许使用SSD、HDD、ARCHIVE等多种存储介质，根据数据的访问频率（热/温/冷）匹配对应的存储类型，例如SSD存储频繁访问的热数据 hdfsdata -policy WARM # 查看块分布 hdfs fsck /hdfsdata -files -blocks -locations 配置文件调整 修改hdfs-site.xml以启用异构存储 策略变更后数据移动可能需要触发条件（如写入、Balancer运行）才会生效； 策略继承规则：目录的存储策略默认继承父目录，根目录默认为HOT3； 版本兼容性：需Hadoop 2.6+版本支持，部分特性（如HBase WAL异构存储 通过上述机制，Hadoop异构存储实现了存储资源的智能调度，兼顾性能需求和成本控制。
27110编辑于 2025-12-23- 来自专栏松华说
谈谈数据异构
这就是我今天要和大家讨论的数据异构，将数据进行异地异构存储，比如说需要整合多张表数据构成一条记录然后异地存储。 我们先来看下第一种方案，就是双写，业务代码在对数据库操作时同步缓存。 那有没有更好的方案完成数据异构呢？答案就是利用Mysql的binlog日记。 可以看出binlog日记具备高可靠性、低时延性，所以我们可以利用binlog日记来完成数据异构。 好，今天我主要和你讨论了关于如何利用数据异构实现多级缓存，这个技术还可以解决下面这种问题，比如数据库分库分表后如何进行数据迁移，当然后者的实现更加复杂，需要考虑数据校验问题，就不再展开了。
3.5K30发布于 2019-12-03 - 来自专栏于潇宇的专栏
深度学习的异构硬件加速：TPU 特性与数据中心的 ASIC 应用（概述篇）
尤其近年来，CPU与存储器发展的不平衡，高达64核的CPU依然采用传统的存储构架，带宽问题严重，使数据中心对高性能计算的缺口增加，以GPU为代表的非冯构架的异构处理器被广泛应用。 目前的异构处理器大致可分为三类，即量子计算，类脑计算，和领域计算。 [1503891140310_7733_1503891140386.png] 图4 TensorFlow到TPU，软件到硬件资源的无缝连接 本文从应用背景的角度论述了Google研制TPU 并将其应用于数据中心的原因
3.5K10发布于 2017-08-29 - 来自专栏博文视点Broadview
“云上生长”网络研讨会｜使用 GPU 和 VPU 等异构硬件加速视频转码
在此背景下，企业对极高效率、极低延迟的追求与传统硬件瓶颈、算力闲置的现状发生冲突，如何高效组合异构硬件，充分提高硬件利用率，降低成本，就成为当下值得思考的一个问题。 云计算中的计算资源来自不同的硬件，其中最具代表性的就是 CPU 和 GPU，以及后期兴起的VPU、NPU、TPU 等专业计算硬件。 而每种硬件都有不同的特性和使用成本，直接决定任务调度模块的设计与实现。 青云云点播服务中的转码服务（公测期间免费），就是 GPU 在视频转码中的实际应用。 本次研讨会，我们邀请到了青云科技音视频技术专家李小文，为大家分享 GPU、VPU 等异构硬件在视频转码服务中的应用与实践。 李小文 青云科技顾问级研发工程师，主导青云音视频处理相关技术架构设计。
70110编辑于 2022-08-29 - 来自专栏全栈程序员必看
“多源异构”和“异构同源”定义区分详解「建议收藏」
“多源异构”和“异构同源”定义区分详解 一、多源异构 1、定义 2、示例解释 二、异构同源 1、定义 2、示例解释 三、综合举个简单栗子： 叮嘟！这里是小啊呜的学习课程资料整理。 一、多源异构 1、定义 多源异构简单而言就是指一个整体由多个不同来源的成分而构成，既有混合型数据（包括结构化和非结构化）又有离散性数据（数据分布在不同的系统或平台），互联网就是一个典型的异构网络，融合传播矩阵就是一个典型的多源异构数据网络 从简单的文件数据库到复杂的网络数据库构成了媒体的异构数据源。 二、异构同源 1、定义 异构同源不强求物理上的集中，而是保持组织数据的分布现状，将各个系统的数据通过接口包装成服务，注册到组织服务总线，通过组织服务总线提供统一的数据服务，从而实现数据在逻辑上的整合。 就汽车零部件生产渠道数据、行驶数据而言可以说这辆汽车的数据是多源异构的。
5K20编辑于 2022-08-02 传统集成异构和集成平台异构有什么区别？
为了实现数据的互联互通和业务的顺畅运行，异构系统的集成成为了企业信息化建设的必然选择。然而，传统异构和集成平台异构在实现方式和效果上存在显著差异。传统集成异构与集成平台异构的对比1. 实施难度与成本传统集成异构：对于企业用户而言，传统异构系统的实施难度较大，需要为每个系统单独开发适配器或API，这不仅耗时长、成本高，而且容易出错。此外，随着系统数量的增加，维护成本也会呈指数级增长。 集成平台异构：相比之下，集成平台异构的实施难度较低，成本也更可控。企业只需通过统一的集成平台接入各个异构系统，无需为每个系统单独开发适配器。这大大降低了实施难度和成本，同时也提高了系统的可维护性。 灵活性与响应速度传统集成异构：传统异构系统在面对业务变化时，灵活性较差。新增系统或修改现有系统的接口需要耗费大量时间和资源，无法快速响应业务需求的变化。 集成平台异构：集成平台异构具有更高的灵活性和响应速度。企业可以通过集成平台轻松实现系统的新增、修改和删除，快速响应业务变化。这有助于企业在激烈的市场竞争中保持领先地位。3.
56921编辑于 2024-08-13- 来自专栏AngelNI
异构信息网
异构信息网(HIN) 信息网络(Information Network) 信息网络是带有对象类型映射ϕ: V → A和链接映射ψ: E → R的有向图G=(V,E)。 异构/同构信息网络(Heterogeneous/homogeneous information Network) 如果|A| > 1 或者 |R| > 1 ，则该信息网络为异构信息网络，或简称为异构网络 比如下面的例子： 网络模式(Network schema) 异构信息网络（G = (V, E)with ϕ(v) ∈ A 并且 ψ(e) ∈ R）的network schema TG = (A, R)， 要指定objects和links的类型约束，就是这种约束使得异构网络变为半结构化。
87810发布于 2020-04-16 - 来自专栏暴走大数据
HDFS异构存储简介
前言 ---- Hadoop在2.6.0版本中引入了一个新特性异构存储.异构存储关键在于异构2个字.异构存储可以根据各个存储介质读写特性的不同发挥各自的优势.一个很适用的场景就是上篇文章提到的冷热数据的存储 2套独立的集群来存放冷热2类数据,在一套集群内就能完成.所以这个功能特性还是有非常大的实用意义的.本文就带大家了解HDFS的异构存储分为哪几种类型,存储策略如何,HDFS如何做到智能化的异构存储. 异构存储类型 ---- 上文提到了多次的异构这个名词,那么到底异构存储分为了种类型呢,这里列举一下HDFS中所声明的Storage Type. 异构存储原理 ---- 了解完了异构存储的多种存储介质之后,我们有必要了解一下HDFS的异构存储的实现原理.在这里会结合部分HDFS源码进行阐述.概况性的总结为3小点: DataNode通过心跳汇报自身数据存储目录的 总结 ---- HDFS异构存储功能的出现绝对是解决冷热数据存储问题的一把利器,希望通过本文能给大家带来全新的认识和了解.
2.6K40发布于 2020-08-04 - 来自专栏OpenFPGA
异构计算综述
本文主要介绍了CPU+GPU基础知识及其异构系统体系结构（CUDA）和基于OpenCL的异构系统，并且总结了两种结构的特点，从而对异构计算有了更深的理解。 Flynn的分类法在硬件定义了四个级别的并行：（1）单指令单数据（SISD）（2）单指令多数据流（SIMD）（3）多指令单数据（MISD）（4）多指令多数据（MIMD） 此外，两个细分MIMD单程序多数据 FPGA和GPU/CPU对比具有以下不同： 1.软件定义的硬件架构：GPU/CPU硬件固定，其并行性设计是适应固定硬件。 而FPGA的硬件逻辑可以通过软件动态改变，从硬件的角度来适配软件，从而获得更高的计算性能。 2.更高并行性、能效比：FPGA拥有更丰富的计算资源组件，从而能够满足更多并行计算需求。 OpenCL带来了FPGA的编程革命：提高了FPGA的可编程性，将程序员从复杂的硬件电路设计中解救出来，更专注于系统/算法的设计。
4.5K30编辑于 2022-01-10 - 来自专栏Reinvent Data Science
异构计算系列（二）：机器学习领域涌现的异构加速技术
（按照通用性从高到低排序）本文是 异构计算系列 的第二篇文章，重点介绍机器学习领域涌现的异构加速技术。 机器学习与异构计算 在机器学习领域，异构计算技术的应用是近年来备受产业界和学术界关注的话题。在数据高速增长的背景下，异构计算技术是提升机器学习应用开发流程中“人”与 “机”的效率的重要途经。 异构加速技术对“人”与“机”的效率带来了巨大的提升空间。当前的异构加速算法覆盖了数据整合、特征提取、模型训练等环节。 异构计算资源调度与列式处理这两项内容为 Spark 核心组件的异构加速工作奠定了良好的基础。此外，也为有定制需求的高级用户提供了异构加速 UDF 的条件。 但异构计算技术在人工智能领域仍处于快速发展期，进一步丰富工具链以及完善与已有生态的整合是异构计算技术加速落地的重要挑战。
1.4K30发布于 2020-04-01 - 来自专栏学习
【机器学习】---异构数据融合
本文将详细讨论异构数据融合的概念、常用的技术手段、挑战以及代码示例。 2. 异构数据融合的概念 异构数据是指数据在格式、维度、来源等方面存在差异。 根据异构性的不同，可以将异构数据大致分为以下几类： 模态异构：不同类型的数据模态，例如文本、图像、音频等。 结构异构：数据的结构形式不同，如关系型数据库中的表数据与社交网络中的图数据。 时间异构：数据的时间分布不同，例如历史数据与实时数据的融合。 空间异构：数据来自不同的地理位置，或具有空间相关性。 分辨率异构：数据的精度或粒度不同，例如卫星图像中的低分辨率和高分辨率图像。 异构数据融合的挑战 虽然异构数据融合在理论上可以带来显著的性能提升，但在实际应用中依然面临着诸多挑战： 4.1 数据预处理与对齐 异构数据可能具有不同的时间和空间分布，因此在进行融合之前，需要进行数据对齐 总结 异构数据融合在机器学习中具有广泛的应用前景，但其复杂性也带来了许多挑战。通过采用合适的融合策略和算法，结合对实际问题的深刻理解，可以充分发挥异构数据的潜力，提高模型的预测性能。
1K10编辑于 2024-10-01 - 来自专栏linux运维
硬件维护问题：硬件维护不当，导致硬件故障
检查当前硬件状态首先，我们需要检查当前系统的硬件状态。 常见的硬件维护问题及解决方案2.1 硬盘维护不当问题：硬盘维护不当，导致数据丢失或性能下降。解决方案：定期检查硬盘健康状态，备份重要数据。 2.6 散热维护不当问题：散热维护不当，导致硬件过热或性能下降。解决方案：定期清理散热器和风扇，确保散热良好。示例：使用压缩空气清理散热器和风扇：关闭计算机并断开电源。 2.7 环境维护不当问题：环境维护不当，导致硬件受潮或积尘。解决方案：保持良好的工作环境，避免潮湿和灰尘。示例：保持机房通风良好，使用防尘网和除湿器。3. 使用自动化工具进行硬件维护工具：Ansible介绍：Ansible 是一个自动化工具，可以用于远程管理和配置多台主机。
87310编辑于 2025-02-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号