首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Python进阶之路

    什么是异构计算架构

    异构计算架构是一种计算系统设计理念,它结合了使用不同类型指令集和体系架构的计算单元,例如 CPU、GPU、NPU、DSP、ASIC 和 FPGA,以实现高效的计算性能和能耗比。 这种架构允许这些不同的计算单元共享一个统一的内存系统,但要求程序必须为每种不同的指令集分别编写,以充分利用每个计算单元的特点和优势。 在实际应用中,异构计算架构已经被广泛应用于多个领域,其中自动驾驶、深度学习和大数据处理是最典型的应用场景。这些应用场景通常需要极高的计算能力和低能耗,异构计算正好能满足这些需求。 异构计算还涉及到特定的编程模型和软件架构,如 OpenCL 和 CUDA,这些技术旨在简化异构计算环境下程序的开发和优化。 总的来说,异构计算架构通过结合使用具有不同指令集和体系架构的多种计算单元,为解决高性能计算和能效优化提供了一种有效的手段。随着计算需求的不断增长和技术的进步,异构计算将继续在各个领域发挥重要作用。

    2.6K00编辑于 2024-05-25
  • 来自专栏研发管理经验

    异构系统才是企业架构的雨林法则

    别再做技术统一的美梦了:异构系统才是企业架构的雨林法则那些妄图用一套技术栈统一全公司的架构师,就像想把雨林改造成麦田的农夫——看似整齐划一,实则脆弱不堪。如果您时间有限,请查看下面这张图就足够。 企业的异构系统也需要这种"世界语"。 做热带雨林的守护者,不做麦田的独裁者上周,老李在年度述职上展示了数据:系统稳定性从99.5%提升到99.95%新功能上线周期从30天缩短到7天技术债务导致的故障减少73%技术总监最后问:"如果再来一次,你还会选择异构架构吗 优秀的架构不是消灭差异,而是驾驭差异。" API网关(哪怕只代理2个服务)写一份《接口设计规范》,先在小团队试行订阅一个事件驱动架构的Newsletter,持续学习长期坚持:每季度做一次架构复盘,淘汰不合理的设计培养1-2个跨技术栈的全栈架构师记住

    53151编辑于 2025-12-23
  • 来自专栏GPUS开发者

    HSA 异构计算系统架构 1.0 标准发布

    随后 "Fusion" 进化成名为 HSA (Heterogeneous System Architecture,异构计算系统架构)的技术标准,同时吸纳 ARM、Imagination、MTK、Qualcomm 今天,HSA 基金会正式发布了 HSA 1.0 技术标准,标准中包含: HSA 1.0 硬件标准定义 HSA 程序示例和编译工具 HSA 运行环境 该标准内包含 ARM、x86 和 MIPS 等多种架构处理器

    1.8K60发布于 2018-03-30
  • 来自专栏机器之心

    飞桨推出异构参数服务器架构异构硬件高效组合,训练速度提升65%以上

    图 5:异构参数服务器架构示意图 异构参数服务器架构的原理 如之前所述,在传统参数服务器模式下,前向及反向步骤在 Trainer 端完成,参数更新在 Server 端完成。 图 6:传统参数服务器架构异构改造 值得注意的是,异构参数服务器架构并不只是简单的将计算任务拆分。拆分后,异构硬件间的通信代价高的问题也需要解决。为了解决这个问题,飞桨的整个传输通信过程得到了优化。 这一特点也使异构参数服务器架构非常适合部署在云上异构集群场景中。 ? 使用 4 台 CPU 机器作 Trainer 的非异构参数服务器架构(PS-CPU)。 使用 4 台 GPU 机器作 Trainer 的非异构参数服务器架构(PS-GPU)。 上手体验 为了能让广大用户快速上手异构参数服务器训练架构,飞桨在操作方面做的也比较简单,不仅配有成熟的脚本么,并且仅需要补充简单的几行代码,就可以将传统参数服务器训练架构修改为异构参数服务器架构

    1.2K31发布于 2020-11-13
  • 来自专栏相约机器人

    飞桨推出异构参数服务器架构异构硬件高效组合,训练速度提升65%以上

    图 5:异构参数服务器架构示意图 异构参数服务器架构的原理 如之前所述,在传统参数服务器模式下,前向及反向步骤在 Trainer 端完成,参数更新在 Server 端完成。 图 6:传统参数服务器架构异构改造 值得注意的是,异构参数服务器架构并不只是简单的将计算任务拆分。拆分后,异构硬件间的通信代价高的问题也需要解决。为了解决这个问题,飞桨的整个传输通信过程得到了优化。 这一特点也使异构参数服务器架构非常适合部署在云上异构集群场景中。 ? 使用 4 台 CPU 机器作 Trainer 的非异构参数服务器架构(PS-CPU)。 使用 4 台 GPU 机器作 Trainer 的非异构参数服务器架构(PS-GPU)。 上手体验 为了能让广大用户快速上手异构参数服务器训练架构,飞桨在操作方面做的也比较简单,不仅配有成熟的脚本么,并且仅需要补充简单的几行代码,就可以将传统参数服务器训练架构修改为异构参数服务器架构

    90820发布于 2020-11-13
  • 来自专栏软硬件融合

    异构计算时代的操作系统架构初探

    因此,引出了我们今天要讨论的话题:在超异构计算时代,操作系统架构会有哪些改变? 2 操作系统视角看超异构计算架构 2.1 超异构计算简介 从单核串行到(同构)多核并行,再从同构的多核并行到异构的多核并行。而典型的异构多核也有CPU+GPU以及CPU+DSA两大类模式。 2.2 超异构计算机的功能模块分类 在经典计算机架构下,我们划分了三个模块:CPU处理器、I/O设备和内存。在超异构架构下,我们做一些调整: 内存和I/O设备保持不变,跟经典计算机的作用一致。 在以CPU为中心架构下,加速处理器是跟I/O类似的外围设备;在超异构计算以数据为中心架构下,加速处理器是和CPU功能类似的对等的计算处理器。 2.4 超异构操作系统分层架构 根据1.1节的经典操作系统分层架构,我们可以给出一个典型的超异构操作系统的分层架构图。除了经典计算机的各种功能组件之外,还需要加入GPU、各类DSA的相关软件栈。

    1.6K20编辑于 2023-02-28
  • 别再做技术统一的美梦了:异构系统才是企业架构的雨林法则 image.png 异构系统

    别再做技术统一的美梦了:异构系统才是企业架构的雨林法则 那些妄图用一套技术栈统一全公司的架构师,就像想把雨林改造成麦田的农夫——看似整齐划一,实则脆弱不堪。 如果您时间有限,请查看下面这张图就足够。 他用了个比喻: "咱们的系统架构就该像亚马逊雨林,不是北方的白桦林。"

    14910编辑于 2025-12-23
  • 来自专栏技术运维分享

    异构计算架构师眼中的AI算法(object detection)

    虽然detection在classification基础上焕发了春天,但算法的复杂度确实增加了不少。对于底层平台来说,虽然看起来还是一堆卷积,但图片的增大,带来了一些列问题。

    49130发布于 2021-07-15
  • 来自专栏cwl_Java

    系统架构师论文-论异构数据库的集成

    本文首先讨论了建立数据集市项目异构数据库的两个数据库系统的背景以及用户対该项目的需求。 通过我们対用户需求的分析,対数据分布的理解,觉得了在集成异构数据库层的时候,我们采用尽量保护数据的原则。 通过这样的数据划分后,我们就等到的很好的数据分层结构,为下面进行异构数据库业务逻辑集成莫定了重耍的基础。 二、E71调度程序的异构数据库处理。 三、异构SQL的函数处理。 这样,我们完成了异构数据库集成的中的SQL异构的处理。

    1.2K10发布于 2019-10-26
  • 来自专栏科技云报道

    深度 | 私有云架构设计中的重中之重——虚拟化异构

    前文(探讨 | 企业级IaaS私有云平台异构资源纳管)提到的物理机异构之外,私有云架构设计中更常见的是虚拟化异构。 此时,讨论虚拟化异构解决方案就显得尤为必要。 虚拟化异构 目前主流的虚拟化软件有几种: VMWare 属于商业虚拟化软件,虚拟化的老大,以功能丰富、性能好、可靠性高著称。 能否支持X86虚拟化异构异构的支持深度和广度是衡量一个云资源管理平台(区别与云服务管理平台)的一个重要标准。 和物理机异构的实现架构类似,同样采用两层抽象的方式实现对于虚拟化资源的纳管、分配、调度、监控等管理功能。 以上是本人对IaaS平台建设过程中架构设计的一些看法、异构资源统一纳管的解决办法,供大家参考,各位可以结合自身的实际情况加以考虑。 【科技云报道独家首发】

    3.4K10编辑于 2022-04-12
  • 来自专栏AI SPPECH

    CPUGPU 协同:vLLM的异构计算架构深度解析

    作者:HOS(安全风信子) 日期:2026-01-19 来源平台:GitHub 摘要: 本文深入剖析vLLM框架中CPU/GPU协同计算的核心机制,重点探讨异构计算架构、异步数据传输和Pinned 内存管理复杂性:异构计算需要管理CPU内存和GPU内存两种不同的内存空间,内存分配和释放的复杂性增加。 多线程架构设计:采用了高效的多线程架构,充分利用CPU多核优势,提高了系统的并发处理能力。 智能调度机制:实现了智能的请求调度机制,根据CPU和GPU的负载情况动态调整请求分配策略。 2. 2.3 高效的工作负载分配:充分发挥异构计算优势 vLLM优化了CPU和GPU之间的工作负载分配,实现了两者的高效协同。 技术深度拆解与实现分析 3.1 CPU/GPU协同的架构设计 vLLM的CPU/GPU协同架构可以分为以下几个核心组件: 架构解析: RequestHandler:负责处理客户端请求,包括请求解析、数据预处理和结果后处理

    43710编辑于 2026-01-27
  • 来自专栏爬虫资料

    新闻聚合项目:多源异构数据的采集与存储架构

    然而,事实远比这复杂:在新闻聚合项目中,多源异构数据的清洗与存储架构往往决定了项目的成败。仅靠单纯的抓取技术不仅容易遭遇网站封禁,还可能因数据混杂、格式不统一而导致后续处理困难。 简单的聚合方式无法处理异构数据之间的语义差异,只有通过智能化的数据处理算法,才能真正提取出新闻热点和有效信息。 分析与未来预测在正反两方激烈讨论之后,中间立场的观点是:新闻聚合项目必须综合利用代理IP技术、Cookie 和 User-Agent 的精细调控,并辅以多层次、智能化的数据清洗与存储架构。 count}")结论通过本文的讨论和代码示例,我们可以看到,新闻聚合项目不仅仅依赖于数据的简单抓取,而更在于如何通过代理IP、Cookie 与 User-Agent 的精细调控,结合智能数据清洗与存储架构 ,实现对多源异构数据的有效整合。

    39310编辑于 2025-03-19
  • 来自专栏数据集成与分析

    【KPaaS】异构系统集成提速:重构企业数据流转架构

    然而,分散的异构系统(ERP、CRM、MES、SaaS 等)导致的数据割裂严重制约了数据分析的实时性和决策的准确性。对于企业而言,提升数据集成效率是确保数据资产价值最大化的首要任务。 本文将从技术架构层面出发,探讨实现高效数据集成所必须关注的关键能力和实施策略。 高效数据集成架构的核心要求传统的数据集成模式(如硬编码ETL脚本或点对点接口)在面对系统数量激增和数据异构性增强时,维护成本和开发周期呈指数级增长。 平台化的实践价值分析具备扩展性能的数据集成平台一套完整的数据集成分析应用解决方案,尤其适用于复杂异构环境下的数据整合。 在实践中通过其架构实现效率提升:输入层全覆盖: 通过集成 API 输入、DB 数据输入组件、金蝶 K/3Cloud 接口输入等,提供广泛的连接能力。

    21910编辑于 2025-11-13
  • 2026年异构环境下ITSM系统技术选型与架构适配指南

    2026 年,企业 IT 架构进入 “混合异构 + 智能运维 + 信创深化” 三重叠加阶段,传统物理机、虚拟化、K8s 容器云与信创环境并存的格局,使得 IT 服务管理面临 “环境割裂、流程异构、数据孤岛 IT 服务管理(ITSM)系统作为打通全栈 IT 环境的关键枢纽,其核心价值并非单纯的 “工单处理工具”,而是通过统一技术架构实现异构环境的协同管理、流程的自动化编排、全角色的协同赋能,为数字化转型提供底层技术支撑 技术适配场景:混合云、分布式架构与信创环境并存的中大型企业,尤其适配金融、能源、政务、交通等关键行业的异构环境管理需求。 、云原生、信创等异构架构? 四、ITSM 技术选型常见问题(FAQ)Q1:混合架构(传统 + 云原生 + 信创)并存,技术层面该如何选择 ITSM 系统?核心在于系统的异构环境统一适配能力。

    36010编辑于 2026-01-19
  • 来自专栏公有云大数据平台弹性 MapReduce

    HDFS 异构存储

    需求 Hadoop 从 2.4 后开始支持异构存储,异构存储是为了解决爆炸式的存储容量增长以及计算能力增长所带来的数据存储需求,一份数据热数据在经历计算产生出新的数据,那么原始数据有可能变为冷数据,随着数据不断增长差异化存储变的非常迫切 需要经常被计算或者读取的热数据为了保证性能需要存储在高速存储设备上,当一些数据变为冷数据后不经常会用到的数据会变为归档数据,可以使用大容量性能要差一些的存储设备来存储来减少存储成本,HDFS 可以按照一定的规则来存储这些数据,具体架构如下

    4.5K21发布于 2017-07-28
  • hadoop异构存储

    ·Hadoop异构存储是一种基于HDFS的存储优化技术,通过将不同热度的数据分配到不同类型的存储介质上实现性能与成本的平衡。 以下是其核心原理和实现方式: 一、核心概念 ‌异构存储基本原理‌:Hadoop集群允许使用SSD、HDD、ARCHIVE等多种存储介质,根据数据的访问频率(热/温/冷)匹配对应的存储类型,例如SSD存储频繁访问的热数据 hdfsdata -policy WARM # 查看块分布 hdfs fsck /hdfsdata -files -blocks -locations ‌配置文件调整‌ 修改hdfs-site.xml以启用异构存储 策略变更后数据移动可能需要触发条件(如写入、Balancer运行)才会生效; ‌策略继承规则‌:目录的存储策略默认继承父目录,根目录默认为HOT3; ‌版本兼容性‌:需Hadoop 2.6+版本支持,部分特性(如HBase WAL异构存储 通过上述机制,Hadoop异构存储实现了存储资源的智能调度,兼顾性能需求和成本控制。

    30810编辑于 2025-12-23
  • 来自专栏松华说

    谈谈数据异构

    这就是我今天要和大家讨论的数据异构,将数据进行异地异构存储,比如说需要整合多张表数据构成一条记录然后异地存储。 我们先来看下第一种方案,就是双写,业务代码在对数据库操作时同步缓存。 那有没有更好的方案完成数据异构呢?答案就是利用Mysql的binlog日记。 可以看出binlog日记具备高可靠性、低时延性,所以我们可以利用binlog日记来完成数据异构。 好,今天我主要和你讨论了关于如何利用数据异构实现多级缓存,这个技术还可以解决下面这种问题,比如数据库分库分表后如何进行数据迁移,当然后者的实现更加复杂,需要考虑数据校验问题,就不再展开了。

    3.6K30发布于 2019-12-03
  • 异构多活架构引领医疗信创:浙人医案例解析

    电科金仓以“异构多活容灾架构”为核心的技术体系,不仅助力浙人医突破瓶颈,打造国内首个LIS系统国产化异构多院区多活改造案例,更构建了一套适配集团化医院信创的“全链路解决方案”,为行业提供了可落地的技术范本 二、异构多活架构铸就安全底座 针对浙人医的痛点,电科金仓基于医疗行业特性与集团化医院需求,打造以“异构多活”为核心的技术路线,在完美替代原非信创业务系统的同时,让浙人医数据安全和处理效率有了质的提升。 、双轨并行架构,平衡安全与效率; 依托KFS等工具实现低侵扰改造,减少对现有业务的冲击。 此次与浙人医的合作,再次证明金仓数据库不仅能够替代国外产品,更能通过架构创新解决医疗场景的特殊需求。 电科金仓的异构多活架构,也将持续为更多集团化医院破解信创难题,为构建自主可控的医疗信息化体系注入核心动力。 五、电科金仓数据库常用sql语句 1.

    13810编辑于 2026-01-22
  • 来自专栏公共互联网反网络钓鱼(APCN)

    异构邮件安全架构融合:VIPRE与Microsoft Defender集成机制研究

    企业级安全架构正逐渐从“单点防御”向“多层联动、异构互补”的纵深防御模式演进。 为了应对这一挑战,引入第二层异构邮件安全网关(SEG)或云过滤服务已成为业界共识。 最后,文章将展望异构安全融合的未来趋势,并提出相应的实施建议。 VIPRE与Microsoft Defender集成架构与技术机理3.1 集成架构概述VIPRE与Microsoft Defender的集成采用了基于RESTful API的云对云(Cloud-to-Cloud )架构

    11110编辑于 2026-03-20
  • 深入理解 CANN:为 AI 量身打造的异构计算架构

    深入理解 CANN:为 AI 量身打造的异构计算架构 在人工智能飞速发展的今天,模型越来越复杂,算力需求呈指数级增长。 而 CANN(Compute Architecture for Neural Networks) 正是为解决这一问题而生的一套高性能异构计算架构。 CANN 是一套专为神经网络计算设计的软硬件协同架构。它不是一个单一的库或工具,而是一个完整的全栈解决方案,覆盖从底层驱动、运行时调度、算子优化到上层开发接口的整个链条。 架构分层:从硬件到开发者的桥梁 CANN 采用清晰的分层设计: 硬件抽象层(HAL) 运行时系统(Runtime) 高性能算子库 图编译与优化引擎 开发与调试工具链 这种“全栈打通”的设计,使得开发者既能快速上手

    27710编辑于 2026-02-09
领券