首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • CANN 编译器深度解析(一):从 ONNX 到 CANN IR 的图优化全流程

    CANN 编译器深度解析(一):从 ONNX 到 CANN IR 的图优化全流程 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 当你运行: atc --model =resnet50.onnx --output=resnet50_cann 几秒后,一个高性能 .om 文件诞生。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    12810编辑于 2026-02-09
  • 来自专栏繁依Fanyi 的专栏

    OrangePi 安装 CANN 套件及体验 AI 应用

    CANN 环境安装(桌面端跳过) CANN 环境存在于下载页面的官方工具中,点击下载即可进入下载页面。 CANN 安装包就在倒数第二项,下载后传到开发板上。 给 CANN 安装包赋予运行权限并运行即可。 chmod +x Ascend-cann-toolkit_7.0.0_linux-aarch64.run . /Ascend-cann-toolkit_7.0.0_linux-aarch64.run 注意 OpenGauss 与 Ubuntu 桌面端的系统都是已经安装过 CANN 的,只有 minimal 是需要安装的 通过这些 Demo,您可以体验到 CANN 平台在 AI 应用中的强大功能。希望宝子们能通过这些示例快速上手并应用于实际项目中。

    48910编辑于 2024-06-06
  • CANN:迈向 AI 原生计算的新范式

    相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、为什么需要“AI 原生”架构? 二、CANN 的“垂直整合”四层模型 CANN 并非单一组件,而是一个端到端协同系统,可划分为四个紧密耦合的层级: 1. 三、典型案例:Transformer 的 CANN 优化路径 以标准 Transformer Encoder 为例,看 CANN 如何层层优化: 组件 传统执行方式 CANN 优化方式 LayerNorm 四、CANN 不只是加速器,更是“AI 操作系统” 更深远的意义在于:CANN 正在演变为AI 时代的操作系统抽象层。 而 CANN,正在这条路上坚定前行。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    14010编辑于 2026-02-09
  • CANN 实战:构建高并发智能视频分析系统

    相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、系统架构概览 [RTSP 视频流] ↓ [FFmpeg 解码] → [帧队列] ↓ [CANN 预处理引擎] → [归一化 + Resize + HWC→CHW] ↓ [CANN 推理引擎] → [YOLOv8 + OSNet + ST-GCN] ↓ [ 二、关键挑战与 CANN 应对策略 挑战 CANN 解决方案 多路解码 CPU 占用高 使用硬件编解码器(VDEC),释放 CPU 预处理成为瓶颈 CANN 提供 DVPP(Device Vision ("yolov8", "yolov8_cann.om") pipe.add_model("osnet", "osnet_cann.om") pipe.add_model("stgcn", "stgcn_cann.om 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    10110编辑于 2026-02-09
  • 守护智能边界:CANN 的 AI 安全机制深度解析

    守护智能边界:CANN 的 AI 安全机制深度解析 当一个 AI 模型被部署到边缘设备或第三方服务器时,它就不再“安全”。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、安全架构全景图 CANN 的安全能力可划分为四个层级: [应用层] → 模型加密 + API 访问控制 模型加密与授权加载 CANN 支持对编译后的 .om 模型文件进行 AES-256 加密,并绑定设备指纹或授权证书。 定期轮换密钥 通过 CANN 的密钥管理服务(KMS)集成,实现自动化轮换。 CANN 通过硬件可信根 + 软件纵深防御,为 AI 应用构筑了一道看不见却坚不可摧的防线。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    16510编辑于 2026-02-09
  • CANN 实战:自然语言处理(NLP)全链路加速指南

    CANN 实战:自然语言处理(NLP)全链路加速指南 在 AI 应用中,如果说计算机视觉是“看懂世界”,那么自然语言处理(NLP)就是“理解人类”。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、典型 NLP Pipeline 与瓶颈分析 标准 NLP 推理流程: [原始文本] ↓ [分词(Tokenizer CANN 针对每一环节提供优化。 二、CANN 的 NLP 专属优化技术 1. 四、性能对比:CANN vs 通用方案 模型 平台 延迟(ms) 吞吐(QPS) 显存(MB) XLM-RoBERTa CANN (FP16) 98 215 1,020 XLM-RoBERTa TensorRT 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    8310编辑于 2026-02-09
  • 深入理解 CANN:为 AI 量身打造的异构计算架构

    cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 什么是 CANNCANN 可自动将它们融合为一个复合算子。 但在 CANN 支持的后端(如通过 ONNX 导出 + CANN Runtime 加载),这三个操作会被自动融合为一个高效算子,无需修改模型代码! 开发者无需手动重写模型,只需在部署阶段启用 CANN 的图优化引擎,即可获得性能提升。 ✅ 2. 多精度混合计算:INT8 量化实战 CANN 支持一键量化,大幅降低推理延迟与功耗。 步骤 3:在应用中加载量化模型 from cann_inference import Model # 假设为 CANN 提供的 Python 接口 model = Model("model_quant.om

    17910编辑于 2026-02-09
  • CANN 技术全景图:构建自主可控的 AI 全栈底座

    CANN 技术全景图:构建自主可控的 AI 全栈底座 在“算力自主”成为国家战略的今天,一个完整的 AI 软件栈必须回答三个问题: 能否高效利用国产芯片?(硬件亲和) 能否支撑前沿算法演进? 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、CANN 全栈架构五层模型 每一层都承担关键职责,共同构成“训推一体、云边协同”的 AI 底座。 三、CANN 的差异化优势 维度 通用 GPU 方案 CANN 方案 全栈可控 驱动/编译器闭源 从芯片到应用全自研 能效比 高性能但高功耗 同性能下功耗低 30~50% 边缘部署 依赖 Jetson 结语:全栈之力,方成自主之基 CANN 的意义,远不止于“一个推理引擎”。它代表了一种系统性思维——从晶体管到行业应用,每一层都为 AI 而生,每一环都可自主演进。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    13310编辑于 2026-02-09
  • CANN 能效分析:如何实现 10 TOPSW 的极致能效比

    CANN 能效分析:如何实现 10 TOPS/W 的极致能效比 当一台边缘 AI 盒子部署在无风扇的配电柜中,或一辆无人配送车需连续运行 12 小时,性能不再是唯一目标——能效才是生存底线。 CANN 宣称在典型 CV 负载下可达 10+ TOPS/W(FP16),远超 GPU 的 2~4 TOPS/W。这背后,是一套从晶体管到算法的全栈能效优化体系。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、能效比定义与行业基准 能效比(Energy Efficiency) = 有效算力(TOPS) / 功耗(W) ) 10.2 TOPS/W 工业边缘 Ascend 910B(CANN) 9.7 TOPS/W 云训练/推理 数据来源:MLPerf Inference v4.0 + 华为官方白皮书(2025) CANN 通过专用架构、存储优化、动态调控与量化技术,将每瓦特电力转化为最大智能价值。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    19410编辑于 2026-02-09
  • 来自专栏Nicky's blog

    云电脑深度玩转CANN:从环境适配到图像分类案例实现

    云电脑深度玩转CANN:从环境适配到工业级应用落地全指南 CANN(Compute Architecture for Neural Networks)作为华为面向AI异构计算场景的核心架构,凭借端云一致的特性 但云电脑环境下的权限限制、资源隔离、网络约束等问题,成为不少开发者上手CANN的拦路虎。 本文基于实际开发经验,对CANN在云电脑中的部署、开发、优化进行超详细拆解,从每一步命令的原理到代码的逐行解释,再到复杂场景的问题排查,带你零门槛吃透CANN开发。 的远程API调用(如云环境中获取模型元数据) libboost-all-dev:增强CANN的多线程调度与内存管理能力(并行推理场景必备) (2)驱动安装:分场景深度适配 驱动是CANN与硬件交互的桥梁 验证编译器(ccec是CANN的内核编译器) ccec --version # 预期输出:HUAWEI CANN Compiler V7.0.0 Build XXX # 5.

    26310编辑于 2025-12-17
  • 为什么所有NPU开发者都绕不开 CANN?一文讲透

    第1章为什么关心CANN?1.1CANN是什么? 1.2CANN为什么值得关注?为什么最近你读这篇文章,甚至对CANN感兴趣,非常有价值? 这就是CANN性能的第一来源。 它是CANN性能与稳定性的核心保障之一。 下面,我们从三个更真实的问题切入:为什么同一个模型,用CANN跑会更快?为什么企业的多用户并发、海量文档处理、大模型在线推理,都离不开CANN

    61690编辑于 2025-12-11
  • CANN:华为全栈AI计算框架的深度解析(终极扩展版 · 完整篇)

    CANN:华为全栈AI计算框架的深度解析(终极扩展版 · 完整篇) 文章大纲图 CANN:华为全栈AI计算框架的深度解析 ├── 引言 │ ├── CANN概述 │ ├── 发展历程与版本演进 发展历程与版本演进 版本 发布时间 关键特性 CANN 1.0 2018年 初步支持Ascend 310/910,基础ACL接口 CANN 3.0 2020年 引入GE图引擎,支持TensorFlow/ PyTorch CANN 5.0 2022年 开放Ascend C语言,支持自定义算子 CANN 6.0 2023年 支持大模型训练,引入NB1.0通信协议 CANN 8.0/8.2 2024–2025 硬件兼容性 CANN全面支持华为昇腾全系列AI处理器: 芯片型号 算力(FP16) 典型应用场景 CANN支持情况 Ascend 310 8 TOPS 边缘推理、摄像头、无人机 ✅ 完整支持 Ascend ✅ CANN Lite 支持 所有芯片均通过统一ACL接口访问,开发者无需修改代码即可迁移。

    60510编辑于 2025-12-23
  • 来自专栏CSDNToQQCode

    2025年7月29日CANN通过msopgen创建算子项目

    未配置默认为required。 format 列表 针对类型为Tensor的参数,配置为Tensor支持的数据排布格式。 包含如下取值: ND、NHWC、NCHW、HWCN、NC1HWC0、FRACTAL_Z等。 说明 format与type需一一对应。若仅填充其中一项的唯一值,msOpGen工具将会以未填充项的唯一输入值为准自动补充至已填充项的长度。例如用户配置为format:["ND"] /type:["fp16","float","int32"],msOpGen工具将会以format的唯一输入值("ND")为准自动补充至type参数的长度,自动补充后的配置为format:["ND","ND","ND"]/type:["fp16","float","int32"]。 type 列表 算子参数的类型。

    20710编辑于 2025-12-16
  • 来自专栏Nicky's blog

    云电脑玩转 CANN 全攻略:从环境搭建到创新应用落地

    云电脑深度玩转CANN:从环境适配到工业级应用落地全指南 CANN(Compute Architecture for Neural Networks)作为华为面向AI异构计算场景的核心架构,凭借端云一致的特性 但云电脑环境下的权限限制、资源隔离、网络约束等问题,成为不少开发者上手CANN的拦路虎。 本文基于实际开发经验,对CANN在云电脑中的部署、开发、优化进行超详细拆解,从每一步命令的原理到代码的逐行解释,再到复杂场景的问题排查,带你零门槛吃透CANN开发。 的远程API调用(如云环境中获取模型元数据) libboost-all-dev:增强CANN的多线程调度与内存管理能力(并行推理场景必备) (2)驱动安装:分场景深度适配 驱动是CANN与硬件交互的桥梁 验证编译器(ccec是CANN的内核编译器) ccec --version # 预期输出:HUAWEI CANN Compiler V7.0.0 Build XXX # 5.

    51910编辑于 2025-11-14
  • 多模态大模型落地实战:CANN 如何加速 Vision-Language 推理?

    多模态大模型落地实战:CANN 如何加速 Vision-Language 推理? 当 AI 能同时“看图说话”、“以文搜图”、“理解视频语义”,人机交互便迈入新纪元。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、多模态大模型的推理挑战 典型 VLM 架构(如 LLaVA / Qwen-VL)包含: 视觉编码器(ViT 二、CANN 的 VLM 专属优化策略 1. 四、性能对比:CANN vs 通用 GPU 方案 模型 平台 显存 首 token 延迟 生成速度 功耗 Qwen-VL-Chat CANN (INT8/FP16) 11.2 GB 320 ms 28 而 CANN 通过软硬协同、内存统一、动态优化,让这些“庞然大物”得以在真实世界中高效运行。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    14110编辑于 2026-02-09
  • CANN × ROS 2:为智能机器人打造实时 AI 推理底座

    相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、为什么 CANN + ROS 2 是黄金组合? 模型 ├─ yolov8_cann.om → 目标检测 ├─ pointnet_cann.om → 点云分割 └─ whisper_tiny_cann.om → 语音识别 三、实战:开发一个 CANN 感知节点(ROS 2 + Python) 步骤 1:准备 CANN 模型 以 YOLOv8 为例,编译为 .om 格式: atc --model=yolov8.onnx \ __init__('cann_perception') self.bridge = CvBridge() # 加载 CANN 模型(初始化一次) 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    12310编辑于 2026-02-09
  • CANN 运行时系统深度解析:从 .om 加载到 NPU 执行的全链路剖析

    CANN 运行时系统深度解析:从 .om 加载到 NPU 执行的全链路剖析 当你调用: python model = AclModel("resnet50_cann.om") output = model.infer 本文将揭开 CANN Runtime 的内部工作机制。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、CANN Runtime 架构全景 CANN Runtime 基于 ACL(Ascend Computing 七、未来方向:轻量化与 WebAssembly 支持 CANN 正探索: Micro Runtime:适用于 MCU 级设备(<1MB ROM); WASM 后端:在浏览器中运行 CANN 模型(实验性 CANN Runtime 通过精细化的资源管理、异步调度与硬件协同,将 .om 模型的潜力完全释放。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    11510编辑于 2026-02-09
  • 揭秘 CANN 内存管理:如何让大模型在小设备上“轻装上阵”?

    揭秘 CANN 内存管理:如何让大模型在小设备上“轻装上阵”? 你是否曾遇到这样的困境? 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、为什么内存管理对 AI 如此重要? CANN 则通过全局生命周期分析 + 内存池复用,将这一数字压到 600MB 以下。 二、CANN 内存管理的三大核心技术 1. CANN 会据此生成最优内存分配计划。 2. 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    9410编辑于 2026-02-09
  • 《初探CANN模型适配:手把手带你跑通第一个AI模型》

    很多开发者一听到 CANN 就犯怵:要么觉得它是 “华为专属封闭工具”,要么担心适配难度高、生态不完善。其实作为华为开源的 AI 异构计算架构,CANN 的核心价值是帮开发者 “少管硬件、多搞创新”。 一、先澄清 3 个常见误解 误解 1:CANN 只能用在华为硬件上? 二、CANN 的核心逻辑:把 “复杂适配” 变 “傻瓜操作” 简单说,CANN 就是 “上层 AI 框架” 和 “底层硬件” 之间的翻译官 + 加速器: 统一接口:不管是 PyTorch 的动态图还是 TensorFlow 的静态图,都能通过 CANN 自动转换成 OM 模型格式,不用改写模型代码。 对新手来说,不用深究这些原理,记住一个核心结论:CANN 的目标是让你 “写普通代码,跑更快性能”。

    27610编辑于 2025-12-24
  • CANN全面开源开放:把创新的主动权交给开发者

    封闭生态近乎无解的两个“焦虑”,CANN却拿出了合理的方案。针对“黑盒”,CANN的开源开放不是简单的“秀代码”,而是将算子库、通信库、编程语言、运行时等全量开源。 针对“捆绑”,CANN的回答是架构解耦、分层开源开放,所有组件支持独立演进,实现分包独立升级。 如果说以前的CANN解决了“能用”的问题,让模型在自主算力上跑了起来。 在实战演练上,通过CANN训练营、昇腾AI算子挑战赛等活动以赛代练,比如CANN训练营已经开展了12季。 就这一点而言,CANN正在和千行万业双向奔赴。

    25510编辑于 2025-12-25
领券