- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】AI系统架构的组成
AI 编译与计算架构AI 框架充分赋能深度学习领域，为 AI 算法的开发者提供了极大便利。 为了实现硬件的多样性，需要将神经网络模型计算映射到不同架构的硬件中执行。在通用硬件上，高度优化的线性代数库为神经网络模型计算提供了基础加速库。 DSA 芯片架构支持：AI 训练和推理对性能和时延都非常敏感，所以大量使用专用的 AI 加速芯片进行计算，而 AI 编译器其实是以 DSA 架构的 AI 加速芯片作为为中心的编译器，这也是区别于通用编译器的一个特征 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 神经网络编译架构及优化：在编译期，通过静态分析与优化的方法，提供更优化的编译支持，提升模型的性能，正确性等。类似传统编译器，网络模型的计算图可以通过融合等手段优化，算子内可以应用大量循环优化。
1.2K11编辑于 2024-11-26 转载：【AI系统】AI系统架构的组成
AI 编译与计算架构 AI 框架充分赋能深度学习领域，为 AI 算法的开发者提供了极大便利。 为了实现硬件的多样性，需要将神经网络模型计算映射到不同架构的硬件中执行。在通用硬件上，高度优化的线性代数库为神经网络模型计算提供了基础加速库。 DSA 芯片架构支持：AI 训练和推理对性能和时延都非常敏感，所以大量使用专用的 AI 加速芯片进行计算，而 AI 编译器其实是以 DSA 架构的 AI 加速芯片作为为中心的编译器，这也是区别于通用编译器的一个特征 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 神经网络编译架构及优化：在编译期，通过静态分析与优化的方法，提供更优化的编译支持，提升模型的性能，正确性等。类似传统编译器，网络模型的计算图可以通过融合等手段优化，算子内可以应用大量循环优化。
1.8K10编辑于 2024-12-11- 来自专栏AI系统
【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 在本文中，我们将主要以 NVIDIA Triton Inference Server 为基础深入探讨推理系统架构的各个方面。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 资源高效利用：多后端架构使得 Triton 能够根据模型特性和硬件资源情况智能选择最合适的推理引擎。
1.5K10编辑于 2024-12-02 - 来自专栏韩曙亮的移动开发专栏
【AI 大模型】大模型应用架构 ( 业务架构 - AI Embedded、AI Copilot、AI Agent | 技术架构 - 提示词、代理 + 函数调用、RAG、Fine-tuning )
; 三、大模型应用 - 技术架构 1、提示词 技术架构 传统的 ChatGPT 和 文心一言 的用法 , 用户发一句 " 提示词 Prompt " , 大模型 回一句 " 输出结果 " ; 这是在 AI Agent + Function Calling 技术架构 的 主体是一个应用程序 , 就不再是春对话方式了 , 应用程序还必须提供对应的 函数 API , 以供 AI 大模型 回调该 API 功能 API 功能 , 可以是 应用程序提供的 ; 也可以是 AI 大模型内置的 ; 该技术架构的工作流程如下 : 首先 , 用户的 应用程序 中 输入 " 提示词 " ; 然后 , 进行函数调用 , AI AI 大模型 执行 就相当于 Agent + Function Calling 技术架构 的执行过程 ; 4、Fine-tuning 微调 技术架构 Fine-tuning 技术架构 , 是在一个已有的 输出要求 评估指标 最后 , 验证数据集评估模型性能 , 如果对结果不满意 , 持续进行 超参数调整 和 Fine-tuning 策略的优化 , 直到得到满意结果为止 ; 该技术架构是 AI 大模型最全面的技术架构
1.6K21编辑于 2024-07-09 - 来自专栏AI系统
【AI系统】推理引擎架构
在深入探讨推理引擎的架构之前，让我们先来概述一下推理引擎的基本概念。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，执行推理任务，从而实现智能决策和自动化处理。 其核心优势不仅仅局限于体积小和资源占用低，更在于如何在有限的资源约束下，最大化地发挥出 AI 模型的潜力。 零依赖 轻量级推理引擎从架构设计之初就追求极致的纯净与独立，确保主体功能无任何外部依赖。 应对 AI 推理引擎在需求复杂性与程序大小之间权衡的挑战，可以采取一系列综合策略和技术革新，确保在满足日益增长的模型复杂性需求的同时，保持程序的高效和精简： 模块化与插件化设计：设计高度模块化的架构，使得每个模块专注于处理特定类型的计算或操作 整体架构 推理引擎作为 AI 应用的核心组件，其架构设计直接关系到模型在实际部署环境中的效率、灵活性和资源利用率。 模型压缩 模型压缩作为 AI 领域的一项核心技术，也是推理引擎架构中不可缺少的一部分，它旨在通过一系列精巧的策略减少模型的大小，同时保持其预测性能尽可能不变，甚至在某些情况下加速训练和推理过程。
1.5K21编辑于 2024-12-05 - 来自专栏AI
深入解析，AI 架构揭秘
[AI Perplexica] AI驱动的开源搜索引擎上一篇文章，我们对 Perplexica 做了个基本介绍，包括特点，以及如何安装。今天，我们来深入看下 Perplexica 的架构。 Perplexica 的架构Perplexica 的架构由以下关键组件组成：用户界面: 一个基于网页的界面，允许用户与 Perplexica 互动以搜索图像、视频等内容。 gitlabAI 博客 - 从零开始学AI公众号 - 从零开始学AI
81710编辑于 2024-07-03 - 来自专栏AI系统
【AI系统】Kernel 层架构
其通常是硬件特定的，针对不同的 AI 加速芯片有不同的实现。Kernel 层实现时，会进行各种优化，包括算法优化、内存访问优化、向量化、并行化和硬件特定的汇编优化。 Kernel 层的优化主要体现在各种高性能算子和算子库的设计上，这些算子和算子库通常针对不同的 AI 加速芯片进行了优化，以提高计算速度和效率。 推理架构如图所示，下面分别从 CPU 和 GPU 的角度介绍一下几种人工实现的高性能算子和封装的高性能算子库：CPU 优化：NEON：NEON 是 ARM 架构上的 SIMD（单指令多数据）扩展，用于提高多媒体处理和浮点运算的性能 对于支持硬件加速的推理引擎，这一步可能还包括为特定 AI 加速芯片生成优化的执行代码。 这种布局是针对特定硬件（如某些 AI 加速器）优化的，其中 C 被分割为 C1 和 C0，C1 代表通道的分组数，C0 代表每个分组中的通道数。
44010编辑于 2024-12-06 - 来自专栏AI技术应用
AI智能体的技术架构
AI智能体的技术架构多种多样，取决于智能体的复杂程度、应用领域以及所需的能力。但通常而言，一个AI智能体的技术架构会围绕其核心的“感知-决策-行动”循环来构建，并包含支持这些过程的内部组件。 以下是一些常见的技术架构模式和关键组件。 架构： 是多种架构组件的组合，通常包含一个协调或仲裁机制来决定何时使用哪种组件进行决策。应用： 复杂机器人控制、高级自动化系统、综合性决策支持系统。 智能体的内部关键组件的技术实现 (Technical Implementation of Key Internal Components):无论采用哪种架构模式，一个AI智能体通常会包含以下技术组件的实现 总结来说，AI智能体的技术架构是将感知、知识、决策和行动这几个核心功能通过合适的软件模块和技术栈进行组合和实现。选择哪种架构模式和具体技术取决于智能体的复杂性要求以及其所处的运行环境。
1.7K10编辑于 2025-04-29 - 来自专栏企鹅号快讯
ai量化系统架构的思考
ai量化系统架构的思考 背景 现在很多群体，尤其是有点金融背景或兴趣的程序员群体，“大量”进入量化交易这个领域。 以quantopian为蓝本，做出to c的quant平台。 偏爱python，深度关注互联网趋势，人工智能，AI金融量化。致力于使用最前沿的认知技术去理解这个复杂的世界。
1.5K70发布于 2018-01-16 - 来自专栏AI技术应用
AI口语APP的技术架构
一个AI口语APP的技术架构通常会比区块链应用更偏向于传统的客户端-服务器（Client-Server）模型，但核心在于集成了各种人工智能（AI）和机器学习（ML）服务来处理语音和语言。 以下是一个典型的AI口语APP的技术架构层次和关键组成部分：1. 后端服务层 (Backend Service Layer)这是应用的核心逻辑层，负责处理来自客户端的请求，协调各个AI服务，管理用户数据和业务流程。通常采用微服务或单体服务架构构建。 可伸缩性 (Scalability): 架构需要能够处理大量并发用户和AI服务请求，通常通过负载均衡、服务水平扩展来实现。 总的来说，AI口语APP的技术架构是一个多层次的系统，将传统的应用开发与复杂的AI语音和语言处理技术深度融合。
57910编辑于 2025-05-06 转载：【AI系统】Kernel 层架构
其通常是硬件特定的，针对不同的 AI 加速芯片有不同的实现。Kernel 层实现时，会进行各种优化，包括算法优化、内存访问优化、向量化、并行化和硬件特定的汇编优化。 Kernel 层的优化主要体现在各种高性能算子和算子库的设计上，这些算子和算子库通常针对不同的 AI 加速芯片进行了优化，以提高计算速度和效率。 推理架构如图所示，下面分别从 CPU 和 GPU 的角度介绍一下几种人工实现的高性能算子和封装的高性能算子库：CPU 优化：NEON：NEON 是 ARM 架构上的 SIMD（单指令多数据）扩展，用于提高多媒体处理和浮点运算的性能 对于支持硬件加速的推理引擎，这一步可能还包括为特定 AI 加速芯片生成优化的执行代码。 这种布局是针对特定硬件（如某些 AI 加速器）优化的，其中 C 被分割为 C1 和 C0，C1 代表通道的分组数，C0 代表每个分组中的通道数。
27810编辑于 2024-12-13转载：【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 在本文中，我们将主要以 NVIDIA Triton Inference Server 为基础深入探讨推理系统架构的各个方面。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。 模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 资源高效利用：多后端架构使得 Triton 能够根据模型特性和硬件资源情况智能选择最合适的推理引擎。
1.3K11编辑于 2024-12-12- 来自专栏AI系统
【AI系统】Tensor Core 架构演进
到了 2022 年，英伟达发布了专为深度学习设计的 Hopper 架构。Hopper 架构标志性的变化是引入了 FP8 张量核心，这一创新进一步加速了 AI 训练和推理过程。 2024 年，英伟达推出了 Blackwell 架构为生成式 AI 带来了显著的飞跃。 这些架构的发展不仅体现了英伟达在硬件设计方面的前瞻性，也为深度学习的研究和应用提供了强大的计算支持，促进了 AI 技术的快速发展。 除了引入专门针对 AI 框架矩阵计算的 Tensor Core，Volta 架构还减少了指令延迟，进一步提高了计算效率。这些设计和优化使得 Volta 架构对 AI 和深度学习任务有着更快的处理速度。 第五代 Tensor Core（Blackwell）为了更好地适应 AI 工作负载的需求，同时提高性能和降低资源消耗。
1K10编辑于 2024-11-27 【AI平台核心架构设计】
AI平台核心架构设计 知识管理层设计要点 知识管理层采用模块化设计，各功能模块通过统一API网关进行交互。案例库采用版本化存储，支持语义检索和相似度匹配。 该架构包含以下核心模块： 知识采集模块：支持结构化数据导入、非结构化文档解析和实时数据流接入 知识处理模块：提供自然语言处理、实体识别和关系抽取能力 知识存储模块：采用混合存储方案，包括图数据库、文档数据库和时序数据库 Hooks钩子体系采用插件架构，包含静态分析、安全扫描和性能检测三类核心插件。Skill技能库封装为Docker容器，包含预装环境和标准输入输出接口。 "minLength": 10 }, "examples": { "type": "array", "maxItems": 5 } } } AI RAG架构实现查询重写和结果重排序，知识验证设置时效性检查和来源可信度评分。
16210编辑于 2026-01-20- 来自专栏DevOps
AI：Transformer架构简介及实践
三类应用 机器翻译类应用-Encoder和Decoder共同使用 只使用Encoder端-文本分类BERT和图片分类VIT 只使用Decoder端-生成类模型 二、基本结构 Transformer总体架构可分为
2.2K10编辑于 2024-03-29 转载：【AI系统】推理引擎架构
在深入探讨推理引擎的架构之前，让我们先来概述一下推理引擎的基本概念。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，执行推理任务，从而实现智能决策和自动化处理。 其核心优势不仅仅局限于体积小和资源占用低，更在于如何在有限的资源约束下，最大化地发挥出 AI 模型的潜力。 零依赖 轻量级推理引擎从架构设计之初就追求极致的纯净与独立，确保主体功能无任何外部依赖。 应对 AI 推理引擎在需求复杂性与程序大小之间权衡的挑战，可以采取一系列综合策略和技术革新，确保在满足日益增长的模型复杂性需求的同时，保持程序的高效和精简： 模块化与插件化设计：设计高度模块化的架构，使得每个模块专注于处理特定类型的计算或操作 整体架构 推理引擎作为 AI 应用的核心组件，其架构设计直接关系到模型在实际部署环境中的效率、灵活性和资源利用率。 模型压缩 模型压缩作为 AI 领域的一项核心技术，也是推理引擎架构中不可缺少的一部分，它旨在通过一系列精巧的策略减少模型的大小，同时保持其预测性能尽可能不变，甚至在某些情况下加速训练和推理过程。
1.2K10编辑于 2024-12-12- 来自专栏AI系统
【AI系统】计算图优化架构
.挑战与架构离线模块的挑战首先整体看下在离线优化模块中的挑战和架构，在最开始第一篇文章中已经跟大家详细的普及过，优化模块的挑战主要由以下几部分组成：结构冗余：神经网络模型结构中的无效计算节点、重复的计算子图 早在本文之前，AI 编译器的前端优化已经讲述了很多计算图优化相关的内容。但这些是基于 AI 框架实现的且通常出现于训练场景中，主要原因在于在在线训练的过程中。 而在推理引擎计算图的优化中，更多的是采用预先写好的模板，而不是通过 AI 编译去实现的。 不同的硬件设备其架构和运行机制都有所不同，因此，相应的优化方式也会有所不同。扩展优化就是根据这些硬件设备的特性，采用一些特殊且复杂的优化策略和方法，以提高计算图在这些设备上的运行效率。 Layout & Memory: 布局转换优化，主要是不同 AI 框架，在不同的硬件后端训练又在不同的硬件后端执行，数据的存储和排布格式不同。
57510编辑于 2024-12-06 - 来自专栏程序员
AI时代之我见：架构师如何与AI共生
三、AI与架构师的关系我认为是如虎添翼，AI的出现让架构师变成了最适合成为超级个体的一类人对架构师来说，AI可以填补他们经验之外的空白，让架构师更全能；对非架构师来说，只要有一定经验，并掌握了相对正确的方法论 ，那么AI可以将非架构师快速催生成初级架构师四、如何借助AI成为初级架构师？ 首先我不得不说的是，成为架构师的前提，不是你的AI用的有多么好，而是你的基础够不够扎实，如果你连内存存储都一知半解，是很难成为一个合格的架构师的。 找程序员工作的门槛因为AI而被抬高了，但架构师的门槛因为AI而被降低了。 1、了解AI，什么是AI的p^n困境，如何ROG等等，AI的边界在哪里2、多看别人的架构案例，了解新东西3、参与到平时深度使用工具的开源项目中去4、尝试去分享，文章、视频、书籍、线上线下论坛等5、抗压能力
4.6K30编辑于 2025-10-30 - 来自专栏全栈程序员必看
华为 达芬奇芯片 架构_寒武纪的AI架构
达芬奇架构是基于AI计算功能设计的，并基于高性能3D Cube计算引擎，极大地提高了计算能力和功耗比。 Scalable Computing 每个AI内核可以在一个时钟周期内完成4096个MAC操作。 基于达芬奇架构，华为还计划了适用于蓝牙耳机，智能手机和可穿戴设备的Ascend Ascend芯片系列（Nano，Tiny和Lite）。 此外，达芬奇AI芯片架构还考虑了软件定义的AI芯片的功能。 CANN是用于芯片的高度自动化的操作员开发工具。 它是为神经网络定制的计算架构。 CANN将开发效率提高了三倍。 除效率外，还考虑了操作员绩效以适应AI应用程序的快速发展。
1.3K10编辑于 2022-10-04 AI时代的架构核心：文档即架构，思维为基石
AI时代的架构核心：文档即架构，思维为基石AI代码编程已成热潮，“提需求就让AI写系统”的说法甚嚣尘上，仿佛人人都能借AI之力完成开发工作。这里面最出名的当属cursor。 “文档即架构”的思维升级，但是矛盾是会相互转化的，“重文档轻底层”的隐忧同样值得警惕，“学生用AI写作文却过不了高考关”的现象，有着异曲同工的警示意义。 ai时代的编程=文档+伪代码+上下文界定真正决定AI使用上限的，从来不是提示词的复杂度，而是“文档即架构”的思维转变。而这种思维绝非简单的“先写文档再写代码”，而是将文档升维为“架构的具象化表达”。 这些文档中的架构思维，正是人比ai强的地方，就像摄影技术再进步，摄影师的构图思维与光影认知也无法被替代。 文档即架构的弊端“文档即架构”的高效，容易让人陷入“重文档形式轻底层理解”的误区，越来越多的人使用提示词编程。ai生成的代码是好是坏。久而久之，要么懒得判断，要么缺乏了判断代码的能力。
22010编辑于 2025-11-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号