- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】AI系统架构的组成
AI 系统组成如图所示，大致可以将 AI 系统分为以下几个具体的方向：AI 训练与推理框架AI 框架不仅仅是指如 PyTorch 等训练框架，还包括推理框架。 就像传统的软件工程中调试器，可视化，类型系统等工具链的支撑，让整个开发过程中，跨平台，跨平台，问题诊断，缺陷验证等得以高效实现，目前 AI 系统领域也不断有类似工具产生，以支持整个 AI 工程化实践。 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 但是我们将在后续章节中，将会围绕核心系统软硬件，如 AI 训练和推理框架，AI 编译器，AI 芯片，部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态除了以上重要的 AI 系统构成之外，随着人工智能应用越来越广泛，我们还可以看到更广泛的 AI 系统生态的构成。
1.3K11编辑于 2024-11-26 转载：【AI系统】AI系统架构的组成
AI 系统组成 如图所示，大致可以将 AI 系统分为以下几个具体的方向： AI 训练与推理框架 AI 框架不仅仅是指如 PyTorch 等训练框架，还包括推理框架。 就像传统的软件工程中调试器，可视化，类型系统等工具链的支撑，让整个开发过程中，跨平台，跨平台，问题诊断，缺陷验证等得以高效实现，目前 AI 系统领域也不断有类似工具产生，以支持整个 AI 工程化实践。 AI 编译与计算架构负责 AI 模型在真正运行前的编译和系统运行时的动态调度与优化。 但是我们将在后续章节中，将会围绕核心系统软硬件，如 AI 训练和推理框架，AI 编译器，AI 芯片，部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态 除了以上重要的 AI 系统构成之外，随着人工智能应用越来越广泛，我们还可以看到更广泛的 AI 系统生态的构成。
1.9K10编辑于 2024-12-11- 来自专栏AI系统
【AI系统】AI系统概述与设计目标
AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍，我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态，让读者形成 AI 系统的知识体系，为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统：AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 所介绍的 AI 全栈相关内容中则是指 AI 系统（AI System），是围绕深度学习而衍生和设计的系统，因此也叫做深度学习系统（Deep Learning System）。
58710编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】AI 框架作用
本文将从深度学习的原理开始，进而深入地讨论在实现深度学习的计算过程中使用到的 AI 框架，看看 AI 框架具体的作用和目的。 这种模拟生物神经元的数学计算，能够很好地对大规模独立同分布的数据进行非线性映射和处理，使得其能够应对到 AI 的不同任务。函数逼近现在，如果把神经网络看做一个复杂函数，那么这个函数可以逼近任何函数。 AI 框架的作用AI 框架与微分关系根据深度学习的原理，AI 框架最核心和基础的功能是自动求导（后续统一称为自动微分，AutoGrad）。 AI 框架与程序结合下面左图的公式是神经网络表示的复合函数表示，蓝色框框表示的是 AI 框架，AI 框架给开发者提供构建神经网络模型的数学操作，AI 框架把复杂的数学表达，转换成计算机可识别的计算图。 这一过程，只要你定义好网络 AI 框架都会主动地帮我们完成。
43110编辑于 2024-12-06 - 来自专栏AI系统
【AI系统】AI 框架之争
因此，一个能够商用版本的 AI 框架，需要系统性梳理每一层中遇到的具体问题，以便提供相关更好的开发特性：前端（面向用户）：如何灵活的表达一个神经网络模型？ AI 框架的目的是为了在计算加速硬件（GPU/NPU）和 AI 集群上高效训练神经网络而设计的可编程系统，需要同时兼顾以下互相制约设计目标可编程性与性能。Ⅰ. AI 框架的发展AI 框架作为智能经济时代的中枢，是 AI 开发环节中的基础工具，承担着 AI 技术生态中操作系统的角色，是 AI 学术创新与产业商业化的重要载体，助力 AI 由理论走入实践，快速进入了场景化应用时代 国内百度则率先布局了 PaddlePaddle 飞桨 AI 框架并于 2016 年发布。在 AI 框架的爆发阶段，AI 系统也迎来了繁荣，而在不断发展的基础上，各种框架不断迭代，也被开发者自然选择。 TensorFlow 和 PyTorch 代表了现今 AI 框架框架的两种不同的设计路径：系统性能优先改善灵活性，和灵活性易用性优先改善系统性能。
44911编辑于 2024-12-06 - 来自专栏AI系统
【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。部署（Deployment）训练得到的模型并不仅仅是为了学术研究，最终目的是应用于实际问题的解决。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 这一功能基于其动态模型发现与加载机制，使得 AI 应用能够迅速适应市场需求变化，如模型精度提升、新功能上线等。配合版本控制和滚动更新策略，可确保服务连续性不受影响。
1.5K10编辑于 2024-12-02 转载：【AI系统】AI系统概述与设计目标
AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍，我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态，让读者形成 AI 系统的知识体系，为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统：AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 所介绍的 AI 全栈相关内容中则是指 AI 系统（AI System），是围绕深度学习而衍生和设计的系统，因此也叫做深度学习系统（Deep Learning System）。
77121编辑于 2024-12-11- 来自专栏AI系统
【AI系统】AI 系统与程序代码关系
模型算法的开发者一般会通过使用 AI 框架提供 Python 等高级语言的 API，来编写对应的 AI 算法，而 AI 算法的底层系统问题被当前层抽象隐藏。 到底在代码背后 AI 系统的每一层发生和执行了什么？有哪些有意思的系统设计问题？ 本文我们将从一个具体的 PyTorch 实现一个 LeNet5 神经网络模型作为实例开始，启发读者和后面 AI 系统的每一层和各篇文章构建起桥梁与联系。 底层通过层层抽象，提升了开发效率，但是对系统研发却隐藏了众多细节，需要 AI 系统开发的工程师进一步探究。 如果没有 AI 框架、AI 编译器和算子库的支持，算法工程师进行简单的神经网络模型设计与开发都会举步维艰，所以应该看到 AI 算法本身飞速发展的同时，也要看到底层系统对提升整个算法研发的生产力起到了不可或缺的作用
53210编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 其中，对于关键点的检测可以通过如 Faster R-CNN、YOLO 等 AI 模型进行输入到输出的映射与转换。 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错 需要考虑到 AI 框架的不断更新，特别是针对训练优化的迭代，而某些框架甚至不支持在线推理，系统需要具备足够的兼容性。为了支持多种框架，可以利用模型转换工具，将不同框架的模型转换为一种通用的中间表示。
1.3K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统引言
推理的最终目标，便是将训练好的模型部署到实际的生产环境中，使 AI 真正运行起来，服务于日常生活。推理系统，是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。推理系统会加载模型到内存，并进行版本管理，确保新版本能够顺利上线，旧版本能够安全回滚。 推理引擎，则是推理系统中的重要组成部分，它主要负责 AI 模型的加载与执行。 人工客服应用推理引擎或推理系统在人工客服和 AI 对话方面有广泛的应用。以下是一些相关的内容：智能客服：推理引擎可以用于实现智能客服系统，能够理解用户的问题并提供准确的答案。 对话管理：在 AI 对话中，推理引擎可以帮助系统理解用户的意图和需求，并根据这些信息来引导对话的流向。它可以根据用户的输入和历史对话记录，预测用户可能的问题和需求，并提供相应的回答和建议。
98210编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】MobileFormer
在本文中，将介绍一种新的网络-MobileFormer，它实现了 Transformer 全局特征与 CNN 局部特征的融合，在较低的成本内，创造一个高效的网络。通过本文，让大家去了解如何将 CNN 与 Transformer 更好的结合起来，同时实现模型的轻量化。
27610编辑于 2024-12-05 AI质控系统
这些痛点倒逼行业寻求智能化解决方案，而AI质控系统的出现恰逢其时，为制造业质量管控带来革命性突破。 一、传统质检与AI方案的场景化对比在核心检测维度上，传统方式与AI增强方案呈现显著差异：视觉识别精度方面，传统人工检测受疲劳度影响，精度≤85%，而AI方案依托深度学习模型，精度可达≥99.2%；响应速度上 二、核心技术架构解析现代AI质控系统采用多模态融合感知技术，整合工业相机、激光测距仪、红外热成像等设备采集的数据流。 三、实施路径规划建议企业导入AI质控系统应遵循三步走战略：首先是局部试点阶段，选择标准化程度高的单一工序进行验证，快速验证技术可行性与业务适配性；其次是横向拓展期，打通上下游工序的数据链路，形成质量闭环管控 五、未来演进方向与创新应用延伸随着边缘计算与5G技术的普及，下一代AI质控系统将呈现三大趋势：一是轻量化部署，通过模型压缩技术实现终端设备的本地化推理，降低对云端算力的依赖；二是跨域协同能力增强，支持多工厂间的联合质量建模
33910编辑于 2025-10-16转载:【AI系统】AI 框架之争
因此，一个能够商用版本的 AI 框架，需要系统性梳理每一层中遇到的具体问题，以便提供相关更好的开发特性：前端（面向用户）：如何灵活的表达一个神经网络模型？ AI 框架的目的是为了在计算加速硬件（GPU/NPU）和 AI 集群上高效训练神经网络而设计的可编程系统，需要同时兼顾以下互相制约设计目标可编程性与性能。Ⅰ. AI 框架的发展AI 框架作为智能经济时代的中枢，是 AI 开发环节中的基础工具，承担着 AI 技术生态中操作系统的角色，是 AI 学术创新与产业商业化的重要载体，助力 AI 由理论走入实践，快速进入了场景化应用时代 国内百度则率先布局了 PaddlePaddle 飞桨 AI 框架并于 2016 年发布。在 AI 框架的爆发阶段，AI 系统也迎来了繁荣，而在不断发展的基础上，各种框架不断迭代，也被开发者自然选择。 TensorFlow 和 PyTorch 代表了现今 AI 框架框架的两种不同的设计路径：系统性能优先改善灵活性，和灵活性易用性优先改善系统性能。
30210编辑于 2024-12-13转载：【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 其中，对于关键点的检测可以通过如 Faster R-CNN、YOLO 等 AI 模型进行输入到输出的映射与转换。 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错 需要考虑到 AI 框架的不断更新，特别是针对训练优化的迭代，而某些框架甚至不支持在线推理，系统需要具备足够的兼容性。为了支持多种框架，可以利用模型转换工具，将不同框架的模型转换为一种通用的中间表示。
86210编辑于 2024-12-12转载：【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。 部署（Deployment） 训练得到的模型并不仅仅是为了学术研究，最终目的是应用于实际问题的解决。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。 模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 这一功能基于其动态模型发现与加载机制，使得 AI 应用能够迅速适应市场需求变化，如模型精度提升、新功能上线等。配合版本控制和滚动更新策略，可确保服务连续性不受影响。
1.3K11编辑于 2024-12-12转载：【AI系统】推理系统引言
推理的最终目标，便是将训练好的模型部署到实际的生产环境中，使 AI 真正运行起来，服务于日常生活。推理系统，是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。推理系统会加载模型到内存，并进行版本管理，确保新版本能够顺利上线，旧版本能够安全回滚。 推理引擎，则是推理系统中的重要组成部分，它主要负责 AI 模型的加载与执行。 人工客服应用推理引擎或推理系统在人工客服和 AI 对话方面有广泛的应用。以下是一些相关的内容：智能客服：推理引擎可以用于实现智能客服系统，能够理解用户的问题并提供准确的答案。 对话管理：在 AI 对话中，推理引擎可以帮助系统理解用户的意图和需求，并根据这些信息来引导对话的流向。它可以根据用户的输入和历史对话记录，预测用户可能的问题和需求，并提供相应的回答和建议。
78210编辑于 2024-12-12- 来自专栏AI系统
【AI系统】AI 基本理论奠定
这个工作奠定了之后 AI 的训练方式，AI 训练系统中最为重要的执行步骤就是在不断的进行反向传播训练。 目前常常所说的人工智能系统主要以 AI 系统为代表性系统。 卷积神经网络为 AI 系统的重要负载，大多数的 AI 系统都需要在卷积神经网络上验证性能，在未来会看到很多 AI 系统的基准测试中也会引入大量的卷积神经网络。 在当前的社区工作中可以观察到，AI 模型网络结构越来越深，新结构层出不穷，同时不断驱动 AI 系统的演化。模型作为上层应用负载，是驱动系统演化的驱动力之一。 关注模型结构和 AI 的应用场景变化，能够让系统研究者和工程师把握系统发展的趋势，并设计出符合潮流和应对未来变化的系统。
31710编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】AI芯片驱动智能革命
在整个 AI 系统的构建中，AI 算法、AI 框架、AI 编译器、AI 推理引擎等都是软件层面的概念，而 AI 芯片则是物理存在的实体，AI 芯片是所有内容的重要基础。 本系列文章将会通过对典型的 AI 模型结构的设计演进进行分析，来理解 AI 算法的计算体系如何影响 AI 芯片的设计指标，进而结合几种主流的 AI 芯片基础介绍，帮助大家对 AI 系统的整个体系知识有更全面的认识 人工智能的定义也在不断演变，现代人工智能强调计算机系统能够模仿人类智能的各个方面，包括感知、学习、推理和决策。 系统领域的重要基础。 按照应用场景的角度，AI 芯片可以分为云端，边缘端两类。 云端的场景又分为训练应用和推理应用，像电商网站的用户推荐系统、搜索引擎、短视频网站的 AI 变脸等都是属于推理应用。
1.2K10编辑于 2024-11-29 - 来自专栏AI系统
【AI系统】AI编译器前瞻
在这种情况下，编译器通常需要依赖运行时系统动态地跟踪和执行计算图，而无法像静态计算图那样进行完全的静态优化。 未来的架构师需要芯片和系统协同设计，自动化也会越来越多地被应用到专用芯片中去。AI 编译器的未来针对 AI 编译器的未来，可能存在着许多未知的问题，但仍然是十分可观的。 这种灵活性将使编译器能够根据任务需求和系统资源选择最佳编译方式，从而提高性能和资源利用率。 自动并行：未来的 AI 编译器将具备自动并行的编译优化能力，能够跨机器、跨节点进行任务的并行处理。这种自动并行化能力将使得在分布式系统中部署和执行 AI 模型变得更加高效和简便。 编译器将能够自动检测并行执行的机会，根据任务的特性和系统资源自动分配和调度任务，以最大化系统的利用率和性能。
1.2K10编辑于 2024-11-28 AI质检平台系统
基于深度学习算法构建的AI质检评分系统，通过计算机视觉与大数据分析技术的深度融合，为生产环节注入智能化基因。 一、核心优势解析相较于传统质检模式，AI解决方案在核心功能模块上实现突破性提升：缺陷识别方面，传统模式受人员疲劳影响漏检率高，AI系统可7×24小时稳定输出检测结果，确保检测一致性；标准一致性上，传统模式因人员经验差异导致判定基准不一 ，AI通过统一算法模型确保判定基准恒定，减少人为偏差；追溯管理中，传统纸质记录易丢失，AI实现全链路数据云端存档可溯，方便质量回溯；响应速度上，传统批量处理周期长，AI达成毫秒级实时反馈生产线状态，提升生产效率 九、持续升级路径定期推送算法更新包以应对新型缺陷特征，确保系统对新问题的识别能力；提供API接口方便集成第三方质量分析工具，拓展系统功能边界。 专业团队提供驻场辅导服务，协助完成从旧系统切换到新平台的平滑过渡。十一、未来展望随着边缘计算与5G技术的普及，AI质检系统将向移动端延伸，实现车间级的即时响应。
40210编辑于 2025-10-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号