- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】Im2Col 算法
N\times\left(\frac{H}{h}+2 (KH-1)\right)\times\left(\frac{W}{w}+2 (KW-1)\right)\times C作为早期的 AI 框架，Caffe 在 AI 框架发展的早期，Caffe 使用 Im2Col 方法将三维张量转换为二维矩阵，从而充分利用已经优化好的 GEMM 库来为各个平台加速卷积计算。 在 AI 框架中，Im2Col 通常是为了优化卷积操作而设计的，它通过将多次卷积操作转换为一次大矩阵乘法，从而可以利用现有的高性能线性代数库来加速计算。 随着 AI 框架的发展，很多框架也实现了更加高效的卷积算法，比如 Winograd 算法或者直接使用 cuDNN 等专门的卷积计算库，这些库内部可能对 Im2Col 操作进行了进一步的优化。 随着 AI 框架和硬件的发展，许多框架已经采用了更加高效的卷积实现，如直接卷积（Direct Convolution）、Winograd 算法或利用专用硬件加速器，这些实现可能不再需要显式的 Im2Col
1.8K10编辑于 2024-12-17 - 来自专栏AI系统
【AI系统】谷歌 TPUv2 训练芯片
通常来说训练过程通过设计合适 AI 模型结构以及损失函数和优化算法，将数据集以 mini-batch 反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小从而使得模型收敛。 TPUv1 是一种单芯片系统，作为协处理器用于推理。如果在单个芯片上训练谷歌的生产模型，需要数月时间。 这个模块能够实现 2D 的环面连接（2D Torus），从而组成 Pod 超级计算机。 直接连接简化了机架级别的部署，但在多机架系统中，机架必须是相邻的。 芯片架构平面图下面是 TPU v2 的平面布局图，我们可以看到大部分区域都是用于蓝色的计算核心，内存系统和互连占据了剩下的一大半。
1.3K10编辑于 2024-11-27 - 来自专栏AI系统
【AI系统】AI系统架构的组成
AI 系统组成如图所示，大致可以将 AI 系统分为以下几个具体的方向：AI 训练与推理框架AI 框架不仅仅是指如 PyTorch 等训练框架，还包括推理框架。 不同的 AI 框架类型决定了其使用静态还是动态图进行构建，静态图有利于获取更多信息做全图优化，动态图有利于调试，目前实际处于一个融合的状态，如 PyTorch2.X 版本后推出 Dynamo 特性支持原生静态图 ；2）在底层算子性能优化时，可以打破算子的边界，从更细粒度的循环调度等维度，结合不同的硬件特点完成优化。 但是我们将在后续章节中，将会围绕核心系统软硬件，如 AI 训练和推理框架，AI 编译器，AI 芯片，部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态除了以上重要的 AI 系统构成之外，随着人工智能应用越来越广泛，我们还可以看到更广泛的 AI 系统生态的构成。
1.6K11编辑于 2024-11-26 转载：【AI系统】AI系统架构的组成
AI 系统组成 如图所示，大致可以将 AI 系统分为以下几个具体的方向： AI 训练与推理框架 AI 框架不仅仅是指如 PyTorch 等训练框架，还包括推理框架。 不同的 AI 框架类型决定了其使用静态还是动态图进行构建，静态图有利于获取更多信息做全图优化，动态图有利于调试，目前实际处于一个融合的状态，如 PyTorch2.X 版本后推出 Dynamo 特性支持原生静态图 ；2）在底层算子性能优化时，可以打破算子的边界，从更细粒度的循环调度等维度，结合不同的硬件特点完成优化。 但是我们将在后续章节中，将会围绕核心系统软硬件，如 AI 训练和推理框架，AI 编译器，AI 芯片，部分涉及更广泛的 AI 系统生态中的重要内容如算法等展开介绍。 AI 系统生态 除了以上重要的 AI 系统构成之外，随着人工智能应用越来越广泛，我们还可以看到更广泛的 AI 系统生态的构成。
2.3K10编辑于 2024-12-11- 来自专栏AI系统
【AI系统】AI系统概述与设计目标
AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍，我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态，让读者形成 AI 系统的知识体系，为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统：AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 2）根据不同体系结构自动并行化：面对部署场景的多样化体系结构，训练阶段异构硬件的趋势，AI 框架让用户透明的进行任务配置和并行化，以期以最为优化的方式在 AI 集群配置下，并行化、减少 I/O、充分利用通信带宽
73210编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】AI 框架作用
例如，第 2 层神经网络的神经元输出是第 3 层神经元的输入，输入的数据通过神经元上的激活函数（非线性函数如 tanh、sigmod 等），来控制输出的数值。 反向求导深度学习一般流程是：1）构建神经网络模型，2）定义损失函数和优化器（优化目标），3）开始训练神经网络模型（计算梯度并更新网络模型中的权重参数），4）最后验证精度，其流程如下图所示，前三步最为重要 AI 框架的作用AI 框架与微分关系根据深度学习的原理，AI 框架最核心和基础的功能是自动求导（后续统一称为自动微分，AutoGrad）。 假设用 3 组复合函数来表示一个简单的神经网络：现在定义深度学习中网络模型的损失函数，即优化目标：根据链式求导法则可以得到： 假设神经网络为上述公式 L_1,L_2, L_3 ，对损失函数求神经网络中各参数求偏导 AI 框架与程序结合下面左图的公式是神经网络表示的复合函数表示，蓝色框框表示的是 AI 框架，AI 框架给开发者提供构建神经网络模型的数学操作，AI 框架把复杂的数学表达，转换成计算机可识别的计算图。
51710编辑于 2024-12-06 - 来自专栏AI系统
【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。部署（Deployment）训练得到的模型并不仅仅是为了学术研究，最终目的是应用于实际问题的解决。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 这一功能基于其动态模型发现与加载机制，使得 AI 应用能够迅速适应市场需求变化，如模型精度提升、新功能上线等。配合版本控制和滚动更新策略，可确保服务连续性不受影响。
2K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】AI 框架之争
因此，一个能够商用版本的 AI 框架，需要系统性梳理每一层中遇到的具体问题，以便提供相关更好的开发特性：前端（面向用户）：如何灵活的表达一个神经网络模型？ AI 框架的目的是为了在计算加速硬件（GPU/NPU）和 AI 集群上高效训练神经网络而设计的可编程系统，需要同时兼顾以下互相制约设计目标可编程性与性能。Ⅰ. AI 框架的发展AI 框架作为智能经济时代的中枢，是 AI 开发环节中的基础工具，承担着 AI 技术生态中操作系统的角色，是 AI 学术创新与产业商业化的重要载体，助力 AI 由理论走入实践，快速进入了场景化应用时代 同时，第一代 AI 框架的缺点也比较明显，主要集中在 1）灵活性和 2）面向新场景支持不足。 TensorFlow 和 PyTorch 代表了现今 AI 框架框架的两种不同的设计路径：系统性能优先改善灵活性，和灵活性易用性优先改善系统性能。
58311编辑于 2024-12-06 - 来自专栏AI系统
【AI系统】AI 系统与程序代码关系
模型算法的开发者一般会通过使用 AI 框架提供 Python 等高级语言的 API，来编写对应的 AI 算法，而 AI 算法的底层系统问题被当前层抽象隐藏。 到底在代码背后 AI 系统的每一层发生和执行了什么？有哪些有意思的系统设计问题？ 本文我们将从一个具体的 PyTorch 实现一个 LeNet5 神经网络模型作为实例开始，启发读者和后面 AI 系统的每一层和各篇文章构建起桥梁与联系。 底层通过层层抽象，提升了开发效率，但是对系统研发却隐藏了众多细节，需要 AI 系统开发的工程师进一步探究。 如果没有 AI 框架、AI 编译器和算子库的支持，算法工程师进行简单的神经网络模型设计与开发都会举步维艰，所以应该看到 AI 算法本身飞速发展的同时，也要看到底层系统对提升整个算法研发的生产力起到了不可或缺的作用
66110编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统引言
推理的最终目标，便是将训练好的模型部署到实际的生产环境中，使 AI 真正运行起来，服务于日常生活。推理系统，是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。推理系统会加载模型到内存，并进行版本管理，确保新版本能够顺利上线，旧版本能够安全回滚。 推理引擎，则是推理系统中的重要组成部分，它主要负责 AI 模型的加载与执行。 其中，对于卷积 kernel 算子的优化主要关注 Im2Col、Winograd 等算法的应用。这些算法通过特定的数学变换和近似，减少了卷积操作的计算复杂度，从而提升了推理速度。 人工客服应用推理引擎或推理系统在人工客服和 AI 对话方面有广泛的应用。以下是一些相关的内容：智能客服：推理引擎可以用于实现智能客服系统，能够理解用户的问题并提供准确的答案。
1.3K10编辑于 2024-12-02 - 来自专栏AI系统
【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 创建一个示例输入torch.onnx.export(model, dummy_input, "resnet50.onnx", opset_version=11) # 将模型导出为 ONNX 格式# 步骤 2： # 创建输入数据cuda.memcpy_htod_async(d_input, input_data, stream) # 复制输入数据到 GPU# 推理context.execute_async_v2( 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错
1.8K10编辑于 2024-12-02 转载：【AI系统】AI系统概述与设计目标
AI 系统全栈架构 通过对 AI 的发展、以及模型算法、硬件与数据的趋势介绍，我们已经了解了 AI 系统的重要性。 本文将介 AI 系统的设计目标、组成和生态，让读者形成 AI 系统的知识体系，为后续展开每篇文章的内容做好铺垫。 接下来将从不同的维度和技术层面展开 AI 系统的全景图。 AI 系统概述 AI 系统基本概念 从类比的角度理解 AI 系统：AI 时代连接硬件和上层应用的中间层软硬件基础设施。 AI 系统。 2）根据不同体系结构自动并行化：面对部署场景的多样化体系结构，训练阶段异构硬件的趋势，AI 框架让用户透明的进行任务配置和并行化，以期以最为优化的方式在 AI 集群配置下，并行化、减少 I/O、充分利用通信带宽
1K21编辑于 2024-12-11- 来自专栏AI系统
【AI系统】MobileFormer
, kernel_size=3, stride=1, padding=1, groups=self.in_channel).cuda() self.bn2 = nn.BatchNorm2d , kernel_size=3, stride=1, padding=1, groups=self.expand_size).cuda() self.bn2 = nn.BatchNorm2d (self.conv1(x)) x = self.ac1(x, first_token) x = self.bn2(self.conv2(x)) x = self.ac2 具体而言，Former 的自注意力和 FFN 具有复杂度 O(M^{2}d+Md^{2}) 。 第 2-5 阶段包括 Mobile-Former 块。
32610编辑于 2024-12-05 AI质控系统
这些痛点倒逼行业寻求智能化解决方案，而AI质控系统的出现恰逢其时，为制造业质量管控带来革命性突破。 二、核心技术架构解析现代AI质控系统采用多模态融合感知技术，整合工业相机、激光测距仪、红外热成像等设备采集的数据流。 三、实施路径规划建议企业导入AI质控系统应遵循三步走战略：首先是局部试点阶段，选择标准化程度高的单一工序进行验证，快速验证技术可行性与业务适配性；其次是横向拓展期，打通上下游工序的数据链路，形成质量闭环管控 四、行业差异化实践案例与ROI测算不同行业的AI质控应用展现出差异化价值：汽车制造领域某龙头企业在涂装车间引入AI视觉检测后，不仅将漆面颗粒物检出限从5μm降至2μm，更能通过漆膜厚度云图分析预测设备磨损趋势 五、未来演进方向与创新应用延伸随着边缘计算与5G技术的普及，下一代AI质控系统将呈现三大趋势：一是轻量化部署，通过模型压缩技术实现终端设备的本地化推理，降低对云端算力的依赖；二是跨域协同能力增强，支持多工厂间的联合质量建模
47710编辑于 2025-10-16转载：【AI系统】推理系统介绍
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。 AI 生命周期在日常生活中，深度学习的相关方法已经广泛的部署到各类的应用当中。 创建一个示例输入torch.onnx.export(model, dummy_input, "resnet50.onnx", opset_version=11) # 将模型导出为 ONNX 格式# 步骤 2： # 创建输入数据cuda.memcpy_htod_async(d_input, input_data, stream) # 复制输入数据到 GPU# 推理context.execute_async_v2( 根据上图示的 AI 框架、推理系统与硬件之间的关系，可以看到，除了应对应用场景的多样化需求，推理系统还需克服由不同训练框架和推理硬件所带来的部署环境多样性挑战，这些挑战不仅增加了部署优化和维护的难度，而且易于出错
1.2K10编辑于 2024-12-12转载：【AI系统】推理系统架构
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。 此外，硬件加速（如 GPU、TPU）和专用芯片（如 AI 加速器）也是提高推理效率的重要手段。 部署（Deployment） 训练得到的模型并不仅仅是为了学术研究，最终目的是应用于实际问题的解决。 多框架支持：兼容 TensorFlow、PyTorch、ONNX 等主流 AI 框架。 模型优化：集成 TensorRT 等优化工具，进一步提升模型推理性能。 作为一个强大的推理框架，Triton 能够满足多样化的 AI 应用需求，帮助企业和开发者构建高效、可靠的推理服务。 这一功能基于其动态模型发现与加载机制，使得 AI 应用能够迅速适应市场需求变化，如模型精度提升、新功能上线等。配合版本控制和滚动更新策略，可确保服务连续性不受影响。
1.7K11编辑于 2024-12-12转载:【AI系统】AI 框架之争
因此，一个能够商用版本的 AI 框架，需要系统性梳理每一层中遇到的具体问题，以便提供相关更好的开发特性：前端（面向用户）：如何灵活的表达一个神经网络模型？ AI 框架的目的是为了在计算加速硬件（GPU/NPU）和 AI 集群上高效训练神经网络而设计的可编程系统，需要同时兼顾以下互相制约设计目标可编程性与性能。Ⅰ. AI 框架的发展AI 框架作为智能经济时代的中枢，是 AI 开发环节中的基础工具，承担着 AI 技术生态中操作系统的角色，是 AI 学术创新与产业商业化的重要载体，助力 AI 由理论走入实践，快速进入了场景化应用时代 同时，第一代 AI 框架的缺点也比较明显，主要集中在 1）灵活性和 2）面向新场景支持不足。 TensorFlow 和 PyTorch 代表了现今 AI 框架框架的两种不同的设计路径：系统性能优先改善灵活性，和灵活性易用性优先改善系统性能。
35610编辑于 2024-12-13转载：【AI系统】推理系统引言
推理的最终目标，便是将训练好的模型部署到实际的生产环境中，使 AI 真正运行起来，服务于日常生活。推理系统，是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。 它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。推理系统会加载模型到内存，并进行版本管理，确保新版本能够顺利上线，旧版本能够安全回滚。 推理引擎，则是推理系统中的重要组成部分，它主要负责 AI 模型的加载与执行。 其中，对于卷积 kernel 算子的优化主要关注 Im2Col、Winograd 等算法的应用。这些算法通过特定的数学变换和近似，减少了卷积操作的计算复杂度，从而提升了推理速度。 人工客服应用推理引擎或推理系统在人工客服和 AI 对话方面有广泛的应用。以下是一些相关的内容：智能客服：推理引擎可以用于实现智能客服系统，能够理解用户的问题并提供准确的答案。
1.1K10编辑于 2024-12-12- 来自专栏E条咸鱼
Linux系统入门-2
有的命令太长了你可以给他取个别的名字，比如 ls-l这个命令输入多次的话太麻烦，你可以直接 ll，Shell会知道别名，然后给你去执行 ls-l 在Linux命令行中，你可以通过输入 alias来查看系统设置的别名命令 命令取代符 `（键盘左上角的按键） 命令分隔符 ; 首先是通配符 Linux系统常用的通配符有 "*" "？" 图中为http配置文件，#部分为不执行的注释 后台处理 符号: & Linux是一个支持多任务的操作系统，它允许多个用户同时登陆系统，也允许多程序同时执行，但是由于Shell是交互式处理，所以如果想多程序
91751发布于 2020-08-17 - 来自专栏安义技术分享
linux系统相关2
本文将介绍在Linux系统中寻找特定进程的方法。首先，在Linux系统中使用ps命令查找特定进程。例如，可以使用ps -ef | grep 进程名称 命令来查找特定进程。 03:45:41 /usr/sbin/apache2 - k startlinux磁盘空间对不上发现，Used和Avail加起来不够Size，莫名被吃掉一部分其实这是Linux文件系统的一种安全策略，它默认会为 这样能保证有些关键应用（比如数据库）在硬盘满的时候有点余地，不致于马上就 crash我们可以通过tune2fs修改预留空间的比例tune2fs -m 1 /dev/vda1linux下安装matlab的一些问题 Linux系统默认没有screen工具，需要先进行安装。CentOS系列系统安装命令如下所示。 )或者黑洞(black hole)的地方）0 表示stdin标准输入1 表示stdout标准输出2 表示stderr标准错误2>&1标识将错误输出重定向到标准输出，注意>& 不能分开为用户增加sudo权限
1.2K10编辑于 2024-07-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号