- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI系统
【AI系统】AI 编译器后端优化
AI 编译器分为多层架构，最顶层由各种 AI 训练框架编写的神经网络模型架构，一般由 Python 编写，常见的 AI 训练框架有 PyTorch、MindSpore、PaddlePaddle 等。 在导入 AI 编译器时需要用对应框架的 converter 功能转换为 AI 编译器统一的 Graph IR，并在计算图级别由 Graph Optimizer 进行计算图级优化，也叫前端优化。 在算子级优化结束后，即进入代码生成阶段。本文将重点介绍 AI 编译器的后端优化相关功能。后端优化后端优化基本概念在 AI 编译器中存在两层中间表示，相应也存在两类优化，即前端优化和后端优化。 传统编译器如 GCC、LLVM 也具有后端优化的部分，为什么不直接将 AI 编译器的后端优化委托给传统编译器来实现呢？有两个关键原因：1）数据形式不同：深度学习中数据形式主要为张量（Tensor）。 对优化后的低级 IR 转化为机器指令执行，现阶段最广泛的做法为借助成熟的编译工具来实现，代码生成不是 AI 编译器的核心内容。
59510编辑于 2024-11-29 - 来自专栏AI系统
【AI系统】算子循环优化
AI 芯片硬件的支持。 循环优化 循环的优化方案针对不同的数据局部性和计算并行性，有不同的优化方案，如循环分块、循环展开、循环重排、循环融合、循环拆分等。下面重点接受不同的循环优化方案细节。 循环分块 循环分块是利用 Cache 的数据局部性进行优化的一种方法。 循环分块主要针对大型数据集进行优化，大数据集无法一次全部存入 Cache 中。 循环重排 循环重排序（reorder）是矩阵乘法常见的优化方式，指的是对程序中的循环结构重新排列顺序，以优化数据访问模式，特别是在 CNN 中卷积层的应用。
55810编辑于 2024-12-04 - <! -- --> <div class="<em>ai</em>-explanation <em>ai</em>-explanation-content来自专栏大大的小蜗牛
博客 AI 摘要及优化
即便如此，我的博客中也只有不到三分之二的文章有 AI 摘要。 这样下去，感觉像个无底洞。 这个时候的 AI 摘要功能就变成了一个历史包袱。 如果取消 AI 摘要功能，那前面花的那些小钱就变成了沉没成本了。 有情怀不代表需要妥协 Geek 精神。 所以决定自己动手改造一下 AI 摘要。 怎么优化 AI 摘要 推荐：https://github.com/Moraxyc/ai-summary-hugo 辅助生成 summary.json 的 Python 脚本 1. ai-title-text">AI 摘要
AI模型的效率优化
AI模型的效率优化：量化与模型压缩技术随着人工智能（AI）技术的快速发展，AI模型的应用范围不断扩大，尤其是在计算资源有限的设备上，如移动设备、物联网（IoT）设备以及边缘计算环境中，AI模型的计算效率和存储需求变得至关重要 为了确保这些模型能够在资源受限的环境中高效运行，模型的效率优化成为了研究和应用的关键问题。AI模型的效率优化主要集中在两个方面：模型量化和模型压缩。 实际案例与应用案例一：移动设备上的AI应用在移动设备上，AI模型面临计算资源、内存和电池续航等多方面的限制。通过量化和模型压缩，开发者可以将复杂的深度学习模型优化为适合移动设备的版本。 对于想要深入了解AI模型优化的开发者而言，这是一本非常实用的参考书。 总结AI模型的效率优化技术，尤其是量化与模型压缩，是在计算资源有限的环境中部署高效AI应用的核心手段。量化通过减少模型参数的存储位数，能够显著提高推理速度并降低存储需求。
AI搜索GEO优化（生成引擎优化）白皮书
AI搜索GEO优化（生成引擎优化）白皮书GEO优化让AI正确听你的话，在AI搜索内容/生成内容/推理内容/问答内容里有你的品牌/产品/服务和口碑等推荐希望本书（GEO优化）能帮您实现下面的3个基本基础效果 GEO优化作业规范 2. GEO优化关键词分类 3. 图文GEO优化 4. 视频GEO优化 5. GEO排名优化 6. GEO流量优化 7. AI问答优化 8. 关于作者： 9. 鸣谢 10. GEO优化作业规范1.1 GEO优化KPI制定1.2 GEO用户输入分类（俗称关键词）用户通过输入关键词，提示词，命令词，指令词，问题词/集，推理词，Prompt去问AI，AI生成答案和内容。 GEO排名优化GEO优化一共分为6个步骤：5.1 用户输入用户有7种输入方法（大白话就是关键词类型），每种方法又细分为3种，共计21种。Ai平台上：用户/消费者搜啥？问啥？看啥？干啥？怎么问Ai？ 平台的回答结果中，需要实施全面的GEO优化策略，包含关键词优化（如语义关键词挖掘与布局、关键词密度与分布优化、长尾关键词精准匹配等）、内容架构优化、多媒体优化、技术层优化等，以提升品牌在AI平台中的可见性
AI口语练习App的优化
AI口语练习App的优化是一个持续改进的过程，旨在提升用户体验、提高学习效率和增强学习效果。以下是一些关键的优化方向。1. 主动学习和用户反馈： 收集用户的纠错反馈，用于模型迭代和优化。当App识别错误时，允许用户手动纠正，并将这些数据用于模型训练。 提升用户体验：更简洁、直观的界面设计： 优化用户界面和交互流程，提高App的易用性和用户友好性。更流畅的交互体验： 优化App的性能，减少延迟和卡顿，提供更流畅的交互体验。 技术层面的优化：模型压缩和优化： 优化模型结构和参数，减少模型大小和计算复杂度，提高App的运行效率。 通过以上多方面的优化，可以不断提升AI口语练习App的质量和用户体验，使其成为更有效、更受欢迎的口语学习工具。持续关注用户反馈和技术发展趋势，不断进行迭代和更新，是保持App竞争力的关键。
【AI系统】计算图优化架构
计算图优化是一种重要的技术，主要目标是提高计算效率和减少内存占用，通常由 AI 框架的编译器自动完成，通过优化，可以降低模型的运行成本，加快运行速度，提高模型的运行效率，尤其在资源有限的设备上，优化能显著提高模型的运行效率和性能 计算图优化现在来到了核心内容，离线优化模块的计算图优化。早在本文之前，AI 编译器的前端优化已经讲述了很多计算图优化相关的内容。 但这些是基于 AI 框架实现的且通常出现于训练场景中，主要原因在于在在线训练的过程中。实验时间的要求相对宽松，所以可以引入较多的 GIT 编译或者是其他编译。 而在推理引擎计算图的优化中，更多的是采用预先写好的模板，而不是通过 AI 编译去实现的。 Layout & Memory: 布局转换优化，主要是不同 AI 框架，在不同的硬件后端训练又在不同的硬件后端执行，数据的存储和排布格式不同。
边缘AI硬件优化策略解析
例如，智能手机要执行复杂面部识别，必须使用尖端优化算法在毫秒内分析图像并匹配特征；耳机实现实时翻译需维持低能耗以确保电池续航。 基于云的AI模型可依赖具有强大算力的外部服务器，而边缘设备只能利用现有资源。这种向边缘处理的转变从根本上改变了AI模型的开发、优化和部署方式。 幕后工作：为边缘优化AI能在边缘设备上高效运行的AI模型需大幅缩减体积和计算量，同时保持可靠结果。该过程通常称为模型压缩，涉及神经架构搜索（NAS）、迁移学习、剪枝和量化等先进算法。 模型优化应从选择或设计特别适合设备硬件能力的模型架构开始，然后针对特定边缘设备进行精细化调整。NAS技术使用搜索算法探索大量可能的AI模型，找到最适合边缘设备特定任务的模型。 此类工具应帮助开发者更轻松地优化实际性能、功耗和延迟。设备制造商与AI开发者之间的合作正在缩小工程与用户交互间的差距。新兴趋势聚焦情境感知和自适应学习，使设备能更自然地预测和响应用户需求。
AI 场景的存储优化之路
这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前，我们先分析一下AI访问存储的几个特点： 海量文件，训练模型的精准程度依赖于数据集的大小，样本数据集越大，就为模型更精确提供了基础。 跟一些AI公司的同事交流中，大家经常提到的一个问题就是，用户在某一个目录下存放了海量文件，导致训练的时候出现性能问题，其实就是碰到了存储的热点问题。 但在AI场景中情况则不同，我们前面分析到，AI场景中80%以上是小文件，一个文件只有几十KB，文件数量动辄就几十亿，文件的数量成为了文件系统要解决的首要矛盾。 针对这个问题，该如何解决呢？ AI训练效率；第二，小文件的性能瓶颈在哪里，读取一个小文件，需要多次元数据操作加一次数据操作。 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度，分析了面向AI场景下，分布式文件系统面临的挑战，以及我们的应对思路，也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化
【AI系统】离线图优化技术
上一篇文章主要回顾了计算图优化的各个组成部分，包括基础优化、扩展优化以及布局和内存优化。这些优化方式在预优化阶段、优化阶段和后优化阶段都有所应用，以提高计算效率。 同时，还介绍了 AI 框架和推理引擎在图优化方面的不同应用和侧重点。接下来，我们从计算图优化的各个组成部分开始逐步进行讲解。 基础图优化方案 基础图优化指涵盖了所有保留语义的修改，如常量折叠、冗余节点消除和有限数量的节点融合，具体如下所示： Constant folding 常量折叠：主要针对那些在模型推理中值不变的常量进行处理 这种优化可以显著提高程序的运行效率。 因此，省略这两个步骤可以优化计算流程，加速推理过程。
【AI系统】指令和存储优化
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令，如向量化和张量化，能够显著提高计算密度和执行效率。 向量化在之前的循环优化中，已经介绍过了向量化的原理，它是一种数据级并行的优化。 在 AI 芯片硬件中，内存层次结构的设计至关重要。通过优化数据在不同层级内存之间的流动，我们可以减少数据传输的延迟和带宽消耗，从而提升整体的计算效率。 在 AI 系统中，这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法，这就需要高效的内存分配和回收策略来支持它们的运行。 内存访问模式：NPU 针对 AI 工作负载进行了优化，支持高并发的内存访问模式。量化和压缩：使用数据量化和压缩技术，可以减少内存占用并提高能效。
AI | 优化背后的数学基础
编者按 什么是优化呢？优化就是寻找函数的极值点。既然是针对函数的，其背后最重要的数学基础是什么呢？没错，就是微积分。那什么是微积分呢？微积分就是一门利用极限研究函数的科学。 本文从一维函数的优化讲起，拓展到多维函数的优化，详细阐述了优化背后的数学基础。 深度学习中的优化是一项极度复杂的任务，本文是一份基础指南，旨在从数学的角度深入解读优化器。 还有一个常常被忽略的元素，就是用来拟合模型的优化器。 为了说明优化的复杂性，此处以 ResNet 为例。ResNet18 有 11,689,512 个参数。 下文将从数学角度深入研究优化器，并了解它们是如何完成这一看似不可能的任务的。 优化的基础 我们从简单的地方开始。假设要最大化单变量函数。 好的架构可以让优化变得更容易，但完善的优化实践，可以处理更复杂的损失情况。架构和优化器是相辅相成的 总 我们在前文中已经了解了梯度背后的直观理解，并从数学角度以精确的方式定义了梯度。
AI口语APP的功能优化
要优化 AI 口语 APP 的功能，关键在于深入了解用户痛点、利用最新的 AI 技术以及不断提升用户学习体验。以下是一些核心的优化方向。1. 用户体验与交互设计优化实时可视化反馈：在用户说话时，实时显示声波图、音调曲线或发音器官模拟动画，直观展示发音细节。用颜色、高亮等方式即时标示出错误发音的单词或音素。 社交与激励机制优化学习社区与互动：允许用户将自己的练习成果分享到社区，获得点赞和评论。创建学习小组，用户可以互相监督、鼓励和进行组内口语练习。举办线上口语挑战赛，通过排行榜激励用户竞争。 技术基础设施与数据安全持续优化 AI 模型： 定期收集用户语音数据，进行模型训练和调优，提升识别和评估的准确性。降低延迟： 优化语音处理和 AI 推理的速度，确保实时反馈的流畅性。 云服务与扩展性： 确保后端服务能够支持大量并发用户和复杂的 AI 计算需求。通过以上多维度、深层次的优化，AI 口语 APP 将能提供更高效、更个性化、更具吸引力的学习体验，真正帮助用户突破口语障碍。
AI口语练习APP的性能优化
AI口语练习APP的性能优化是一个持续的过程，旨在提升用户体验、降低资源消耗、提高响应速度，并最终增强学习效果。 客户端优化：代码优化： 编写高效的代码，减少不必要的计算和内存占用。UI优化： 优化用户界面和交互流程，减少页面加载时间和操作步骤。 服务器端优化：服务器硬件优化： 使用性能更强的服务器硬件，例如CPU、内存、存储等。服务器软件优化： 优化服务器的操作系统、数据库和Web服务器等软件配置。 针对AI模型的特殊优化：模型蒸馏和量化： 如前所述，这是降低模型大小和提高推理速度的有效方法。模型结构优化： 设计更高效的模型结构，例如使用更少的层数、更少的参数等。 通过以上多方面的优化，可以显著提高AI口语练习APP的性能，提升用户体验，并最终帮助用户更有效地提高口语水平。在优化过程中，需要根据实际情况进行权衡，选择合适的优化策略，并进行持续的监控和改进。
AI口语陪练APP的接口优化
在AI口语陪练APP中，三方接口调用是实现高效性能和丰富功能的关键。以下是一些优化三方接口调用的策略和实践。 2.优化API调用减少调用次数：通过合理设计应用逻辑，减少不必要的API调用。例如，可以将多个请求合并为一个批量请求，以减少网络延迟。 通过这些策略，可以显著提升AI口语陪练APP的性能和用户体验，确保其在上线后能够提供高质量的服务。
RAG和模型优化：AI实用指南
AI工程实践指南：探索LLM/SLM集成，利用MoE和Co-LLM优化代码生成。RAG提供可扩展替代方案，避免静态微调，提升代码质量。 ，同时平衡模型选择、性能优化、安全性和成本效益。 集成 LLM 和 SLM 通过利用两者的优势，将小型语言模型 (SLM) 和大型语言模型 (LLM) 集成到软件工程任务中，可以优化效率。 这种方法通过将较简单的任务分配给较小的模型，将复杂的任务分配给较大的模型来优化效率。 在 AI 软件开发平台中部署 LLM 并使用 RAG 对其进行增强可以提高准确性，消除幻觉并优化资源效率。
转载：【AI系统】离线图优化技术
上一篇文章主要回顾了计算图优化的各个组成部分，包括基础优化、扩展优化以及布局和内存优化。这些优化方式在预优化阶段、优化阶段和后优化阶段都有所应用，以提高计算效率。 同时，还介绍了 AI 框架和推理引擎在图优化方面的不同应用和侧重点。接下来，我们从计算图优化的各个组成部分开始逐步进行讲解。 基础图优化方案基础图优化指涵盖了所有保留语义的修改，如常量折叠、冗余节点消除和有限数量的节点融合，具体如下所示：Constant folding 常量折叠：主要针对那些在模型推理中值不变的常量进行处理。 这种优化可以显著提高程序的运行效率。 因此，省略这两个步骤可以优化计算流程，加速推理过程。
【AI系统】计算图的优化策略
除了前面提到的算子替换和算子前移等内容，本文内容将深入探讨计算图的优化策略，我们将细致分析图优化的其他重要内容，如改变数据节点的数据类型或存储格式来提升模型性能，以及优化数据的存储和访问方式以降低内存占用和数据访问时间 a = [0.1, 0.2, 0.3, 0.4] = [a_1, a_2] 融合算子替换 某些复杂的算子在一些 AI 框架上可能没有直接实现，而是通过一系列基本算子的组合来实现。 这使得我们更便于训练具有更长上下文的 Transformer 模型，并且为后续注意力算法的优化提供了一个基准。 layout&memory 优化 针对网络模型，特别是在处理算子（操作符）时。 具体示例如下： 内存优化是一种计算机系统优化技术，主要目的是提高系统的运行性能，通过更有效地使用和管理内存资源来达到这个目的。 Memory sharing：是另一种内存优化策略。它在内存使用上进行优化，当两个数据的内存大小相同，且有一个数据参与计算后不再需要时，我们可以让后一个数据直接覆盖前一个数据的内存。
【AI系统】LLVM 前端和优化层
接下来本文就具体的介绍一下 LLVM 的前端和优化层。 AST 是程序的一个中间表示形式，它便于进行代码分析、优化和转换。 IR 也是大部分 LLVM 目标无关的优化发生的地方。LLVM 优化层在输入的时候是一个 AST 语法树，输出的时候已经是一个 DAG 图。 优化层每一种优化的方式叫做 pass，pass 就是对程序做一次遍历。Pass 基础概念优化通常由分析 Pass 和转换 Pass 组成。 转换 Pass 通常会应用各种优化技术来重写程序的部分或整体，以产生更高效的代码。分析 Pass 用于收集信息和了解程序的行为，而转换 Pass 则用于修改程序以实现优化或修改功能。
AI提示词（Prompt）设计优化方案 _ 高效使用AI工具
AI 提示词（Prompt）设计优化方案 | 高效使用 AI 工具嘿，各位技术探索家们！在这个 AI 横行的时代，你是不是常常感觉自己和 AI 之间隔着一层 “神秘面纱”？ 据统计，优化后的提示词可使 AI 任务完成效率提升 40% 以上 ，是不是很惊人？二、优质 AI 提示词长啥样？ 有时候，AI 第一次生成的结果不太理想，我们可以通过追加指令的方式，让它进行优化。 建议大家把约束条件分类为必须项、推荐项、禁止项进行管理，让 AI 清楚知道什么是一定要做的，什么是可以参考的，什么是绝对不能做的。迭代优化机制建立设计提示词不是一蹴而就的，需要不断打磨、优化 。 如果查询到航班取消，AI 客服接着说：“非常抱歉，您的航班已取消，系统已自动为您触发改签建议流程，我这边为您推荐几个合适的改签航班……”AI提示词（Prompt）设计优化方案 | 高效使用AI工具六、代码实现
