- 综合排序
- 最热优先
- 最新优先
端侧AI的终极形态
李瑞龙 腾讯研究院腾讯研究院AGI路线图系列专题研究作为争夺下一代流量入口的关键机遇，端侧AI（运行在手机等设备端的生成式AI模型）已然成为各大厂商必争之地。 从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一步压缩。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 总的来说，端侧AI正处于一个积极探索的过程。纯端侧AI 虽然是各大厂商追求的终极形态，但它并不会太快到达，甚至不一定会到来；就像大模型通往AGI的过程，这大概会是一个相当漫长的过程。 然而，这并不妨碍端侧AI体验的提前实现，通过高质量数据、专业化目标任务训练以及云端隐私方案的混合协同与优化，端侧AI，也可以逐渐从“可用”发展到“好用”。
80310编辑于 2024-08-28苹果能引领端侧AI时代吗？
○从用户价值看，端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本，2) 响应速度更快 3）更好保护隐私 2.产品：短期以小功能为先导，长期价值期待释放 ●当前AI 手机以功能探索为主， AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解，而不在多模态生成 ●多模态生成不在端侧 价值有限：端侧多模态能完成的生成场景（例如修图），已有CV技术也能解决；新的生成功能 （例如AI扩图）需要上云 吃算力：多模态模型的推理，占用的算力可能会数倍于大语言模型 ●目前技术路线：端侧多模态 = LLM + 多模态理解 基于LLM-backbone，在输入端增加多模态编码器和输入投影 ii.也可以用线上账号的方式实现；且训练/精调只能在线上 2.3 商业价值 g.流量/收数 i.AI原生OS是手机厂商与APP生态建设的重点 ii.AI OS的功能理论上可以通过云上模型解决，但端侧+ ，端侧大模型不是孤立的技术，而是跟AI芯片（GPU/TPU等）、操作系统共同形成一个完整的技术体系。
52710编辑于 2024-09-11- 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度，可以实现更高效的参数加载和计算。 5. 与算力紧缺相比，数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。 降低硬件压力： 在实际应用中，GPU和CPU的资源有限，特别是在客户端设备上。稀疏性允许模型避免不必要的内存使用和计算，优化硬件资源的使用。
56310编辑于 2025-02-11 - 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
这里面主要的功能，基本都是是围绕着Apple Intelligence进行展开作为第一款搭载了AI大模型的手机，其部署的端侧大模型有以下几个优点：保护隐私：设备端处理数据，不涉及云端，确保用户隐私安全。 1.国内外纷纷推出自己的端侧大模型先来看看苹果推出的结合端侧大模型，网上说是与OpenAI合作，部署的是GPT-4o模型。 而回看国内手机厂商品牌，很多手机厂商也开始发布自家搭载了端侧大模型的AI手机。比如最近，荣耀也推出了自己的搭建了端侧大模型的手机。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 4.总结从目前的端侧AI模型现状来看，国内外的很多厂商都聚焦于如何把大模型配置到手机上，并使得手机能够更加的智能。从苹果发布会来看，这只是AI在手机上的一个初步体现。
1.2K20编辑于 2024-09-26 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
02｜ 端侧 AI 的本质，是把“产品架构”翻过来 过去两年，我们习惯了一个默认前提： AI = 云端模型 = 调 API = 付推理费。 端侧 AI 是 CAPEX（一次性资本开销）：把一部分推理成本“摊到硬件折旧里”。 03｜ 新架构范式：小模型驻端 + 云端大模型 + 记忆层 端侧 AI 真正落地，不是把一个模型塞进设备就完事了，而是一套“分层协同”： A. 05｜ 把“端侧推理能力”纳入采购与架构评审 如果你是企业的数字化/IT/产品负责人，2026 年要多做一件事：把端侧 AI 当成新一代基础设施能力来评审，而不是当作“某个应用的小功能”。 06｜ 2026 的赢家，是“协同最会算账” 端侧 AI 的崛起，本质是 AI 从“云端服务”变成“产品默认能力”。 竞争焦点会从“模型效果”转向“端云协同体验 + 成本结构 + 治理能力”。
32910编辑于 2026-01-13 DeepSeek引领端侧AI革命，边缘智能重构AI价值金字塔
2025年的AI战场，硝烟早已从“参数军备竞赛”转向更隐秘的角落。随着DeepSeek等新兴小模型的突破，一场以边缘侧智能为核心的变革正悄然重塑行业格局。 根据IDC最新报告，2024年企业AI部署预算中，边缘侧投入占比首次突破35%，而云端预算增速同比下滑12个百分点。 其蒸馏技术让大模型的知识迁移到小模型，使轻量化AI在端侧设备上实现高效运行。传统认知中，“大即强”是铁律。 要让小模型真正“跑起来”，需突破三大瓶颈：硬件革新：专用AI芯片（如Arm Ethos-U85 NPU）提升端侧算力，ML性能较前代提升10倍；软件工具链：开源框架TVM、MLIR优化模型压缩与部署，开发者效率提升 AI的终极价值不在于技术的炫酷，而在于解决实际问题。边缘与端侧的落地浪潮，标志着AI进入“务实时代”——以更低的成本、更高的可靠性，赋能千行百业。
57810编辑于 2025-03-11- 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
52510编辑于 2024-02-17 - 来自专栏AI学习笔记
端侧 AI 新战场：MoE 大模型压缩与移动芯片适配
在人工智能领域的浩瀚星河中，端侧 AI 正冉冉升起，成为备受瞩目的新星。随着技术的不断演进，人们对 AI 的需求已不再局限于云端服务器的强大算力，而是逐渐向移动设备等端侧延伸。 从智能手机中智能语音助手的实时响应，到智能摄像头对画面的精准识别，端侧 AI 正在悄无声息地改变着我们的生活方式。 然而，端侧 AI 的发展并非一帆风顺。 其面临着诸多棘手的挑战，其中最突出的便是如何将那些庞大、复杂的 AI 大模型，高效地移植到资源受限的移动芯片上。 （二）困境：庞然大物的端侧之旅 尽管 MoE 大模型在性能上表现出色，但它的庞大体积和复杂结构，使得它在端侧的部署困难重重。 二、MoE 大模型压缩：瘦身之旅 （一）模型压缩的 “三板斧” 为了帮助 MoE 大模型摆脱困境，顺利进入端侧，模型压缩技术成为了关键的解决方案。
86600编辑于 2025-07-04 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 AI芯片除了要满足DSP对视频编解码的需求外，必定还需要支撑视频后处理的功能，因此对端侧的视频AI高算力需求是存在的。 LiveVideoStack：在实际应用场景中端侧AI技术相比于云端AI技术，具有哪些优势和不足？ 庄光庭：端侧AI的发展相比于云侧AI，限制及差异是巨大的，技术在各方面都有劣势。 但端侧AI也并不是完全没有优势，端侧AI对数据隐私的保护，相对而言是天然完美的屏障，所有数据可以都在端侧进行处理用后即焚，数据比较容易被保护及限制在端侧设备中。 对于AI可能存在的数据隐私问题，在端侧AI平台的设计和开发中会通过哪些技术或优化来更好的保护用户的隐私？
1.7K50发布于 2020-05-13 - 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 为了解决这一问题，研究者们提出了端侧AutoML，特别是硬件感知神经网络架构搜索（NAS 2.0），它能够在考虑硬件约束条件下自动设计出高效、优质的模型。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8
47610编辑于 2025-07-22 - 来自专栏机器之心
端侧AI计算开发最难的问题，都被这家公司搞定了
从手机到智能驾驶，走统一路线 高通的车规级 8155 芯片源自于手机芯片骁龙 855，即将在集度汽车上首发的 8295 芯片则来自骁龙 888，它们都是高通基于自己在移动端领域的领先技术打造的。 边缘侧 AI 的流行，让高通在大量实践中形成的技术优势在越来越多的新领域获得了应用。 从端到云，高通的各个业务线都已深度整合了 AI 能力，已为人们带来了全新的体验。 打造统一的 AI 开发工具 在 AR、VR 和智能驾驶这些「未来方向」上，已有的算力和 AI 算法仍然无法满足人们的需要。为了应对挑战，高性能计算和端云融合是目前科技公司发展的趋势。 基于高通 AI Stack，企业也能够实现在不同产品、不同平台之间的扩展，方便地把移动端开发经验迁移到汽车上，也能将 XR 等平台的复杂模型开发经验带回移动端。
56410编辑于 2022-08-25 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 例如，在一些对实时性要求较高的应用场景中，如智能驾驶、实时语音识别等，端侧推理可以快速做出决策，确保系统的高效运行。 （三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。首先，由于终端设备的计算资源有限，如何高效地部署 MoE 模型是一个关键问题。 此外，如何在保证模型性能的前提下，尽可能地减少计算量和能量消耗，也是端侧 MoE 推理需要解决的难题。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。
68310编辑于 2025-07-14 释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 技术前沿：拥抱AI部署的未来趋势，构建核心竞争力。端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。 无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？隐私？成本？）？探索技术方案：研究成熟的模型压缩工具和推理框架。
1.5K10编辑于 2025-06-15- 来自专栏机器之心
AndesGPT加潘塔纳尔：生成式AI端侧落地，OPPO给了我们答案
未来你如果想发一条朋友圈，不仅能用 AI 写文案，配上图片，还能再加上专属的 BGM。 为了让 AndesGPT 能做到这一切，OPPO 充分利用了端侧和云侧算力。 AndesGPT 不仅包含端侧与云侧的大模型，还能以端云分工、端云协作方式等，实现全场景的智能调度。 端侧模型可以提供微调数据完善云侧模型，云侧模型也能辅助提升端侧模型性能。 OPPO 在生成式 AI 落地上的努力还在继续。据 OPPO 内部透露，AndesGPT 的 13B 大模型在端侧已经跑通，智能消除、通话摘要、多模态搜图等能力也将会支持端侧化，实现快速响应。 端侧化 AI 落地会给用户带来什么体验，我们已逐渐有了答案。 © THE END 转载请联系本公众号获得授权
1K10编辑于 2023-11-18 - 来自专栏机器之心
端侧AI推理，高效部署PyTorch模型：官方新工具开源，Meta已经用上了
机器之心报道 编辑：陈萍 ExecuTorch 是一个端到端的解决方案，可以在移动和边缘设备（包括可穿戴设备、手机等）上实现推理功能。 ，正是 Meta AI 与 PyTorch 基金会。 ExecuTorch 使 AI 模型能够直接在设备上运行，而无需连接到服务器。」 ExecuTorch 通过提供端到端的工作流来优化本地程序，从而解决边缘设备遇到的挑战。」 参考链接： https://venturebeat.com/ai/pytorch-executorch-extends-open-source-ai-for-new-quests-at-the-edge
82440编辑于 2023-10-24 - 来自专栏ZETA联盟
终端遇到AI：TinyML如何拓展端侧人工智能和LPWAN的“新疆界”
，进一步拓展端侧人工智能的“新疆界”。 数据的爆发式增长和硬件处理能力的提升使得“端侧机器学习算法”的规模在最近几年呈指数级增长， TinyML也因此应运而生。 传统的机器学习一般是将数据传输到云端，并在云端进行存储、训练和推理。 TinyML的出现很大程度上降低了传统机器学习方式对计算资源和电量的依赖，帮助数量众多的端侧微控制器实现高效数据传输和智能升级，这极大拓展了物联设备的应用场景。 比如，城市中的摄像头加装AI端侧推理模型，选择仅“异常数据上传”模式，不仅能大幅提升数据传输效率，还能降低运行功耗，这使得原本需要“高功耗、高成本“技术实现的物联场景可以广泛应用“低功耗、低成本”的LPWAN Edge Impluse、Always.AI等公司通过提供端到端的TinyML as a service服务，将数据收集、模型训练验证、模型压缩和编译部署等一系列过程标准化，加速TinyML应用的开发。
97900发布于 2021-03-09 - 来自专栏深度学习与python
Arm 发布全新 Armv9 边缘 AI 计算平台，可运行超 10 亿参数端侧 AI 模型
作者 | 冬梅 近日，Arm 正式发布了其全球首款 Armv9 边缘 AI 计算平台。 据介绍，该平台以全新的 Arm Cortex-A320 CPU 和边缘 AI 加速器 Arm Ethos-U85 NPU 为核心，可支持运行超 10 亿参数的端侧 AI 模型。 AI 在物联网领域的落地。 AI 大模型，进一步释放 AI 计算性能。 此次发布的全新 Armv9 边缘 AI 计算平台可覆盖多个应用场景，实现包括视觉和自然语言在内的多模态的环境感知与理解，进而运行智能体 AI、自主规划、执行复杂任务。
66310编辑于 2025-03-13 - 来自专栏RTMP推送
“人工智能+”时代的端侧AI：算力下沉与实时视频的新基座
这不仅意味着市场规模的跃升，更预示着端侧智能将成为未来产业的核心支撑。与依赖云端算力的集中式AI不同，端侧AI强调在本地完成推理与响应，具备低延迟、隐私保护和能耗优化等天然优势。 随着SoC、存储、传感器以及模型压缩等技术持续演进，端侧AI正在从“辅助”转变为“主角”。而在所有AI应用的入口中，视频链路无疑是最关键的数据通道，其稳定性与实时性将直接决定端侧AI的落地效果。 一、端侧AI的价值与挑战1. 极致低延时与高可靠性端侧AI的最大优势之一，就是在本地完成推理与计算，从根本上避免了云端算力拥堵与网络传输的不确定性。 传感芯片 摄像头、麦克风等传感器是端侧AI的“感官”。 一、端侧AI的价值与挑战1. 极致低延时与高可靠性端侧AI的最大优势之一，就是在本地完成推理与计算，从根本上避免了云端算力拥堵与网络传输的不确定性。
52320编辑于 2025-09-09 - 来自专栏李洋博客
zblog怎么在移动端显示隐藏侧栏模块
关于zblog主题模板手机移动端针对不同主题采用了不同的方案，有些是默认显示，有些不显示侧栏，总归没有一个完美的解决方案，所以今天就抽空水一篇文章，教大家怎么显示或者隐藏侧栏模板的内容。 然后整体布局发生改变，嗯嗯，这个图标的意思就是模拟手机端，然后在最右侧，点击“三个点”，然后点击最右侧图标”不懂看图： ? 页面再次变动，变为竖屏，顶部可以调节像素尺寸，如图： ? 类别名之后我们复制右侧红框代码，登录网站后台，主题设置，找到主题预留的自定义css接口（没有的话只能在样式表修改），粘贴代码： .side.fr {display:block; } 这样还不行，因为我们刚刚看到代码是先手机端才隐藏的 ，难看，建议改为560px，意思就是侧栏在999px-561px之间隐藏，在560px以下显示侧栏模块。 这是显示模块教程，想要隐藏，这也简单，首先确定移动端屏幕像素的尺寸，比如小于999px，那么隐藏的代码就是： @media screen and (max-width:999px){ .side.fr
1.7K20发布于 2021-06-15 - 来自专栏通用文字识别信息技术白皮书
手机端侧文字识别：挑战与解决方案
在手机端侧实现文字识别，考虑资源限制和效率至关重要。1.图像处理在手机端侧进行图像预处理，必须精细权衡资源消耗与效果。 整体来看，这些预处理步骤和技术点确保在有限的手机端算力和内存下，图像数据被快速、专业地准备好供后续的OCR模型处理。2.文字检测在手机端侧实现文字检测，需要特别注重计算效率和模型大小。 总的来说，在手机端实现文字检测，核心是采用轻量级模型、多尺度检测技术以及后处理优化，确保在有限的资源下达到实时、高准确的检测效果。3.文字识别在手机端进行文字识别，考虑算力和存储资源的限制是关键。 由于端侧的计算资源受限，选择轻量级的网络结构与优化策略尤为重要。首先，轻量级的序列识别网络如CRNN的精简版本被广泛使用。 再者，CTC (Connectionist Temporal Classification) 是常用的损失函数，用于端到端的序列识别任务，它可以有效处理序列中的对齐问题，省去了传统的分段标注过程。
1.2K30编辑于 2023-10-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号