- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 这种结构使得 MoE 模型在处理复杂的、多样化的数据时具有较高的灵活性和准确性。（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。 此外，如何在保证模型性能的前提下，尽可能地减少计算量和能量消耗，也是端侧 MoE 推理需要解决的难题。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 旨在提高模型在端侧的推理效率和性能。
64210编辑于 2025-07-14 - 来自专栏.NET 全栈开发专栏
端侧大模型实战指南：微调、部署、应用开发
什么是端侧大模型？端侧大模型是指在边缘设备（如个人电脑、移动设备等）上运行的大型语言模型。相较于云端部署，端侧模型具有以下优势：低延迟：本地运行无需网络请求，响应更快。 微调大模型微调是优化模型性能的关键步骤，通过在特定数据集上训练模型，使其更适合目标任务。 部署大模型部署是将微调后的模型集成到 Ollama 并运行的过程。 总结通过本指南，你已经学会了如何在本地设备上完成端侧大模型的微调、部署和应用开发。以下是关键步骤的回顾：准备环境：安装 Ollama、MiniConda 和 Qwen2.5-0.5B 模型。 本部署实践学习自datawhale开源社区，希望这篇指南也能帮助你快速上手端侧大模型的开发！如果有任何问题，欢迎在评论区交流。
1.5K21编辑于 2025-08-05 - 来自专栏网络安全技术点滴分享
深度解析苹果端侧与云端基础模型技术架构
芯片端侧API采用CoreML和Metal这种垂直整合使苹果避免GPU短缺问题，同时通过ML任务反哺硬件迭代。 五大核心模型解析端侧3B参数语言模型 类似微软Phi-3-mini和谷歌Gemini Nano-2规模基于OpenELM改进，支持LoRA/DoRA适配器49K词表专为指令跟随优化云端MoE大模型(预估 130B-180B参数) 架构对标GPT-3.5，运行在私有云计算集群采用混合专家系统提升推理效率XCode端侧代码模型(2B-7B参数) 专精Swift代码补全(FIM任务)集成项目上下文感知能力 0.6ms/首token延迟令牌推测技术预期提速2-3倍训练技术揭秘数据并行+张量并行+序列并行组合策略FSDP分片降低GPU内存峰值混合真实数据与合成数据训练网页爬取数据经过FineWeb级清洗基准测试争议端侧模型 +适配器 vs Phi-3-mini基础模型的不对等比较macOS Sequoia量化模型与float16版本的性能误导性对比Mistral 7B未包含安全过滤的基准差异隐私优先设计哲学端侧处理优先原则私有云计算确保数据安全垂直整合实现硬件级优化
33500编辑于 2025-07-26 端侧大模型浪潮奔涌而至：态势、影响与建议
腾讯研究院大模型研究小分队出品 自苹果推出AI手机以来，端侧大模型的产品发布进入加速期。 一、端侧大模型的兴起 端侧大模型指在终端设备（如智能手机、平板、PC、智能穿戴设备、自动驾驶及具身智能等）上运行的大型预训练模型。 二、端侧大模型将率先 在手机领域爆发 端侧大模型的应用场景广泛，未来，AI推理将在手机、PC、耳机、音箱、XR、汽车，以及其它可穿戴式新型终端上运行。 其中，智能手机和电脑是当前端侧大模型应用最有前景的领域，端侧大模型可以实现图像处理、自然语言理解和生成、人脸识别、语音助手和翻译等功能，在电脑侧，端侧大模型还可以分析用户自身的各类多媒体文件，生成用户自己的个性化小模型 从长远来看，端侧大模型还将与云端大模型结合将解锁更多应用场景。根据Scaling Law法则，云端模型在综合能力上始终领先于端侧模型一个数量级。
1K20编辑于 2024-10-31- 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
1.国内外纷纷推出自己的端侧大模型先来看看苹果推出的结合端侧大模型，网上说是与OpenAI合作，部署的是GPT-4o模型。 除了这两家之外，各大厂商也陆续发布自己的端侧大模型，每个厂商最大的参数量也就只有7B左右，而像小米、苹果这种发布的自家端侧大模型，仅有3B以下参数量。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 比如面壁智能近期发布的端侧模型MiniCPM 3.0。 、能耗等方面，部署端侧模型在现阶段极具挑战性。
1.1K20编辑于 2024-09-26 端侧AI的终极形态
从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一步压缩。 它通过专项任务小模型的生成、适配器的动态加载与交换、以及端侧模型的整体量化压缩，配合特定的JSON结构化提示词工程，使得这个3B的小模型在特定的端侧任务上表现出色，足以媲美像Mistral-7B和Gemma 未来，AI硬件如果希望孕育出超越手机的新机会，多模态端侧小模型将是关键。大家或许还记得，曾经有一件热门事件，充分反映了人们对多模态端侧小模型的“渴望”。 Scaling Law法则下，云端模型永远比端侧模型先进一个数量级。 云端大模型始终比端侧大模型先进一个以上的数量级。
76110编辑于 2024-08-28- 来自专栏数据猿
端侧模型带来的三个新思考：剪枝、蒸馏、量化
然而，大模型的部署和应用面临着诸多挑战，如计算资源消耗大、数据传输延迟、隐私保护等问题。因此，端侧化成为大模型落地的重要方式。 首先，端侧化能够有效降低计算资源的消耗。 此外，端侧化还可以实现分布式计算，将计算任务分散到多个终端设备上，进一步提高计算效率。 其次，端侧化能够减少数据传输延迟。 而端侧化将大模型直接部署到终端设备上，避免了数据传输的过程，从而降低了数据传输延迟。 端侧化有助于保护用户隐私。 端侧化将大模型部署到终端设备上，用户数据在本地进行处理，无需传输到服务器端，从而有效保护了用户隐私。 此外，端侧化还可以促进大模型的个性化和定制化。 随着人工智能技术的不断进步和终端设备的性能提升，端侧化将发挥越来越重要的作用，为人工智能应用的落地和发展提供有力支持。 于是，在大模型端侧化的前提下，出现了三种新的业务模式。
75410编辑于 2024-06-19 - 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
51410编辑于 2024-02-17 - 来自专栏新智元
扩散模型失宠？端侧非自回归图像生成基础模型Meissonic登场，超越SDXL！
新智元报道 编辑：LRST 【新智元导读】刚刚，一款专为消费级显卡设计的全新非自回归掩码图像建模的文本到图像生成模型——Meissonic发布，标志着图像生成即将进入「端侧时代」。 近年来，大语言模型在自然语言处理领域取得了巨大的突破，以LLaMA和Qwen等为代表的模型展现了强大的语言理解和生成能力。 自回归文本到图像模型（如LlamaGen）通过预测下一个token生成图像，但由于生成的图像token数量庞大，自回归模型在效率和分辨率上也面临瓶颈，难以应用到实际场景。 高效推理与训练的结合 在文本到图像合成领域，Meissonic模型凭借卓越的效率脱颖而出。该模型不仅在推理过程中实现了高效性，同时在训练阶段也显著提升了效率。 广泛影响 最近，移动设备上的端侧文本到图像应用如谷歌Pixel 9的Pixel Studio和苹果iPhone 16的Image Playground相继推出，反映出提升用户体验和保护隐私的日益趋势。
24910编辑于 2025-02-14 - 来自专栏AI学习笔记
端侧 AI 新战场：MoE 大模型压缩与移动芯片适配
在人工智能领域的浩瀚星河中，端侧 AI 正冉冉升起，成为备受瞩目的新星。随着技术的不断演进，人们对 AI 的需求已不再局限于云端服务器的强大算力，而是逐渐向移动设备等端侧延伸。 从智能手机中智能语音助手的实时响应，到智能摄像头对画面的精准识别，端侧 AI 正在悄无声息地改变着我们的生活方式。 然而，端侧 AI 的发展并非一帆风顺。 （二）困境：庞然大物的端侧之旅 尽管 MoE 大模型在性能上表现出色，但它的庞大体积和复杂结构，使得它在端侧的部署困难重重。 二、MoE 大模型压缩：瘦身之旅 （一）模型压缩的 “三板斧” 为了帮助 MoE 大模型摆脱困境，顺利进入端侧，模型压缩技术成为了关键的解决方案。 该模型在服务器端能够准确地识别语音指令，但在移动芯片上运行时，存在明显的卡顿和延迟问题。 模型结构优化实战 ： 首先，我们对专家网络进行简化。
79900编辑于 2025-07-04 - 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8 ，需要将其部署到端侧设备上。
44110编辑于 2025-07-22 - 来自专栏AI科技评论
国产端侧小模型超越 GPT-4V，「多模态」能力飞升
端侧大模型的解耦难题：是模型适配终端，还是终端适配模型？ 1、端侧小模型 SOTA 诞生？ -V2.5： 端侧部署 如前所述，由于终端硬件产品的物理限制，部署到端侧的 AI 模型既要满足硬件的端侧要求，并在成本可控的情况下实现同等参数性能最佳、同等性能参数最小。 在语言模型推理方面，目前开源社区的报告结果中，Llama 3 语言模型在手机端侧的解码速度在 0.5 token/s 上下，相比之下，多模态大模型的端侧运行面临着更大的效率挑战，经过 CPU、编译优化、 总的来说，面壁最新取得的端侧多模态模型成果 MiniCPM-Llama3-V 2.5 是国产端侧之光，加速了国产大模型部署在端侧的节奏，也给端侧 AI 行业提供了多方位的参考。
1.4K10编辑于 2024-05-22 - 来自专栏Dance with GenAI
安克创新CEO阳萌：大模型在端侧的机会巨大
以下是访谈的内容要点： 大模型与私域知识的结合 阳萌首先指出，大模型虽然在通用知识方面表现出色，但在特定领域的知识整合上存在挑战。他认为，将私域知识有效整合进大模型是实现其大规模应用的关键。 大模型的未来发展在端侧 阳萌预测，大模型的未来发展可能会集中在长上下文和RAG两种主流观点上。他强调了大模型在端侧部署的重要性，以及对隐私和数据安全的关注。 有大模型或者有AI加持之后，未来的机器人和这些传统的机器人最底层的区别：传统的机器人都是用分治法加数理模型控制，新的AI人形机器人一定是端到端的算法来控制的，由一个大脑和一个小脑的两层模型共同支配。 他讨论了大模型在不同细分领域的应用，以及如何通过基座模型实现快速部署。未来大概率是一条流水线加两三个基座模型。 所谓一条流水线就是今天收集数据然后清洗数据、标记数据、训练模型、评估模型，包括做数据闭环，这是一条模型和数据流水线。
33210编辑于 2024-11-04 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ~1B量级模型能力有限，性能提升空间不乐观 ●手机端侧模型有实际价值 -> ~10B模型塞到手机里 -> 估计3~4年 ●云+端混合将是长期主流 ○端侧模型 + 云上模型 的配合能力将是核心技术点之一 ●带来更多新功能、新体验，提升手机价值 ●控制云上推理成本 ●端云混合模式中，云上模型服务可以另收费 ●获取新流量入口 一、苹果等手机厂商 纷纷推出端侧大模型 去年以来，各厂商已经推出了多款端侧大模型手机 除了苹果，去年以来，各大手机厂商已经陆续发布了其端侧大模型的产品： 二、如何评价 端侧模型的成熟度？ 1.参数规模：“智商”水平至关重要，端侧模型任重道远 为什么“智商”重要？ ，但端侧+云上的模式会是多方协商合作的结果 h.变现： i.端侧模型 = 手机价格提升的增值 ii.端侧 + 云上搭配 = 云上服务可以收订阅费用 i.成本：端侧模型降低云上推理成本支出 五、小结与启示
49810编辑于 2024-09-11- 来自专栏大前端修炼手册
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻 两年前，"手机跑大模型"还是 PPT 里的概念。 当然，端侧也不是万能药——模型能力上限摆在那里，7B 以下的模型做复杂推理还是不如 GPT-4o。但对于很多场景：文本摘要、意图识别、本地问答、个性化回复建议……端侧模型已经够用了。 模型文件怎么分发？ 这是端侧 LLM 最绕不开的工程问题。 模型更新机制复杂。端侧模型一旦部署，更新就比云端麻烦得多——需要重新下载几百 MB 到几 GB 的文件，还要处理版本兼容。模型版本管理是个绕不开的工程问题。 端侧大模型不是云端的替代品，是补充。 芯片算力还在快速提升，模型量化技术越来越成熟，Gemma、Phi-3 这类专为端侧设计的小模型效果越来越好。 如果你在做 C 端 App，这是一个值得提前布局的方向。
49410编辑于 2026-03-10 释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？ 探索技术方案：研究成熟的模型压缩工具和推理框架。规划端云协同架构：设计最适合您业务需求的智能部署策略。
1.3K10编辑于 2025-06-15- 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
使用闪存加速边缘设备上大型语言模型（LLM）采用。 2. 在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 图示 Apple（业内著名内存抠搜）和 Windows 两大OS在融合大模型过程面临挑战。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 降低硬件压力： 在实际应用中，GPU和CPU的资源有限，特别是在客户端设备上。稀疏性允许模型避免不必要的内存使用和计算，优化硬件资源的使用。 这在LLM模型规模巨大、设备硬件资源有限的情况下显得尤为重要。 Note：模型稀疏性研究是推动其在有限资源端、边设备运行的关键！ 存储硬件或软件厂商，能在模型稀疏性上尝试哪些创新？
53310编辑于 2025-02-11 - 来自专栏技术人生黄勇
面壁端侧模型MiniCPM 3.0达到GPT-3.5水平
“ 端侧模型正成为一个备受关注的技术前沿。面壁智能发布的MiniCPM 3.0，以其4B参数量在性能上逼近GPT-3.5，更在端侧部署上实现了技术突破。 通过量化技术，该模型的内存需求被优化至仅 2GB，就很适合在端侧（移动端）环境中部署。 面壁智能CTO曾国洋表示，从技术路线上来说，端侧模型与云端大模型有一部分是共通的，主要体现在模型的知识密度和能力上，但是面壁智能需要在一些技术上采取更适配端侧模型的路径，才有可能实现以小博大的目的。 在真正落地端侧设备时，端侧模型的优势会得到显现。 由于端侧设备对运算资源有极大限制，端侧模型会从模型的训练技巧、数据配比、数据精度等方面做大量工作，而云端大模型整体更注重效果和成本的平衡，大都采取MoE（Mixture of Experts）架构等技术以追求性价比
73910编辑于 2024-12-09 - 来自专栏机器之心
端侧AI推理，高效部署PyTorch模型：官方新工具开源，Meta已经用上了
机器之心报道 编辑：陈萍 ExecuTorch 是一个端到端的解决方案，可以在移动和边缘设备（包括可穿戴设备、手机等）上实现推理功能。 ExecuTorch 使 AI 模型能够直接在设备上运行，而无需连接到服务器。」 Meta 软件工程师 Mergen Nachin 指出，「今天的 AI 模型正在从服务器扩展到边缘设备，如移动设备、AR、VR 和 AR 头显、可穿戴设备、嵌入式系统等。 ExecuTorch 通过提供端到端的工作流来优化本地程序，从而解决边缘设备遇到的挑战。」 作为 PyTorch Edge 生态系统的一部分，ExecuTorch 可以有效地将 PyTorch 模型部署到边缘设备。
79540编辑于 2023-10-24 - 来自专栏深度学习与python
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
采访嘉宾｜杨永杰，小米 小爱同学端侧 AI 负责人 编辑｜罗燕珊 随着大模型能力持续提升，如何将其有效部署到端侧设备，成为产业界面临的重要工程挑战。 近日，InfoQ 对话 小米 / 小爱同学端侧 AI 负责人杨永杰，带你深入了解其团队如何从架构、系统和算法三层着手，推进大模型在端侧的工程化落地。 所以，从目前来看，大模型的发展还没有到一个“相对稳定”的阶段。不像传统模型发展成熟之后，各家公司会因为成本或场景要求，逐步考虑往端侧迁移。现在的端侧大模型更像是在做技术积累，是面向未来的准备。 InfoQ：您所在团队自研了大模型推理框架，并实现了超过 180 tokens/s 的端侧推理速度，在端侧这一资源受限环境下达到该指标，能否分享一下背后的系统级与模型级优化策略？ 杨永杰： 是的，我们团队自研了一个用于大模型推理的框架。之所以选择自研，主要是因为目前针对端侧的大模型推理框架非常少，开源的方案更是寥寥无几，即使有，往往也是针对端侧 CPU 或 GPU 的。
70300编辑于 2025-06-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号