- 综合排序
- 最热优先
- 最新优先
- 来自专栏.NET 全栈开发专栏
端侧大模型实战指南：微调、部署、应用开发
什么是端侧大模型？端侧大模型是指在边缘设备（如个人电脑、移动设备等）上运行的大型语言模型。相较于云端部署，端侧模型具有以下优势：低延迟：本地运行无需网络请求，响应更快。 微调大模型微调是优化模型性能的关键步骤，通过在特定数据集上训练模型，使其更适合目标任务。 部署大模型部署是将微调后的模型集成到 Ollama 并运行的过程。 总结通过本指南，你已经学会了如何在本地设备上完成端侧大模型的微调、部署和应用开发。以下是关键步骤的回顾：准备环境：安装 Ollama、MiniConda 和 Qwen2.5-0.5B 模型。 本部署实践学习自datawhale开源社区，希望这篇指南也能帮助你快速上手端侧大模型的开发！如果有任何问题，欢迎在评论区交流。
1.4K21编辑于 2025-08-05 端侧大模型浪潮奔涌而至：态势、影响与建议
腾讯研究院大模型研究小分队出品 自苹果推出AI手机以来，端侧大模型的产品发布进入加速期。 一、端侧大模型的兴起 端侧大模型指在终端设备（如智能手机、平板、PC、智能穿戴设备、自动驾驶及具身智能等）上运行的大型预训练模型。 其中，智能手机和电脑是当前端侧大模型应用最有前景的领域，端侧大模型可以实现图像处理、自然语言理解和生成、人脸识别、语音助手和翻译等功能，在电脑侧，端侧大模型还可以分析用户自身的各类多媒体文件，生成用户自己的个性化小模型 从长远来看，端侧大模型还将与云端大模型结合将解锁更多应用场景。根据Scaling Law法则，云端模型在综合能力上始终领先于端侧模型一个数量级。 面对复杂任务，苹果则采取“端侧大模型+云端大模型”的技术方案。
99020编辑于 2024-10-31- 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
这里面主要的功能，基本都是是围绕着Apple Intelligence进行展开作为第一款搭载了AI大模型的手机，其部署的端侧大模型有以下几个优点：保护隐私：设备端处理数据，不涉及云端，确保用户隐私安全。 1.国内外纷纷推出自己的端侧大模型先来看看苹果推出的结合端侧大模型，网上说是与OpenAI合作，部署的是GPT-4o模型。 除了这两家之外，各大厂商也陆续发布自己的端侧大模型，每个厂商最大的参数量也就只有7B左右，而像小米、苹果这种发布的自家端侧大模型，仅有3B以下参数量。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 因此可以说，目前的端侧大模型本质上效果已经有了较大的提升。
1K20编辑于 2024-09-26 - 来自专栏AI学习笔记
端侧 AI 新战场：MoE 大模型压缩与移动芯片适配
在人工智能领域的浩瀚星河中，端侧 AI 正冉冉升起，成为备受瞩目的新星。随着技术的不断演进，人们对 AI 的需求已不再局限于云端服务器的强大算力，而是逐渐向移动设备等端侧延伸。 从智能手机中智能语音助手的实时响应，到智能摄像头对画面的精准识别，端侧 AI 正在悄无声息地改变着我们的生活方式。 然而，端侧 AI 的发展并非一帆风顺。 一、MoE 大模型的魅力与困境 （一）MoE 大模型：群英荟萃的智能架构 MoE 大模型，宛如一个汇聚了众多领域专家的智囊团。 （二）困境：庞然大物的端侧之旅 尽管 MoE 大模型在性能上表现出色，但它的庞大体积和复杂结构，使得它在端侧的部署困难重重。 二、MoE 大模型压缩：瘦身之旅 （一）模型压缩的 “三板斧” 为了帮助 MoE 大模型摆脱困境，顺利进入端侧，模型压缩技术成为了关键的解决方案。
77000编辑于 2025-07-04 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 这种结构使得 MoE 模型在处理复杂的、多样化的数据时具有较高的灵活性和准确性。（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 通过让小模型学习大模型的输出或中间表示，来提高小模型的性能。 旨在提高模型在端侧的推理效率和性能。
61810编辑于 2025-07-14 - 来自专栏Dance with GenAI
安克创新CEO阳萌：大模型在端侧的机会巨大
以下是访谈的内容要点： 大模型与私域知识的结合 阳萌首先指出，大模型虽然在通用知识方面表现出色，但在特定领域的知识整合上存在挑战。他认为，将私域知识有效整合进大模型是实现其大规模应用的关键。 大模型的未来发展在端侧 阳萌预测，大模型的未来发展可能会集中在长上下文和RAG两种主流观点上。他强调了大模型在端侧部署的重要性，以及对隐私和数据安全的关注。 有大模型或者有AI加持之后，未来的机器人和这些传统的机器人最底层的区别：传统的机器人都是用分治法加数理模型控制，新的AI人形机器人一定是端到端的算法来控制的，由一个大脑和一个小脑的两层模型共同支配。 相信在很多个细分品类把大模型这些先进技术应用起来，可以做出真正的极具创新的开拓性的产品。 大模型在产品中的应用 阳萌描述了安克创新如何将大模型应用于音频领域，并分享了未来的计划。 他讨论了大模型在不同细分领域的应用，以及如何通过基座模型实现快速部署。未来大概率是一条流水线加两三个基座模型。
30610编辑于 2024-11-04 - 来自专栏大前端修炼手册
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻 两年前，"手机跑大模型"还是 PPT 里的概念。 当然，端侧也不是万能药——模型能力上限摆在那里，7B 以下的模型做复杂推理还是不如 GPT-4o。但对于很多场景：文本摘要、意图识别、本地问答、个性化回复建议……端侧模型已经够用了。 模型文件怎么分发？ 这是端侧 LLM 最绕不开的工程问题。 模型更新机制复杂。端侧模型一旦部署，更新就比云端麻烦得多——需要重新下载几百 MB 到几 GB 的文件，还要处理版本兼容。模型版本管理是个绕不开的工程问题。 端侧大模型不是云端的替代品，是补充。 芯片算力还在快速提升，模型量化技术越来越成熟，Gemma、Phi-3 这类专为端侧设计的小模型效果越来越好。 如果你在做 C 端 App，这是一个值得提前布局的方向。
11910编辑于 2026-03-10 - 来自专栏深度学习与python
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
采访嘉宾｜杨永杰，小米 小爱同学端侧 AI 负责人 编辑｜罗燕珊 随着大模型能力持续提升，如何将其有效部署到端侧设备，成为产业界面临的重要工程挑战。 近日，InfoQ 对话 小米 / 小爱同学端侧 AI 负责人杨永杰，带你深入了解其团队如何从架构、系统和算法三层着手，推进大模型在端侧的工程化落地。 面向未来，杨永杰认为，端侧大模型的突破将依赖两方面：一是面向大模型优化的硬件能力提升，二是模型架构的演进，比如 Linear Attention 架构。 所以，从目前来看，大模型的发展还没有到一个“相对稳定”的阶段。不像传统模型发展成熟之后，各家公司会因为成本或场景要求，逐步考虑往端侧迁移。现在的端侧大模型更像是在做技术积累，是面向未来的准备。 杨永杰： 是的，我们团队自研了一个用于大模型推理的框架。之所以选择自研，主要是因为目前针对端侧的大模型推理框架非常少，开源的方案更是寥寥无几，即使有，往往也是针对端侧 CPU 或 GPU 的。
64800编辑于 2025-06-25 - 来自专栏网络安全技术点滴分享
深度解析苹果端侧与云端基础模型技术架构
芯片端侧API采用CoreML和Metal这种垂直整合使苹果避免GPU短缺问题，同时通过ML任务反哺硬件迭代。 五大核心模型解析端侧3B参数语言模型 类似微软Phi-3-mini和谷歌Gemini Nano-2规模基于OpenELM改进，支持LoRA/DoRA适配器49K词表专为指令跟随优化云端MoE大模型(预估 130B-180B参数) 架构对标GPT-3.5，运行在私有云计算集群采用混合专家系统提升推理效率XCode端侧代码模型(2B-7B参数) 专精Swift代码补全(FIM任务)集成项目上下文感知能力 0.6ms/首token延迟令牌推测技术预期提速2-3倍训练技术揭秘数据并行+张量并行+序列并行组合策略FSDP分片降低GPU内存峰值混合真实数据与合成数据训练网页爬取数据经过FineWeb级清洗基准测试争议端侧模型 +适配器 vs Phi-3-mini基础模型的不对等比较macOS Sequoia量化模型与float16版本的性能误导性对比Mistral 7B未包含安全过滤的基准差异隐私优先设计哲学端侧处理优先原则私有云计算确保数据安全垂直整合实现硬件级优化
30400编辑于 2025-07-26 端侧AI的终极形态
尽管如此，终端生态多方的信心并没有受到影响，大家正在使尽浑身解数共同促进端侧AI的实现。大模型“压缩”极限不断下探7B的预期端侧门槛正在被进一步打破。 然而，在接下来的不到两个月时间里，谷歌DeepMind更新发布了Gemma 2 2B，再次将通用端侧大模型的极限推到了2.6B这个新的“下限”，从上级模型中蒸馏而来的轻量级小模型Gemma 2 2B在大模型竞技场 无论是端侧还是云端AI，大模型都只是底层计算；要实现用户价值，还需要一个繁荣的应用生态和强大的工具集来提供支持。 虽然许多小模型在特定能力上已经具备了媲美十倍甚至百倍参数大模型的实力，GPT-4经常被用作这些端侧小模型的比较对象，并且“偶有失手”。 云端大模型始终比端侧大模型先进一个以上的数量级。
74110编辑于 2024-08-28- 来自专栏数据猿
端侧模型带来的三个新思考：剪枝、蒸馏、量化
然而，大模型的部署和应用面临着诸多挑战，如计算资源消耗大、数据传输延迟、隐私保护等问题。因此，端侧化成为大模型落地的重要方式。 首先，端侧化能够有效降低计算资源的消耗。 而端侧化将大模型直接部署到终端设备上，避免了数据传输的过程，从而降低了数据传输延迟。 端侧化有助于保护用户隐私。 端侧化将大模型部署到终端设备上，用户数据在本地进行处理，无需传输到服务器端，从而有效保护了用户隐私。 此外，端侧化还可以促进大模型的个性化和定制化。 例如，结合终端设备的传感器和摄像头，大模型可以实现更精准的环境感知和目标检测；结合终端设备的语音识别和自然语言处理能力，大模型可以实现更智能的人机交互和智能助手。 因此，端侧化是大模型落地的重要方式。 随着人工智能技术的不断进步和终端设备的性能提升，端侧化将发挥越来越重要的作用，为人工智能应用的落地和发展提供有力支持。 于是，在大模型端侧化的前提下，出现了三种新的业务模式。
73310编辑于 2024-06-19 - 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
50610编辑于 2024-02-17 - 来自专栏新智元
扩散模型失宠？端侧非自回归图像生成基础模型Meissonic登场，超越SDXL！
新智元报道 编辑：LRST 【新智元导读】刚刚，一款专为消费级显卡设计的全新非自回归掩码图像建模的文本到图像生成模型——Meissonic发布，标志着图像生成即将进入「端侧时代」。 近年来，大语言模型在自然语言处理领域取得了巨大的突破，以LLaMA和Qwen等为代表的模型展现了强大的语言理解和生成能力。 自回归文本到图像模型（如LlamaGen）通过预测下一个token生成图像，但由于生成的图像token数量庞大，自回归模型在效率和分辨率上也面临瓶颈，难以应用到实际场景。 高效推理与训练的结合 在文本到图像合成领域，Meissonic模型凭借卓越的效率脱颖而出。该模型不仅在推理过程中实现了高效性，同时在训练阶段也显著提升了效率。 广泛影响 最近，移动设备上的端侧文本到图像应用如谷歌Pixel 9的Pixel Studio和苹果iPhone 16的Image Playground相继推出，反映出提升用户体验和保护隐私的日益趋势。
24110编辑于 2025-02-14 - 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8 ，需要将其部署到端侧设备上。
42910编辑于 2025-07-22 - 来自专栏AI科技评论
国产端侧小模型超越 GPT-4V，「多模态」能力飞升
端侧大模型的解耦难题：是模型适配终端，还是终端适配模型？ 此外，由于视觉是上一代 AI 与终端应用结合的主流，如智能手机中的人脸识别、语音交互，多模态也成为端侧大模型的性能首选。 图注：OpenCompass 榜单变化显示，小参数、高性能模型逐渐成为 AI 技术趋势 据 AI 科技评论观察，国内的大模型团队在端侧上也发力迅猛。 在语言模型推理方面，目前开源社区的报告结果中，Llama 3 语言模型在手机端侧的解码速度在 0.5 token/s 上下，相比之下，多模态大模型的端侧运行面临着更大的效率挑战，经过 CPU、编译优化、 总的来说，面壁最新取得的端侧多模态模型成果 MiniCPM-Llama3-V 2.5 是国产端侧之光，加速了国产大模型部署在端侧的节奏，也给端侧 AI 行业提供了多方位的参考。
1.4K10编辑于 2024-05-22 - 来自专栏芯智讯
支持端侧AI大模型已成新趋势，将推动智能手机內存突破20GB
11月16日消息，根据外媒wccftech报导，预计2024年将会流行的一件事就是终端AI大模型的使用，该功能目前已内置于2024年发表的多款芯片组中，包括高通Snapdragon 8 Gen 3、联发科天玑 一份新报告提出，支持终端侧AI大模型功能的智能手机将需要比以前更大容量的內存。因此，内置端侧AI大模型功能的Android智能手机其內存容量至少需要20GB 将成为趋势。 所以，要想在智能手机端运行130亿参数的AI大模型将会面临着内存限制的问题。 即便采用先进的内存压缩技术，要流程的运行130亿参数的AI大模型，智能手机也需要至少16GB的内存容量，如要要运行更大规模的330亿参数的AI大模型，内存容量就需要进一步提升到20GB以上。 330亿参数大模型！天玑9300遥遥领先背后：“全大核”架构揭秘！ 摩尔线程CEO发内部信：本周将进行“岗位优化”！ 苹果M3系列设计和流片成本曝光：高达10亿美元！
83040编辑于 2023-11-17 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ●带来更多新功能、新体验，提升手机价值 ●控制云上推理成本 ●端云混合模式中，云上模型服务可以另收费 ●获取新流量入口 一、苹果等手机厂商 纷纷推出端侧大模型 去年以来，各厂商已经推出了多款端侧大模型手机 除了苹果，去年以来，各大手机厂商已经陆续发布了其端侧大模型的产品： 二、如何评价 端侧模型的成熟度？ 1.参数规模：“智商”水平至关重要，端侧模型任重道远 为什么“智商”重要？ ，大量超越10B会比较困难 ●在这些极限假设下，续航时间可以满足8-10h要求，并缓解发热问题 3年内看不到纯端侧模型驱动的AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解 端侧模型是否真正能为用户创造价值还有不确定性；与OS的结合似乎是必经之路。 ●大模型（不管是端侧还是云上）都为生态带来了新的变量。以前的“APPx硬件”流量入口格局还要加上“模型”。
48310编辑于 2024-09-11- 来自专栏AIoT技术交流、分享
端到端智能驾驶大模型，你知道吗？
2023年12月，特斯拉推出FSD V12，首次搭载端到端智驾大模型。 2024年至今，小鹏、华为、理想、蔚来等主机厂相继升级至端到端智能驾驶架构。 One Model生成式一体化端到端 (世界模型)：采用单一神经网络模型，将传统自动驾驶系统中的感知、预测、决策、规划等多模块整合为一体。 例如，小鹏汽车作为国内首家实现端到端大模型量产的车企，应用端到端大模型后，其版本迭代速度明显加快，推送周期由此前的约4个月缩短至约2个月。 同时，新增功能的落地速度和覆盖的场景也在加速。 例如，通过将感知、预测、决策、规划等多个子系统合并为一个大模型，主机厂可以减少开发和维护的复杂度，进而降低整体研发成本。 而端到端方案通过将多个模块整合为一个大模型，减少了系统的复杂性和冗余，优化了资源配置。 组织架构精简：端到端架构不再需要多个独立的团队来分别开发感知和决策模块。
1.4K10编辑于 2025-02-07 释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 模型小型化 (Model Compression)： 知识蒸馏：让小模型（学生）学习大模型（教师）的知识精华。 模型剪枝：精准移除冗余参数和连接，保留核心功能。 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？
1.3K10编辑于 2025-06-15- 来自专栏量子位
骁龙最强AI芯能力下放：小旗舰8s发布，端侧运行10B大模型，小米Civi首发
但AI性能丝毫不减：支持100亿参数大模型端侧运行，是骁龙8Gen 3同款配置。可运行Baichuan-7B，Google Gemini Nano、Llama2和ChatGLM等模型。 这意味着，终端运行AI大模型不再只是高端旗舰机型的特权。 卢伟冰已抢官宣，小米Civi 4 Pro将全球首发骁龙8s Gen3，红米后续也会搭载。 还能实现AI辅助摄影、在终端侧扩展照片，并用AI对GPU部分性能进行增强。 高通表示，骁龙8s的使命就是为更多智能手机带来领先的终端侧AI。 值得一提的是，在今年MWC上，高通还展示了一系列多模态大模型在手机、PC上的运行效果。并发布了最新一代WiFi 7解决方案FastConnect 7900。 不少人觉得高通这是要下探中端市场了。 而可以肯定的是，骁龙8s肯定可以让更多人能用更加划算的价格，体验到生成式AI手机了。 你看好骁龙8s吗？欢迎评论区讨论~
53110编辑于 2024-03-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号