- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI科技评论
国产端侧小模型超越 GPT-4V，「多模态」能力飞升
端侧大模型的解耦难题：是模型适配终端，还是终端适配模型？ 继被吴恩达大力推广的 ChatDev 后，面壁在端侧模型上频出奇招，再次推出端侧多模态模型 MiniCPM-Llama3-V 2.5，直接干翻 GPT-4V 与多模态巨无霸 Gemini Pro，引起了海内外的广泛关注 1、端侧小模型 SOTA 诞生？ -V2.5： 端侧部署 如前所述，由于终端硬件产品的物理限制，部署到端侧的 AI 模型既要满足硬件的端侧要求，并在成本可控的情况下实现同等参数性能最佳、同等性能参数最小。 总的来说，面壁最新取得的端侧多模态模型成果 MiniCPM-Llama3-V 2.5 是国产端侧之光，加速了国产大模型部署在端侧的节奏，也给端侧 AI 行业提供了多方位的参考。
1.4K10编辑于 2024-05-22 - 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 这种结构使得 MoE 模型在处理复杂的、多样化的数据时具有较高的灵活性和准确性。（三）MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势，但在端侧推理中也面临着一些挑战。 此外，如何在保证模型性能的前提下，尽可能地减少计算量和能量消耗，也是端侧 MoE 推理需要解决的难题。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 旨在提高模型在端侧的推理效率和性能。
68810编辑于 2025-07-14 - 来自专栏技术人生黄勇
仅4B参数！面壁端侧模型MiniCPM 3.0达到GPT-3.5水平
“ 端侧模型正成为一个备受关注的技术前沿。面壁智能发布的MiniCPM 3.0，以其4B参数量在性能上逼近GPT-3.5，更在端侧部署上实现了技术突破。 通过量化技术，该模型的内存需求被优化至仅 2GB，就很适合在端侧（移动端）环境中部署。 面壁智能CTO曾国洋表示，从技术路线上来说，端侧模型与云端大模型有一部分是共通的，主要体现在模型的知识密度和能力上，但是面壁智能需要在一些技术上采取更适配端侧模型的路径，才有可能实现以小博大的目的。 在真正落地端侧设备时，端侧模型的优势会得到显现。 由于端侧设备对运算资源有极大限制，端侧模型会从模型的训练技巧、数据配比、数据精度等方面做大量工作，而云端大模型整体更注重效果和成本的平衡，大都采取MoE（Mixture of Experts）架构等技术以追求性价比
81710编辑于 2024-12-09 - 来自专栏.NET 全栈开发专栏
端侧大模型实战指南：微调、部署、应用开发
什么是端侧大模型？端侧大模型是指在边缘设备（如个人电脑、移动设备等）上运行的大型语言模型。相较于云端部署，端侧模型具有以下优势：低延迟：本地运行无需网络请求，响应更快。 4. 微调大模型微调是优化模型性能的关键步骤，通过在特定数据集上训练模型，使其更适合目标任务。 部署大模型部署是将微调后的模型集成到 Ollama 并运行的过程。 总结通过本指南，你已经学会了如何在本地设备上完成端侧大模型的微调、部署和应用开发。以下是关键步骤的回顾：准备环境：安装 Ollama、MiniConda 和 Qwen2.5-0.5B 模型。 本部署实践学习自datawhale开源社区，希望这篇指南也能帮助你快速上手端侧大模型的开发！如果有任何问题，欢迎在评论区交流。
1.6K21编辑于 2025-08-05 - 来自专栏量子位
GPT-4现场被端侧小模型“暴打”，商汤日日新5.0：全面对标GPT-4 Turbo
而且二者还是不在一个“重量级”的那种： 绿人：由GPT-4操纵 红人：由一个端侧小模型操纵 那么这位又小又彪悍的选手到底什么来头？ 不卖关子，它正是由商汤科技最新发布的日日新端侧大模型——SenseChat Lite（商量轻量版）。 但除了文本生成之外，徐立同样在现场还展示了商汤端侧模型的多模态能力。 然而，纵观整场活动，端侧大模型也还仅是此次发布会的一隅。 在“大基座”方面，商汤更是把自家的日日新大模型来了个大版本的升级——SenseNova 5.0。 商汤的速度不只限于像端侧大模型的运行效果之快，更宏观地来看，是自身在迭代优化进程上的速度。
34110编辑于 2024-04-26 - 来自专栏网络安全技术点滴分享
深度解析苹果端侧与云端基础模型技术架构
芯片端侧API采用CoreML和Metal这种垂直整合使苹果避免GPU短缺问题，同时通过ML任务反哺硬件迭代。 五大核心模型解析端侧3B参数语言模型 类似微软Phi-3-mini和谷歌Gemini Nano-2规模基于OpenELM改进，支持LoRA/DoRA适配器49K词表专为指令跟随优化云端MoE大模型(预估 130B-180B参数) 架构对标GPT-3.5，运行在私有云计算集群采用混合专家系统提升推理效率XCode端侧代码模型(2B-7B参数) 专精Swift代码补全(FIM任务)集成项目上下文感知能力 0.6ms/首token延迟令牌推测技术预期提速2-3倍训练技术揭秘数据并行+张量并行+序列并行组合策略FSDP分片降低GPU内存峰值混合真实数据与合成数据训练网页爬取数据经过FineWeb级清洗基准测试争议端侧模型 +适配器 vs Phi-3-mini基础模型的不对等比较macOS Sequoia量化模型与float16版本的性能误导性对比Mistral 7B未包含安全过滤的基准差异隐私优先设计哲学端侧处理优先原则私有云计算确保数据安全垂直整合实现硬件级优化
37600编辑于 2025-07-26 端侧大模型浪潮奔涌而至：态势、影响与建议
一、端侧大模型的兴起 端侧大模型指在终端设备（如智能手机、平板、PC、智能穿戴设备、自动驾驶及具身智能等）上运行的大型预训练模型。 其中，智能手机和电脑是当前端侧大模型应用最有前景的领域，端侧大模型可以实现图像处理、自然语言理解和生成、人脸识别、语音助手和翻译等功能，在电脑侧，端侧大模型还可以分析用户自身的各类多媒体文件，生成用户自己的个性化小模型 从长远来看，端侧大模型还将与云端大模型结合将解锁更多应用场景。根据Scaling Law法则，云端模型在综合能力上始终领先于端侧模型一个数量级。 例如，谷歌的轻量级小模型Gemma 2 2B是从更大规模的云端模型蒸馏而来的，而苹果的Apple Intelligence通过对标GPT-4的云端模型Apple Server来处理复杂任务，端云协同机制不仅克服了终端设备算力和电池的限制 该产品号称只需500美元，便可以基于Llama3微调出一个强大的多模态模型，效果堪比GPT-4V等一线模型，而参数规模仅为8B。
1.1K20编辑于 2024-10-31- 来自专栏算法一只狗
苹果AI手机发布后，端侧AI大模型前景如何？
1.国内外纷纷推出自己的端侧大模型先来看看苹果推出的结合端侧大模型，网上说是与OpenAI合作，部署的是GPT-4o模型。 到时候可能接入的是国内百度的文心一言，体验不了最强模型GPT-4的效果。而回看国内手机厂商品牌，很多手机厂商也开始发布自家搭载了端侧大模型的AI手机。 2.端侧AI模型现状端侧AI模型是指将AI大模型运行于用户的终端设备上，如手机或计算机，而不是依赖云端服务器。 在当前INT4/INT8的量化上，需要保证模型还能够有一定的推理能力。从近期的一些文章来看，目前的端侧模型效果惊人，已经能够复刻ChatGPT的效果。 4.总结从目前的端侧AI模型现状来看，国内外的很多厂商都聚焦于如何把大模型配置到手机上，并使得手机能够更加的智能。从苹果发布会来看，这只是AI在手机上的一个初步体现。
1.2K20编辑于 2024-09-26 端侧AI的终极形态
从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一步压缩。 在7～8B的参数规模下，该模型的功能优化堪称“诚意十足”，一举将单图、多图、视频理解三项核心能力成功“压缩”至端侧，性能表现与GPT-4V看齐。 虽然许多小模型在特定能力上已经具备了媲美十倍甚至百倍参数大模型的实力，GPT-4经常被用作这些端侧小模型的比较对象，并且“偶有失手”。 云端大模型始终比端侧大模型先进一个以上的数量级。 苹果的Apple Intelligence通过一个对标GPT-4的云端模型Apple Server来处理复杂任务，这不仅是因为终端设备受限于芯片、电池和发热等因素的选择，更是为端侧提供“无所不知、无所不能
80710编辑于 2024-08-28- 来自专栏数据猿
端侧模型带来的三个新思考：剪枝、蒸馏、量化
然而，大模型的部署和应用面临着诸多挑战，如计算资源消耗大、数据传输延迟、隐私保护等问题。因此，端侧化成为大模型落地的重要方式。 首先，端侧化能够有效降低计算资源的消耗。 此外，端侧化还可以实现分布式计算，将计算任务分散到多个终端设备上，进一步提高计算效率。 其次，端侧化能够减少数据传输延迟。 而端侧化将大模型直接部署到终端设备上，避免了数据传输的过程，从而降低了数据传输延迟。 端侧化有助于保护用户隐私。 端侧化将大模型部署到终端设备上，用户数据在本地进行处理，无需传输到服务器端，从而有效保护了用户隐私。 此外，端侧化还可以促进大模型的个性化和定制化。 随着人工智能技术的不断进步和终端设备的性能提升，端侧化将发挥越来越重要的作用，为人工智能应用的落地和发展提供有力支持。 于是，在大模型端侧化的前提下，出现了三种新的业务模式。
84710编辑于 2024-06-19 - 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
52810编辑于 2024-02-17 - 来自专栏新智元
扩散模型失宠？端侧非自回归图像生成基础模型Meissonic登场，超越SDXL！
新智元报道 编辑：LRST 【新智元导读】刚刚，一款专为消费级显卡设计的全新非自回归掩码图像建模的文本到图像生成模型——Meissonic发布，标志着图像生成即将进入「端侧时代」。 近年来，大语言模型在自然语言处理领域取得了巨大的突破，以LLaMA和Qwen等为代表的模型展现了强大的语言理解和生成能力。 自回归文本到图像模型（如LlamaGen）通过预测下一个token生成图像，但由于生成的图像token数量庞大，自回归模型在效率和分辨率上也面临瓶颈，难以应用到实际场景。 为提升图像生成效果，Meissonic在训练中加入了图像分辨率、裁剪坐标及人类偏好评分等微观条件，显著增强了模型在高分辨率生成时的稳定性。 4. 广泛影响 最近，移动设备上的端侧文本到图像应用如谷歌Pixel 9的Pixel Studio和苹果iPhone 16的Image Playground相继推出，反映出提升用户体验和保护隐私的日益趋势。
25810编辑于 2025-02-14 - 来自专栏AI学习笔记
端侧 AI 新战场：MoE 大模型压缩与移动芯片适配
在人工智能领域的浩瀚星河中，端侧 AI 正冉冉升起，成为备受瞩目的新星。随着技术的不断演进，人们对 AI 的需求已不再局限于云端服务器的强大算力，而是逐渐向移动设备等端侧延伸。 从智能手机中智能语音助手的实时响应，到智能摄像头对画面的精准识别，端侧 AI 正在悄无声息地改变着我们的生活方式。 然而，端侧 AI 的发展并非一帆风顺。 （二）困境：庞然大物的端侧之旅 尽管 MoE 大模型在性能上表现出色，但它的庞大体积和复杂结构，使得它在端侧的部署困难重重。 二、MoE 大模型压缩：瘦身之旅 （一）模型压缩的 “三板斧” 为了帮助 MoE 大模型摆脱困境，顺利进入端侧，模型压缩技术成为了关键的解决方案。 通过这种方式，模型的计算复杂度降低了约 25%，并且识别准确率仅下降了约 1%。 同时，我们对模型进行分块加载。将模型分割成 4 个部分，每个部分存储在不同的内存块中。
86900编辑于 2025-07-04 - 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8 ，需要将其部署到端侧设备上。
48010编辑于 2025-07-22 - 来自专栏Dance with GenAI
安克创新CEO阳萌：大模型在端侧的机会巨大
以下是访谈的内容要点： 大模型与私域知识的结合 阳萌首先指出，大模型虽然在通用知识方面表现出色，但在特定领域的知识整合上存在挑战。他认为，将私域知识有效整合进大模型是实现其大规模应用的关键。 大模型的未来发展在端侧 阳萌预测，大模型的未来发展可能会集中在长上下文和RAG两种主流观点上。他强调了大模型在端侧部署的重要性，以及对隐私和数据安全的关注。 有大模型或者有AI加持之后，未来的机器人和这些传统的机器人最底层的区别：传统的机器人都是用分治法加数理模型控制，新的AI人形机器人一定是端到端的算法来控制的，由一个大脑和一个小脑的两层模型共同支配。 他讨论了大模型在不同细分领域的应用，以及如何通过基座模型实现快速部署。未来大概率是一条流水线加两三个基座模型。 所谓一条流水线就是今天收集数据然后清洗数据、标记数据、训练模型、评估模型，包括做数据闭环，这是一条模型和数据流水线。
35010编辑于 2024-11-04 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ~1B量级模型能力有限，性能提升空间不乐观 ●手机端侧模型有实际价值 -> ~10B模型塞到手机里 -> 估计3~4年 ●云+端混合将是长期主流 ○端侧模型 + 云上模型 的配合能力将是核心技术点之一 除了苹果，去年以来，各大手机厂商已经陆续发布了其端侧大模型的产品： 二、如何评价 端侧模型的成熟度？ 1.参数规模：“智商”水平至关重要，端侧模型任重道远 为什么“智商”重要？ 3.能耗：发热&续航表现短期不会大幅优化，是手机端侧大模型的主要瓶颈 现状：目前没有大规模测试端侧模型推理的功耗；以游戏运行为benchmark，功率大约在4~7W，续航时间仅为3~4小时 崩坏：星穹铁道最高画质各机型实测结果 ，但端侧+云上的模式会是多方协商合作的结果 h.变现： i.端侧模型 = 手机价格提升的增值 ii.端侧 + 云上搭配 = 云上服务可以收订阅费用 i.成本：端侧模型降低云上推理成本支出 五、小结与启示
53110编辑于 2024-09-11- 来自专栏大前端修炼手册
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻
端侧大模型上 Android：2026 年，手机里跑 LLM 已经不是科幻 两年前，"手机跑大模型"还是 PPT 里的概念。 当然，端侧也不是万能药——模型能力上限摆在那里，7B 以下的模型做复杂推理还是不如 GPT-4o。但对于很多场景：文本摘要、意图识别、本地问答、个性化回复建议……端侧模型已经够用了。 模型文件怎么分发？ 这是端侧 LLM 最绕不开的工程问题。 模型更新机制复杂。端侧模型一旦部署，更新就比云端麻烦得多——需要重新下载几百 MB 到几 GB 的文件，还要处理版本兼容。模型版本管理是个绕不开的工程问题。 端侧大模型不是云端的替代品，是补充。 芯片算力还在快速提升，模型量化技术越来越成熟，Gemma、Phi-3 这类专为端侧设计的小模型效果越来越好。 如果你在做 C 端 App，这是一个值得提前布局的方向。
1.3K10编辑于 2026-03-10 释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 4. 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？ 探索技术方案：研究成熟的模型压缩工具和推理框架。规划端云协同架构：设计最适合您业务需求的智能部署策略。
1.5K10编辑于 2025-06-15- 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
使用闪存加速边缘设备上大型语言模型（LLM）采用。 2. 在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 图示 Apple（业内著名内存抠搜）和 Windows 两大OS在融合大模型过程面临挑战。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 模型中活跃的神经元只占一部分，稀疏性使得我们能够专注于少数真正需要参与运算的部分，大大减少了总的计算负荷，从而加速模型的推理。 4. 启用了在4GB GPU VRAM机器上运行Gemma模型，通过使用LRP（低秩预测器）检测稀疏性。 2. 使用XNVMe技术，数据加载时间减少了三倍。 3.
56610编辑于 2025-02-11 - 来自专栏DeepHub IMBA
1小时微调 Gemma 3 270M 端侧模型与部署全流程
Gemma 3 270M是 Google 推出的一款虽小但能力惊人的开放模型。它属于 Gemma 家族，本质上是将 Gemini 模型中使用的相同技术带入了轻量级、可定制的形式中。 使用 QLoRA（仅更新少量参数）在 Google Colab 的 免费 T4 GPU 上就可以微调。 /gemma-emoji", num_train_epochs=3, per_device_train_batch_size=4, save_steps=100, 为了在本地运行它，我使用 LiteRT 将其量化为 4-bit（如果你更喜欢 Transformers.js，也可以选择 ONNX）。 因为 AI 的未来不仅仅是云端的大型模型——还有那些存在于你口袋里的小型模型。 Civil Learning
29310编辑于 2025-12-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号