- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与推荐算法
当终端智能遇上推荐系统: 端侧推荐系统综述
嘿，记得给“机器学习与推荐算法”添加星标 TLDR: 本文详细介绍了端侧推荐系统的最新进展情况，具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。 ，如手机、平板电脑、智能家居等。 端侧推理与部署 端侧推荐范式的部署和推理旨在在资源受限的设备上部署一个轻量级的推荐模型，如图1(b)所示。这使得推荐模型可以快速地在设备上进行模型推理，以此缓解资源消耗和响应延迟等问题。 端侧训练与更新 端侧训练与更新涉及通过利用本地存储的数据将训练过程转移到设备端，如图1(c)所示，从而缓解与数据上传过程相关的安全和隐私问题。此外，局部模型更新可以及时捕捉用户偏好的变化。 最后，本文总结了该领域潜在的研究问题，比如端侧推荐范式的异质性、公平性、用户动态演化、模型版权保护以及端侧推荐范式的基础模型等。
1.1K10编辑于 2024-02-06 端侧AI的终极形态
而对于更多的终端类型，比如自动驾驶车辆或应用于医疗、教育等领域的智能机器人，端侧模型的多模态能力则是刚需（这一点在部分智能汽车上已经有所体现）。 在7～8B的参数规模下，该模型的功能优化堪称“诚意十足”，一举将单图、多图、视频理解三项核心能力成功“压缩”至端侧，性能表现与GPT-4V看齐。 比如，当前，智能汽车的终端算力并不逊色于旗舰手机和PC，8B参数的端侧模型在智能汽车上，由于电池和算力资源更为充足，可以获得出更为优异的性能与用户体验。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。 虽然许多小模型在特定能力上已经具备了媲美十倍甚至百倍参数大模型的实力，GPT-4经常被用作这些端侧小模型的比较对象，并且“偶有失手”。
80710编辑于 2024-08-28- 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
52610编辑于 2024-02-17 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 但端侧AI也并不是完全没有优势，端侧AI对数据隐私的保护，相对而言是天然完美的屏障，所有数据可以都在端侧进行处理用后即焚，数据比较容易被保护及限制在端侧设备中。 AIOT的设备普及后，借由多设备分布式智能融合计算，可以更轻易的提供小型化、轻量化低功耗的端侧AI服务。 LiveVideoStack：近期，“Zoom隐私安全问题”掀起了一股新的风波。 LiveVideoStack：正如端上算力的不断增强推动端侧AI技术的发展，智能手机以及移动设备硬件条件的差异化也同样带来了不小的难题，应该如何应对？ 庄光庭：移动终端等差异化，是我们端侧AI最头疼的问题。时常我们设计了一个先进的算法，却因为硬件的差异，而无法全面铺开到所有产品，或是只能折衷采取裁剪的方式，让算法可以适配更多的智能终端。
1.7K50发布于 2020-05-13 - 来自专栏AI科技评论
国产端侧小模型超越 GPT-4V，「多模态」能力飞升
此外，由于视觉是上一代 AI 与终端应用结合的主流，如智能手机中的人脸识别、语音交互，多模态也成为端侧大模型的性能首选。 继被吴恩达大力推广的 ChatDev 后，面壁在端侧模型上频出奇招，再次推出端侧多模态模型 MiniCPM-Llama3-V 2.5，直接干翻 GPT-4V 与多模态巨无霸 Gemini Pro，引起了海内外的广泛关注 面壁智能的端侧模型不断迭代，在多模态各项能力上竟取得了如此迅速、耀眼的突破！ 从这个思路看，面壁智能 MiniCPM-Llama3-V2.5 的发布，或者不只表明了面壁在端侧模型上的突破，还有更宏大的 AGI 愿景。 总的来说，面壁最新取得的端侧多模态模型成果 MiniCPM-Llama3-V 2.5 是国产端侧之光，加速了国产大模型部署在端侧的节奏，也给端侧 AI 行业提供了多方位的参考。
1.4K10编辑于 2024-05-22 - 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 因此 ，在 通往 AIoT 的道路上 ，需要解决的核心挑战是高能效、低成本和长待机的端侧智能芯片 。 ? ? 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 相应地，不同于云端芯片，对于端侧智能芯 片 ，其对成本 、功耗的要求最高，而对通用性、算力 、 速度的要求次之，如图(3 b)所示。 端侧智能存算一体芯片概述[J]. 微纳电子与智能制造, 2019, 1(2): 72-82. GUO Xinjie, WANG Shaodi.
2.6K32发布于 2020-03-05 DeepSeek引领端侧AI革命，边缘智能重构AI价值金字塔
随着DeepSeek等新兴小模型的突破，一场以边缘侧智能为核心的变革正悄然重塑行业格局。算力下沉、场景驱动，AI正从实验室走向真实世界，以更低成本、更高效率重塑产业智能化。 这场技术革命正引发产业智能化浪潮：企业级市场掀起DeepSeek接入热潮，而基于其知识蒸馏技术衍生的轻量级模型，更以"端智能"新范式加速渗透，从工业质检机器人到移动终端AI助手，各类边缘计算设备迎来认知能力质的飞跃 其蒸馏技术让大模型的知识迁移到小模型，使轻量化AI在端侧设备上实现高效运行。传统认知中，“大即强”是铁律。 要让小模型真正“跑起来”，需突破三大瓶颈：硬件革新：专用AI芯片（如Arm Ethos-U85 NPU）提升端侧算力，ML性能较前代提升10倍；软件工具链：开源框架TVM、MLIR优化模型压缩与部署，开发者效率提升 边缘与端侧的落地浪潮，标志着AI进入“务实时代”——以更低的成本、更高的可靠性，赋能千行百业。
58010编辑于 2025-03-11- 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 为了解决这一问题，研究者们提出了端侧AutoML，特别是硬件感知神经网络架构搜索（NAS 2.0），它能够在考虑硬件约束条件下自动设计出高效、优质的模型。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8
48010编辑于 2025-07-22 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ~1B量级模型能力有限，性能提升空间不乐观 ●手机端侧模型有实际价值 -> ~10B模型塞到手机里 -> 估计3~4年 ●云+端混合将是长期主流 ○端侧模型 + 云上模型 的配合能力将是核心技术点之一 ；多模态生成在端侧的用户价值有限，更大的价值在于多模态理解 ●硬件粘性和价值 > 模型品牌吸引力 ●未来具备用户价值潜力的新领域：AI原生OS ○理解用户 + 智能唤醒APP（siri升级） ○直接access 利用端侧大模型，iphone16 不仅可以生成、润色文字、总结文本、回复邮件等，还可以生成表情符号，搜索照片、视频等，并执行多种任务。 发布会中最为惊艳的功能之一，是视觉智能。 3.能耗：发热&续航表现短期不会大幅优化，是手机端侧大模型的主要瓶颈 现状：目前没有大规模测试端侧模型推理的功耗；以游戏运行为benchmark，功率大约在4~7W，续航时间仅为3~4小时 崩坏：星穹铁道最高画质各机型实测结果
53110编辑于 2024-09-11释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 4. 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？ 规划端云协同架构：设计最适合您业务需求的智能部署策略。
1.5K10编辑于 2025-06-15- 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 例如，在一些对实时性要求较高的应用场景中，如智能驾驶、实时语音识别等，端侧推理可以快速做出决策，确保系统的高效运行。 随着自然语言处理技术在移动设备上的广泛应用，如语音助手、智能客服等，将 Mixtral 模型部署到手机端成为了实现更高效、更智能服务的关键一步。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 与其他技术的融合 ：探索 Mixtral 模型与其他新兴技术（如边缘计算、联邦学习等）的融合应用，为端侧智能提供更强大的技术支持和解决方案。
68610编辑于 2025-07-14 - 来自专栏公共互联网反网络钓鱼（APCN）
人工智能对智能手机安全的双重影响与端侧防御体系构建
与此同时，端侧人工智能为移动安全防护提供新型技术路径，可实现短信、通话、网页等场景的实时恶意内容检测与风险阻断。 研究表明，端侧人工智能是抵御高阶钓鱼攻击的可行方案，但需在技术迭代、用户信任、监管适配与生态协同方面形成闭环，方能平衡智能体验与安全底线。 反网络钓鱼技术专家芦笛强调，人工智能在移动安全领域呈现攻防两面性，防御方必须以同等级智能技术对抗智能化攻击，端侧闭环检测是兼顾实时性与隐私性的最优路径。 3 端侧人工智能在智能手机安全中的防御价值与实现路径3.1 端侧智能防御的核心优势低延迟实时防护：本地推理避免云端传输，实现消息接收、通话建立、网页加载瞬间的风险判定。 4 端侧智能反钓鱼系统设计与代码实现4.1 系统整体架构采用分层轻量化架构，适配移动端算力与功耗约束：数据接入层：获取短信、通话、网页、通知等内容，遵循权限最小化。
11110编辑于 2026-04-08 - 来自专栏技术人生黄勇
仅4B参数！面壁端侧模型MiniCPM 3.0达到GPT-3.5水平
“ 端侧模型正成为一个备受关注的技术前沿。面壁智能发布的MiniCPM 3.0，以其4B参数量在性能上逼近GPT-3.5，更在端侧部署上实现了技术突破。 这款小而强大的模型，不仅为移动设备智能化提供了全新可能，也为人工智能的轻量化和普及性开辟了更广阔的想象空间。” 近日面壁智能发布了旗舰端侧模型“小钢炮”系列的MiniCPM 3.0基座模型。 MiniCPM 3.0作为一款多功能的端侧AI模型，不仅可以作为智能个人助理，帮助用户管理日程和处理咨询，还能无缝集成到移动应用和智能家居系统中。 面壁智能CTO曾国洋表示，从技术路线上来说，端侧模型与云端大模型有一部分是共通的，主要体现在模型的知识密度和能力上，但是面壁智能需要在一些技术上采取更适配端侧模型的路径，才有可能实现以小博大的目的。 在真正落地端侧设备时，端侧模型的优势会得到显现。
81710编辑于 2024-12-09 - 来自专栏新智元
【华为邵洋】华为终端人工智能战略：端侧智能+云端智能，2019开启下一个时代
我们把这个都是叫作 On-device AI（端侧智能）和Cloud AI（云侧智能），二者的结合叫Mobile AI。这是我们认为下一阶段真正能够改变世界的一种体验方式。 华为终端人工智能战略：端侧智能+云端智能，四大方向 ? Mobile AI 要具备什么要素呢？我们拿人体做一个例子，我们认为它有四个基本的要素要满足，第一个就是感知的能力。 所以怎么能让这种端侧的能力越来越强，这是我们在人工智能时代需要思考的。 刚才我听伯克利的同事们介绍，如何让我们的机体更加有效，这也是非常强的端侧能力，这是非常对的。 当端侧成为一个健康的机体的时候，我们来谈云侧就更加有基础了。云是什么东西呢？云实际上是要在端侧的信息和云侧的信息结合的情况下，它能够产生出很大的价值。 在这种情况下如何智能的推荐，更好地服务于人，它需要大量的端侧和云侧的信息结合，这些方面就可以使得我们的出行变得更加便捷。 ?
1.6K100发布于 2018-03-21 - 来自专栏ZETA联盟
终端遇到AI：TinyML如何拓展端侧人工智能和LPWAN的“新疆界”
在此背景下，“节能、高效、智能”已然成为物联市场最直接的需求。最明显的是，近年“端智能”成为行业热词，边缘计算以及TinyML(微型机器学习)等技术相继走进人们的视野。 ，进一步拓展端侧人工智能的“新疆界”。 TinyML是Tiny Machine Learning的缩写，即微型机器学习，是机器学习、嵌入式物联网（IoT）和边缘计算等学科的融合，指在微控制器上部署、运行机器学习推理模型的技术，属于超低功耗端侧人工智能应用 在数据传输和云端集中存储过程中存在数据泄露的风险，“端智能”则能降低这种风险。 带宽和存储资源浪费。 TinyML的出现很大程度上降低了传统机器学习方式对计算资源和电量的依赖，帮助数量众多的端侧微控制器实现高效数据传输和智能升级，这极大拓展了物联设备的应用场景。
97900发布于 2021-03-09 - 来自专栏ceshiren0001
8B端侧智能写作体开源：DeepResearch，让您告别云端依赖
1 月 20 日，清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 社区联合开源了 8B 端侧写作智能体 AgentCPM-Report。 三、端侧部署，真正解决的是“物理级安全”另一个被反复强调的点，是完全离线、本地运行。 这基本坐实了一件事：端侧模型，已经开始正面进入“高阶认知任务”的战场。五、从 Demo 到生产：部署门槛被拉到极低从工程视角看，这个项目并不“学院派”。 而是它释放了一个清晰信号：DeepResearch 不再是云端特权小模型 + 智能体架构，开始挑战高阶认知任务本地化、可控、可审计的 AI 研究系统，正在成为现实选项接下来，问题可能不再是“能不能做到”
16710编辑于 2026-01-30 - 来自专栏量子位
GPT-4现场被端侧小模型“暴打”，商汤日日新5.0：全面对标GPT-4 Turbo
而且二者还是不在一个“重量级”的那种： 绿人：由GPT-4操纵 红人：由一个端侧小模型操纵 那么这位又小又彪悍的选手到底什么来头？ 不卖关子，它正是由商汤科技最新发布的日日新端侧大模型——SenseChat Lite（商量轻量版）。 在速度方面，SenseChat Lite则是采用了端云“联动”的MoE框架，在部分场景中端侧推理占70%，会让推理成本变得更低。 但除了文本生成之外，徐立同样在现场还展示了商汤端侧模型的多模态能力。 商汤的速度不只限于像端侧大模型的运行效果之快，更宏观地来看，是自身在迭代优化进程上的速度。
34110编辑于 2024-04-26 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度，可以实现更高效的参数加载和计算。 5. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。 4. 降低硬件压力： 在实际应用中，GPU和CPU的资源有限，特别是在客户端设备上。稀疏性允许模型避免不必要的内存使用和计算，优化硬件资源的使用。 启用了在4GB GPU VRAM机器上运行Gemma模型，通过使用LRP（低秩预测器）检测稀疏性。 2. 使用XNVMe技术，数据加载时间减少了三倍。 3.
56610编辑于 2025-02-11 - 来自专栏RTMP推送
“人工智能+”时代的端侧AI：算力下沉与实时视频的新基座
这不仅意味着市场规模的跃升，更预示着端侧智能将成为未来产业的核心支撑。与依赖云端算力的集中式AI不同，端侧AI强调在本地完成推理与响应，具备低延迟、隐私保护和能耗优化等天然优势。 从本质上看，芯片是端侧AI的“计算肌肉”，而大牛直播SDK则是驱动智能流动的“数据血液”。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。 从本质上看，芯片是端侧AI的“计算肌肉”，而大牛直播SDK则是驱动智能流动的“数据血液”。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。
52620编辑于 2025-09-09 - 来自专栏深度学习与python
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1 月 20 日，由清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 8B 端侧写作智能体 AgentCPM-Report 正式开源。 为此，AgentCPM-Report 以端侧模型为核心，来实现本地化部署与 SOTA 性能的双重突破，力求无需昂贵算力集群，也无需上传任何信息，即可在本地构建专家级调研助手。 据悉，该智能体的核心亮点集中在两大维度。 技术层面，两大创新支撑其“以弱胜强”的表现：一是“写作即推理”模式，通过“起草 - 深化”两阶段循环与渐进式优化，将长篇写作拆解为微小目标，避免小模型逻辑崩塌；二是“多阶段智能体学习”，拆解智能检索、流畅写作 、科学规划、精准决策四大核心能力，通过有监督微调、原子能力强化、全流程优化三阶段训练，实现端到端全链路能力提升。
35910编辑于 2026-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号