- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与推荐算法
当终端智能遇上推荐系统: 端侧推荐系统综述
嘿，记得给“机器学习与推荐算法”添加星标 TLDR: 本文详细介绍了端侧推荐系统的最新进展情况，具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。 ，如手机、平板电脑、智能家居等。 端侧推理与部署 端侧推荐范式的部署和推理旨在在资源受限的设备上部署一个轻量级的推荐模型，如图1(b)所示。这使得推荐模型可以快速地在设备上进行模型推理，以此缓解资源消耗和响应延迟等问题。 端侧训练与更新 端侧训练与更新涉及通过利用本地存储的数据将训练过程转移到设备端，如图1(c)所示，从而缓解与数据上传过程相关的安全和隐私问题。此外，局部模型更新可以及时捕捉用户偏好的变化。 最后，本文总结了该领域潜在的研究问题，比如端侧推荐范式的异质性、公平性、用户动态演化、模型版权保护以及端侧推荐范式的基础模型等。
1K10编辑于 2024-02-06 端侧AI的终极形态
从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今，7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛，且很难通过量化、微调等方式进一步压缩。 而对于更多的终端类型，比如自动驾驶车辆或应用于医疗、教育等领域的智能机器人，端侧模型的多模态能力则是刚需（这一点在部分智能汽车上已经有所体现）。 作为这场事件的主角，面壁智能公司在谷歌发布Gemma 2 2B后一周左右，也成功推出了新版的面壁小钢炮MiniCPM-V 2.6，刷新了多模态端侧模型的多项指标。 比如，当前，智能汽车的终端算力并不逊色于旗舰手机和PC，8B参数的端侧模型在智能汽车上，由于电池和算力资源更为充足，可以获得出更为优异的性能与用户体验。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。
76710编辑于 2024-08-28- 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
51710编辑于 2024-02-17 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 但端侧AI也并不是完全没有优势，端侧AI对数据隐私的保护，相对而言是天然完美的屏障，所有数据可以都在端侧进行处理用后即焚，数据比较容易被保护及限制在端侧设备中。 AIOT的设备普及后，借由多设备分布式智能融合计算，可以更轻易的提供小型化、轻量化低功耗的端侧AI服务。 LiveVideoStack：近期，“Zoom隐私安全问题”掀起了一股新的风波。 LiveVideoStack：正如端上算力的不断增强推动端侧AI技术的发展，智能手机以及移动设备硬件条件的差异化也同样带来了不小的难题，应该如何应对？ 庄光庭：移动终端等差异化，是我们端侧AI最头疼的问题。时常我们设计了一个先进的算法，却因为硬件的差异，而无法全面铺开到所有产品，或是只能折衷采取裁剪的方式，让算法可以适配更多的智能终端。
1.7K50发布于 2020-05-13 - 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 因此 ，在 通往 AIoT 的道路上 ，需要解决的核心挑战是高能效、低成本和长待机的端侧智能芯片 。 ? ? 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 相应地，不同于云端芯片，对于端侧智能芯 片 ，其对成本 、功耗的要求最高，而对通用性、算力 、 速度的要求次之，如图(3 b)所示。 端侧智能存算一体芯片概述[J]. 微纳电子与智能制造, 2019, 1(2): 72-82. GUO Xinjie, WANG Shaodi.
2.5K32发布于 2020-03-05 DeepSeek引领端侧AI革命，边缘智能重构AI价值金字塔
随着DeepSeek等新兴小模型的突破，一场以边缘侧智能为核心的变革正悄然重塑行业格局。算力下沉、场景驱动，AI正从实验室走向真实世界，以更低成本、更高效率重塑产业智能化。 这场技术革命正引发产业智能化浪潮：企业级市场掀起DeepSeek接入热潮，而基于其知识蒸馏技术衍生的轻量级模型，更以"端智能"新范式加速渗透，从工业质检机器人到移动终端AI助手，各类边缘计算设备迎来认知能力质的飞跃 其蒸馏技术让大模型的知识迁移到小模型，使轻量化AI在端侧设备上实现高效运行。传统认知中，“大即强”是铁律。 要让小模型真正“跑起来”，需突破三大瓶颈：硬件革新：专用AI芯片（如Arm Ethos-U85 NPU）提升端侧算力，ML性能较前代提升10倍；软件工具链：开源框架TVM、MLIR优化模型压缩与部署，开发者效率提升 边缘与端侧的落地浪潮，标志着AI进入“务实时代”——以更低的成本、更高的可靠性，赋能千行百业。
54810编辑于 2025-03-11- 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 为了解决这一问题，研究者们提出了端侧AutoML，特别是硬件感知神经网络架构搜索（NAS 2.0），它能够在考虑硬件约束条件下自动设计出高效、优质的模型。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8
44910编辑于 2025-07-22 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ；多模态生成在端侧的用户价值有限，更大的价值在于多模态理解 ●硬件粘性和价值 > 模型品牌吸引力 ●未来具备用户价值潜力的新领域：AI原生OS ○理解用户 + 智能唤醒APP（siri升级） ○直接access 利用端侧大模型，iphone16 不仅可以生成、润色文字、总结文本、回复邮件等，还可以生成表情符号，搜索照片、视频等，并执行多种任务。 发布会中最为惊艳的功能之一，是视觉智能。 除了苹果，去年以来，各大手机厂商已经陆续发布了其端侧大模型的产品： 二、如何评价 端侧模型的成熟度？ 1.参数规模：“智商”水平至关重要，端侧模型任重道远 为什么“智商”重要？ AI原生OS，复杂任务都需要云上实现 5.端侧多模态大模型：端侧的价值主要在多模态理解，而不在多模态生成 ●多模态生成不在端侧 价值有限：端侧多模态能完成的生成场景（例如修图），已有CV技术也能解决；新的生成功能
50410编辑于 2024-09-11释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 内容创作：移动端图片/视频实时编辑与特效生成。技术基石：如何在资源受限的终端部署强大模型？端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？ 规划端云协同架构：设计最适合您业务需求的智能部署策略。
1.4K10编辑于 2025-06-15- 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 例如，在一些对实时性要求较高的应用场景中，如智能驾驶、实时语音识别等，端侧推理可以快速做出决策，确保系统的高效运行。 随着自然语言处理技术在移动设备上的广泛应用，如语音助手、智能客服等，将 Mixtral 模型部署到手机端成为了实现更高效、更智能服务的关键一步。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 与其他技术的融合 ：探索 Mixtral 模型与其他新兴技术（如边缘计算、联邦学习等）的融合应用，为端侧智能提供更强大的技术支持和解决方案。
65910编辑于 2025-07-14 - 来自专栏新智元
【华为邵洋】华为终端人工智能战略：端侧智能+云端智能，2019开启下一个时代
我们把这个都是叫作 On-device AI（端侧智能）和Cloud AI（云侧智能），二者的结合叫Mobile AI。这是我们认为下一阶段真正能够改变世界的一种体验方式。 华为终端人工智能战略：端侧智能+云端智能，四大方向 ? Mobile AI 要具备什么要素呢？我们拿人体做一个例子，我们认为它有四个基本的要素要满足，第一个就是感知的能力。 所以怎么能让这种端侧的能力越来越强，这是我们在人工智能时代需要思考的。 刚才我听伯克利的同事们介绍，如何让我们的机体更加有效，这也是非常强的端侧能力，这是非常对的。 当端侧成为一个健康的机体的时候，我们来谈云侧就更加有基础了。云是什么东西呢？云实际上是要在端侧的信息和云侧的信息结合的情况下，它能够产生出很大的价值。 在这种情况下如何智能的推荐，更好地服务于人，它需要大量的端侧和云侧的信息结合，这些方面就可以使得我们的出行变得更加便捷。 ?
1.6K100发布于 2018-03-21 - 来自专栏ZETA联盟
终端遇到AI：TinyML如何拓展端侧人工智能和LPWAN的“新疆界”
在此背景下，“节能、高效、智能”已然成为物联市场最直接的需求。最明显的是，近年“端智能”成为行业热词，边缘计算以及TinyML(微型机器学习)等技术相继走进人们的视野。 ，进一步拓展端侧人工智能的“新疆界”。 TinyML是Tiny Machine Learning的缩写，即微型机器学习，是机器学习、嵌入式物联网（IoT）和边缘计算等学科的融合，指在微控制器上部署、运行机器学习推理模型的技术，属于超低功耗端侧人工智能应用 在数据传输和云端集中存储过程中存在数据泄露的风险，“端智能”则能降低这种风险。 带宽和存储资源浪费。 TinyML的出现很大程度上降低了传统机器学习方式对计算资源和电量的依赖，帮助数量众多的端侧微控制器实现高效数据传输和智能升级，这极大拓展了物联设备的应用场景。
95500发布于 2021-03-09 - 来自专栏ceshiren0001
8B端侧智能写作体开源：DeepResearch，让您告别云端依赖
1 月 20 日，清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 社区联合开源了 8B 端侧写作智能体 AgentCPM-Report。 三、端侧部署，真正解决的是“物理级安全”另一个被反复强调的点，是完全离线、本地运行。 这基本坐实了一件事：端侧模型，已经开始正面进入“高阶认知任务”的战场。五、从 Demo 到生产：部署门槛被拉到极低从工程视角看，这个项目并不“学院派”。 而是它释放了一个清晰信号：DeepResearch 不再是云端特权小模型 + 智能体架构，开始挑战高阶认知任务本地化、可控、可审计的 AI 研究系统，正在成为现实选项接下来，问题可能不再是“能不能做到”
15110编辑于 2026-01-30 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度，可以实现更高效的参数加载和计算。 5. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。 降低硬件压力： 在实际应用中，GPU和CPU的资源有限，特别是在客户端设备上。稀疏性允许模型避免不必要的内存使用和计算，优化硬件资源的使用。 Note：模型稀疏性研究是推动其在有限资源端、边设备运行的关键！ 存储硬件或软件厂商，能在模型稀疏性上尝试哪些创新？ • 硬件厂商 专用加速器： 开发专门针对稀疏矩阵运算优化的硬件加速器。
55010编辑于 2025-02-11 - 来自专栏RTMP推送
“人工智能+”时代的端侧AI：算力下沉与实时视频的新基座
这不仅意味着市场规模的跃升，更预示着端侧智能将成为未来产业的核心支撑。与依赖云端算力的集中式AI不同，端侧AI强调在本地完成推理与响应，具备低延迟、隐私保护和能耗优化等天然优势。 从本质上看，芯片是端侧AI的“计算肌肉”，而大牛直播SDK则是驱动智能流动的“数据血液”。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。 从本质上看，芯片是端侧AI的“计算肌肉”，而大牛直播SDK则是驱动智能流动的“数据血液”。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。
49820编辑于 2025-09-09 - 来自专栏深度学习与python
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1 月 20 日，由清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 8B 端侧写作智能体 AgentCPM-Report 正式开源。 为此，AgentCPM-Report 以端侧模型为核心，来实现本地化部署与 SOTA 性能的双重突破，力求无需昂贵算力集群，也无需上传任何信息，即可在本地构建专家级调研助手。 据悉，该智能体的核心亮点集中在两大维度。 技术层面，两大创新支撑其“以弱胜强”的表现：一是“写作即推理”模式，通过“起草 - 深化”两阶段循环与渐进式优化，将长篇写作拆解为微小目标，避免小模型逻辑崩塌；二是“多阶段智能体学习”，拆解智能检索、流畅写作 、科学规划、精准决策四大核心能力，通过有监督微调、原子能力强化、全流程优化三阶段训练，实现端到端全链路能力提升。
30810编辑于 2026-01-28 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
大贵：“当推理费变成毛利天花板，端侧就会变成默认答案。” 2）体验逻辑反转：从“等云端回话”，变成“先即时响应” 实时交互（语音、字幕、输入法、会议摘要、图像增强、智能检索）对时延极其敏感。 端侧能把“交互”从请求-响应，变成随时随地的即时反馈。 端侧（小模型驻端）：负责高频、低风险、强实时 典型特征： 高频：每天反复用（输入、翻译、总结、检索） 强实时：等不起 强隐私：不适合出门 端侧模型不用“最聪明”，而要“足够聪明 + 足够稳定 + 足够省电 05｜ 把“端侧推理能力”纳入采购与架构评审 如果你是企业的数字化/IT/产品负责人，2026 年要多做一件事：把端侧 AI 当成新一代基础设施能力来评审，而不是当作“某个应用的小功能”。 3）治理与合规：端侧不是“更安全”，而是“责任更清晰” 端侧减少数据出门，但也意味着： 设备丢失、越权访问、模型被篡改 本地日志与审计的缺失 所以要同步补上：设备级安全、密钥托管、访问控制、可追溯日志。
29610编辑于 2026-01-13 - 来自专栏通用文字识别信息技术白皮书
手机端侧文字识别：挑战与解决方案
在手机端侧实现文字识别，考虑资源限制和效率至关重要。1.图像处理在手机端侧进行图像预处理，必须精细权衡资源消耗与效果。 整体来看，这些预处理步骤和技术点确保在有限的手机端算力和内存下，图像数据被快速、专业地准备好供后续的OCR模型处理。2.文字检测在手机端侧实现文字检测，需要特别注重计算效率和模型大小。 总的来说，在手机端实现文字检测，核心是采用轻量级模型、多尺度检测技术以及后处理优化，确保在有限的资源下达到实时、高准确的检测效果。3.文字识别在手机端进行文字识别，考虑算力和存储资源的限制是关键。 由于端侧的计算资源受限，选择轻量级的网络结构与优化策略尤为重要。首先，轻量级的序列识别网络如CRNN的精简版本被广泛使用。 再者，CTC (Connectionist Temporal Classification) 是常用的损失函数，用于端到端的序列识别任务，它可以有效处理序列中的对齐问题，省去了传统的分段标注过程。
1.1K30编辑于 2023-10-20 - 来自专栏李洋博客
zblog怎么在移动端显示隐藏侧栏模块
关于zblog主题模板手机移动端针对不同主题采用了不同的方案，有些是默认显示，有些不显示侧栏，总归没有一个完美的解决方案，所以今天就抽空水一篇文章，教大家怎么显示或者隐藏侧栏模板的内容。 然后整体布局发生改变，嗯嗯，这个图标的意思就是模拟手机端，然后在最右侧，点击“三个点”，然后点击最右侧图标”不懂看图： ? 页面再次变动，变为竖屏，顶部可以调节像素尺寸，如图： ? 类别名之后我们复制右侧红框代码，登录网站后台，主题设置，找到主题预留的自定义css接口（没有的话只能在样式表修改），粘贴代码： .side.fr {display:block; } 这样还不行，因为我们刚刚看到代码是先手机端才隐藏的 ，难看，建议改为560px，意思就是侧栏在999px-561px之间隐藏，在560px以下显示侧栏模块。 这是显示模块教程，想要隐藏，这也简单，首先确定移动端屏幕像素的尺寸，比如小于999px，那么隐藏的代码就是： @media screen and (max-width:999px){ .side.fr
1.7K20发布于 2021-06-15 - 来自专栏AIWalker
旷视科技|商用端侧Raw图像降噪方案
标题&作者团队 【Happy导语】该文是旷视科技的研究员提出的一种“商用端侧RAW图像降噪”方法，相应方法已被广泛应用到OPPO、小米等手机中。 从笔者角度来看，该文最大的创新点当属噪声参数参数估计部分的推导，它将噪声可变模型转换成了噪声固定模式，这样就可以做到“一个模型处理不同噪声水平”；当然作者所设计的端侧友好网络架构也是非常有启发性的。 作者通过充分的实验验证了所提方法的有效性，所提方法在可以高通骁龙855平台上以约70ms的速度处理百万像素图像，它也是2019年几款智能机中超级夜景的核心算法。 ? 在真实数据方面，作者选用OPPO Reno-10x智能手机主摄拍摄图像进行测试。 ，该文的主要贡献包含以下几点： 提出了一种传感器相关合成数据制作方案，并用于训练轻量型降噪模型； 提出一种新颖的k-Sigma变换用于将不同ISO设置下的噪声映射到ISO不变信号-噪声空间； 提出一种端侧友好的轻量型模型用于图像降噪
1.9K30发布于 2020-09-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号