- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与推荐算法
当终端智能遇上推荐系统: 端侧推荐系统综述
嘿，记得给“机器学习与推荐算法”添加星标 TLDR: 本文详细介绍了端侧推荐系统的最新进展情况，具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。 (3) 安全与隐私: 在数据中心保存所有用户数据可能会对数据安全和隐私造成风险。此外，随着欧洲的GDPR、美国的CCPA、中国的PIPL等数据保护法规的出台，用户对加强数据隐私保护的需求日益强烈。 ，如手机、平板电脑、智能家居等。 端侧训练与更新 端侧训练与更新涉及通过利用本地存储的数据将训练过程转移到设备端，如图1(c)所示，从而缓解与数据上传过程相关的安全和隐私问题。此外，局部模型更新可以及时捕捉用户偏好的变化。 最后，本文总结了该领域潜在的研究问题，比如端侧推荐范式的异质性、公平性、用户动态演化、模型版权保护以及端侧推荐范式的基础模型等。
1.1K10编辑于 2024-02-06 端侧AI的终极形态
它通过专项任务小模型的生成、适配器的动态加载与交换、以及端侧模型的整体量化压缩，配合特定的JSON结构化提示词工程，使得这个3B的小模型在特定的端侧任务上表现出色，足以媲美像Mistral-7B和Gemma 而对于更多的终端类型，比如自动驾驶车辆或应用于医疗、教育等领域的智能机器人，端侧模型的多模态能力则是刚需（这一点在部分智能汽车上已经有所体现）。 然而，不到两天时间，该项目被指大量剽窃了清华与面壁智能合作开发的多模态模型MiniCPM-Llama3-V 2.5。 比如，当前，智能汽车的终端算力并不逊色于旗舰手机和PC，8B参数的端侧模型在智能汽车上，由于电池和算力资源更为充足，可以获得出更为优异的性能与用户体验。 这些项目均以视觉理解为基础，构建多智能体协作的架构，从而实现更强的任务拆解和跨应用操作能力，这是未来端侧AI的关键组成部分。端侧AI的终极混合形态专业化端侧与全知全能云端协同或是最优解。
80710编辑于 2024-08-28- 来自专栏AIWalker
端侧高效骨干RepGhost | 重参数赋能GhostNet，达成端侧超高效骨干
https://github.com/ChengpengChen/RepGhost
52610编辑于 2024-02-17 - 来自专栏音视频技术
端侧AI：高隐私、高可靠的智能个性化服务
随着终端算力的提升，端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知，将为用户带来更可靠的个性化优质服务。 直到3G时代，原本运营商期待透过视频通话抢占市场的主要特性也没起来，但越来越多的业务逐渐迁移到了互联网云侧。 但端侧AI也并不是完全没有优势，端侧AI对数据隐私的保护，相对而言是天然完美的屏障，所有数据可以都在端侧进行处理用后即焚，数据比较容易被保护及限制在端侧设备中。 AIOT的设备普及后，借由多设备分布式智能融合计算，可以更轻易的提供小型化、轻量化低功耗的端侧AI服务。 LiveVideoStack：近期，“Zoom隐私安全问题”掀起了一股新的风波。 LiveVideoStack：正如端上算力的不断增强推动端侧AI技术的发展，智能手机以及移动设备硬件条件的差异化也同样带来了不小的难题，应该如何应对？
1.7K50发布于 2020-05-13 - 来自专栏AI科技大本营的专栏
端侧智能存算一体芯片的需求、现状与挑战
近年来以数据为中心的新型计算架构 ，例如存算一体芯片技术 ，受到人们的广泛关注 ，尤其在端侧智能场景。 因此 ，在 通往 AIoT 的道路上 ，需要解决的核心挑战是高能效、低成本和长待机的端侧智能芯片 。 ? ? 相比较而言 ，Nor Flash 在技术/ 工艺成熟度与成本方面在端侧AIoT领域具有优势，3 大公司均宣布在 2019 年末实现量产。 ? 端侧智能应用特征与存算一体芯片需求 随着 AIoT 的快速发展 ，用户对时延 、带宽 、功耗、隐私/安全性等特殊应用需求，如图3(a)所示，驱 动边缘端侧智能应用场景的爆发。 相应地，不同于云端芯片，对于端侧智能芯 片 ，其对成本 、功耗的要求最高，而对通用性、算力 、 速度的要求次之，如图(3 b)所示。
2.6K32发布于 2020-03-05 DeepSeek引领端侧AI革命，边缘智能重构AI价值金字塔
随着DeepSeek等新兴小模型的突破，一场以边缘侧智能为核心的变革正悄然重塑行业格局。算力下沉、场景驱动，AI正从实验室走向真实世界，以更低成本、更高效率重塑产业智能化。 这场技术革命正引发产业智能化浪潮：企业级市场掀起DeepSeek接入热潮，而基于其知识蒸馏技术衍生的轻量级模型，更以"端智能"新范式加速渗透，从工业质检机器人到移动终端AI助手，各类边缘计算设备迎来认知能力质的飞跃 其蒸馏技术让大模型的知识迁移到小模型，使轻量化AI在端侧设备上实现高效运行。传统认知中，“大即强”是铁律。 要让小模型真正“跑起来”，需突破三大瓶颈：硬件革新：专用AI芯片（如Arm Ethos-U85 NPU）提升端侧算力，ML性能较前代提升10倍；软件工具链：开源框架TVM、MLIR优化模型压缩与部署，开发者效率提升 边缘与端侧的落地浪潮，标志着AI进入“务实时代”——以更低的成本、更高的可靠性，赋能千行百业。
58010编辑于 2025-03-11- 来自专栏AI学习笔记
端侧AutoML：硬件感知NAS 2.0
引言在移动设备和物联网（IoT）快速发展的今天，将机器学习模型直接部署到端侧设备（如智能手机、平板电脑、嵌入式设备等）已成为一种趋势。 然而，端侧设备的硬件资源（如计算能力、内存、电池寿命等）通常有限，这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性，导致模型在实际部署时性能不佳或无法运行。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战：挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前，需要确保以下环境配置：硬件平台：目标端侧设备（如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等）开发环境：Python 3.8 具体设置如下：数据集：CIFAR-10目标设备：搭载骁龙888处理器的智能手机基线模型：MobileNetV3搜索策略：正则化演化搜索硬件性能指标：推理延迟（单位：ms）、能耗（单位：mJ）实验结果经过硬件感知
48010编辑于 2025-07-22 苹果能引领端侧AI时代吗？
Apple Intelligence采用“端侧大模型+云端大模型”的方式，将为用户带来更丰富的智能体验。而这仅仅是端侧智能的开始，未来我们可以想象，一个由大模型带来的移动智能生态正在缓缓打开。 ~1B量级模型能力有限，性能提升空间不乐观 ●手机端侧模型有实际价值 -> ~10B模型塞到手机里 -> 估计3~4年 ●云+端混合将是长期主流 ○端侧模型 + 云上模型 的配合能力将是核心技术点之一 ○从用户价值看，端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本，2) 响应速度更快 3）更好保护隐私 2.产品：短期以小功能为先导，长期价值期待释放 ●当前AI 手机以功能探索为主， 利用端侧大模型，iphone16 不仅可以生成、润色文字、总结文本、回复邮件等，还可以生成表情符号，搜索照片、视频等，并执行多种任务。 发布会中最为惊艳的功能之一，是视觉智能。 3.能耗：发热&续航表现短期不会大幅优化，是手机端侧大模型的主要瓶颈 现状：目前没有大规模测试端侧模型推理的功耗；以游戏运行为benchmark，功率大约在4~7W，续航时间仅为3~4小时 崩坏：星穹铁道最高画质各机型实测结果
53110编辑于 2024-09-11释放终端潜能：端侧AI模型——高效、安全、无处不在的智能未来
端侧模型正引领AI技术变革，将强大的智能直接部署在手机、IoT设备等终端，实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 3. 成本优化，规模可控： 大幅削减云端成本：减少甚至免除昂贵的云端计算资源和数据传输费用。 降低带宽压力：仅在必要时与云端同步（端云协同），极大缓解网络拥堵。 端云协同 (Hybrid AI)： 最佳平衡策略：将轻量级、高实时性、强隐私需求的任务放在端侧；复杂计算、大数据分析、模型更新等交给云端。两者无缝协作，提供最优整体体验。为何选择端侧AI？ 端侧AI模型已不再是未来概念，而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者，现在是时候：评估应用场景：您的哪些业务痛点可通过端侧AI解决（延迟？ 规划端云协同架构：设计最适合您业务需求的智能部署策略。
1.5K10编辑于 2025-06-15- 来自专栏AI学习笔记
端侧 MoE 推理：Mixtral 模型手机部署
一、端侧推理与 MoE 模型概述（一）端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算，而非依赖云端服务器。 例如，在一些对实时性要求较高的应用场景中，如智能驾驶、实时语音识别等，端侧推理可以快速做出决策，确保系统的高效运行。 随着自然语言处理技术在移动设备上的广泛应用，如语音助手、智能客服等，将 Mixtral 模型部署到手机端成为了实现更高效、更智能服务的关键一步。 （三）Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势：高效率 ：通过优化的 MoE 结构，能够在有限的计算资源下实现快速的推理计算，满足手机端实时交互的需求。 与其他技术的融合 ：探索 Mixtral 模型与其他新兴技术（如边缘计算、联邦学习等）的融合应用，为端侧智能提供更强大的技术支持和解决方案。
68610编辑于 2025-07-14 - 来自专栏公共互联网反网络钓鱼（APCN）
人工智能对智能手机安全的双重影响与端侧防御体系构建
与此同时，端侧人工智能为移动安全防护提供新型技术路径，可实现短信、通话、网页等场景的实时恶意内容检测与风险阻断。 研究表明，端侧人工智能是抵御高阶钓鱼攻击的可行方案，但需在技术迭代、用户信任、监管适配与生态协同方面形成闭环，方能平衡智能体验与安全底线。 在此背景下，端侧人工智能成为移动安全的重要演进方向。谷歌、三星、苹果等厂商陆续推出基于设备端推理的诈骗检测、恶意链接识别、语音欺诈拦截等功能，实现低延迟、高隐私的实时防护。 反网络钓鱼技术专家芦笛强调，人工智能在移动安全领域呈现攻防两面性，防御方必须以同等级智能技术对抗智能化攻击，端侧闭环检测是兼顾实时性与隐私性的最优路径。 3 端侧人工智能在智能手机安全中的防御价值与实现路径3.1 端侧智能防御的核心优势低延迟实时防护：本地推理避免云端传输，实现消息接收、通话建立、网页加载瞬间的风险判定。
11110编辑于 2026-04-08 - 来自专栏新智元
【华为邵洋】华为终端人工智能战略：端侧智能+云端智能，2019开启下一个时代
我们把这个都是叫作 On-device AI（端侧智能）和Cloud AI（云侧智能），二者的结合叫Mobile AI。这是我们认为下一阶段真正能够改变世界的一种体验方式。 华为终端人工智能战略：端侧智能+云端智能，四大方向 ? Mobile AI 要具备什么要素呢？我们拿人体做一个例子，我们认为它有四个基本的要素要满足，第一个就是感知的能力。 所以怎么能让这种端侧的能力越来越强，这是我们在人工智能时代需要思考的。 刚才我听伯克利的同事们介绍，如何让我们的机体更加有效，这也是非常强的端侧能力，这是非常对的。 当端侧成为一个健康的机体的时候，我们来谈云侧就更加有基础了。云是什么东西呢？云实际上是要在端侧的信息和云侧的信息结合的情况下，它能够产生出很大的价值。 在这种情况下如何智能的推荐，更好地服务于人，它需要大量的端侧和云侧的信息结合，这些方面就可以使得我们的出行变得更加便捷。 ?
1.6K100发布于 2018-03-21 - 来自专栏ZETA联盟
终端遇到AI：TinyML如何拓展端侧人工智能和LPWAN的“新疆界”
在此背景下，“节能、高效、智能”已然成为物联市场最直接的需求。最明显的是，近年“端智能”成为行业热词，边缘计算以及TinyML(微型机器学习)等技术相继走进人们的视野。 ，进一步拓展端侧人工智能的“新疆界”。 TinyML是Tiny Machine Learning的缩写，即微型机器学习，是机器学习、嵌入式物联网（IoT）和边缘计算等学科的融合，指在微控制器上部署、运行机器学习推理模型的技术，属于超低功耗端侧人工智能应用 在数据传输和云端集中存储过程中存在数据泄露的风险，“端智能”则能降低这种风险。 带宽和存储资源浪费。 TinyML的出现很大程度上降低了传统机器学习方式对计算资源和电量的依赖，帮助数量众多的端侧微控制器实现高效数据传输和智能升级，这极大拓展了物联设备的应用场景。
97900发布于 2021-03-09 - 来自专栏ceshiren0001
8B端侧智能写作体开源：DeepResearch，让您告别云端依赖
1 月 20 日，清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 社区联合开源了 8B 端侧写作智能体 AgentCPM-Report。 三、端侧部署，真正解决的是“物理级安全”另一个被反复强调的点，是完全离线、本地运行。 这基本坐实了一件事：端侧模型，已经开始正面进入“高阶认知任务”的战场。五、从 Demo 到生产：部署门槛被拉到极低从工程视角看，这个项目并不“学院派”。 而是它释放了一个清晰信号：DeepResearch 不再是云端特权小模型 + 智能体架构，开始挑战高阶认知任务本地化、可控、可审计的 AI 研究系统，正在成为现实选项接下来，问题可能不再是“能不能做到”
16710编辑于 2026-01-30 - 来自专栏存储公众号：王知鱼
WD：Flash加速AI推理在端侧落地
在客户端设备上运行LLM时，需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中，可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度，可以实现更高效的参数加载和计算。 5. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩，但与当前端侧设备的DRAM容量相比，仍明显超出。 端侧toC市场对价格非常敏感，提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意，RTX 2000 一张显卡的价格接近左图PC的一半。 3. 加速推理过程： 跳过冗余计算和减少不必要的参数加载直接提高了推理速度。 3. 应用窗口技术，仅为最近的tokens加载参数。
56610编辑于 2025-02-11 - 来自专栏RTMP推送
“人工智能+”时代的端侧AI：算力下沉与实时视频的新基座
这不仅意味着市场规模的跃升，更预示着端侧智能将成为未来产业的核心支撑。与依赖云端算力的集中式AI不同，端侧AI强调在本地完成推理与响应，具备低延迟、隐私保护和能耗优化等天然优势。 3. 成本优化与能耗控制虽然云端AI提供了庞大的算力，但高昂的成本和能耗往往限制了其在大规模业务中的落地。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。 3. 成本优化与能耗控制虽然云端AI提供了庞大的算力，但高昂的成本和能耗往往限制了其在大规模业务中的落地。 它确保数据在端侧被高效传递与管理，不依赖复杂的云端架构。 端侧AI 则在本地执行识别、检测和语义分析，将实时数据转化为可直接驱动业务的“智能信号”。
52620编辑于 2025-09-09 - 来自专栏DeepHub IMBA
1小时微调 Gemma 3 270M 端侧模型与部署全流程
Gemma 3 270M是 Google 推出的一款虽小但能力惊人的开放模型。它属于 Gemma 家族，本质上是将 Gemini 模型中使用的相同技术带入了轻量级、可定制的形式中。 import LoraConfig, get_peft_model from datasets import load_dataset model_name = "google/gemma-3- /gemma-emoji", num_train_epochs=3, per_device_train_batch_size=4, save_steps=100,
29310编辑于 2025-12-30 - 来自专栏深度学习与python
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1 月 20 日，由清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 8B 端侧写作智能体 AgentCPM-Report 正式开源。 为此，AgentCPM-Report 以端侧模型为核心，来实现本地化部署与 SOTA 性能的双重突破，力求无需昂贵算力集群，也无需上传任何信息，即可在本地构建专家级调研助手。 据悉，该智能体的核心亮点集中在两大维度。 技术层面，两大创新支撑其“以弱胜强”的表现：一是“写作即推理”模式，通过“起草 - 深化”两阶段循环与渐进式优化，将长篇写作拆解为微小目标，避免小模型逻辑崩塌；二是“多阶段智能体学习”，拆解智能检索、流畅写作 、科学规划、精准决策四大核心能力，通过有监督微调、原子能力强化、全流程优化三阶段训练，实现端到端全链路能力提升。
35910编辑于 2026-01-28 - 来自专栏凯哥讲故事系列
凯哥 丨CES 2026：端侧 AI 的 崛起
大贵：“当推理费变成毛利天花板，端侧就会变成默认答案。” 2）体验逻辑反转：从“等云端回话”，变成“先即时响应” 实时交互（语音、字幕、输入法、会议摘要、图像增强、智能检索）对时延极其敏感。 端侧能把“交互”从请求-响应，变成随时随地的即时反馈。 3）数据边界反转：从“数据默认出门”，变成“数据尽量不出门” 隐私、企业合规、敏感数据（合同/财务/会议/代码/客户信息）让“上云”越来越需要理由。 端侧（小模型驻端）：负责高频、低风险、强实时 典型特征： 高频：每天反复用（输入、翻译、总结、检索） 强实时：等不起 强隐私：不适合出门 端侧模型不用“最聪明”，而要“足够聪明 + 足够稳定 + 足够省电 3）治理与合规：端侧不是“更安全”，而是“责任更清晰” 端侧减少数据出门，但也意味着： 设备丢失、越权访问、模型被篡改 本地日志与审计的缺失 所以要同步补上：设备级安全、密钥托管、访问控制、可追溯日志。
33810编辑于 2026-01-13 - 来自专栏通用文字识别信息技术白皮书
手机端侧文字识别：挑战与解决方案
在手机端侧实现文字识别，考虑资源限制和效率至关重要。1.图像处理在手机端侧进行图像预处理，必须精细权衡资源消耗与效果。 整体来看，这些预处理步骤和技术点确保在有限的手机端算力和内存下，图像数据被快速、专业地准备好供后续的OCR模型处理。2.文字检测在手机端侧实现文字检测，需要特别注重计算效率和模型大小。 总的来说，在手机端实现文字检测，核心是采用轻量级模型、多尺度检测技术以及后处理优化，确保在有限的资源下达到实时、高准确的检测效果。3.文字识别在手机端进行文字识别，考虑算力和存储资源的限制是关键。 由于端侧的计算资源受限，选择轻量级的网络结构与优化策略尤为重要。首先，轻量级的序列识别网络如CRNN的精简版本被广泛使用。 再者，CTC (Connectionist Temporal Classification) 是常用的损失函数，用于端到端的序列识别任务，它可以有效处理序列中的对齐问题，省去了传统的分段标注过程。
1.2K30编辑于 2023-10-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号