因此,安全架构的概念非常宽泛,包括安全控制措施、安全服务(例如身份验证、访问控制等)和安全产品(例如防火墙、入侵检测等)。 劫持/污染如此多的、影响重大的前端安全问题,直接把软件安全防范推上了风口浪尖,安全人员面临着挑战也倍数级增长。 端侧安全的主流解决方案1、 APP 运行时保护对移动端应用的逆向分析还有动态调试。通过动态调试还可以伪造或篡改请求 / 响应包,从而攻击服务器端。 4、APP 端业务安全为了防止 APP 用户恶意注册及薅羊毛等恶意行为,可以在 APP 中加入设备指纹,进行数据埋点等,将 APP 数据接入业务风控平台,进行业务反欺诈。 5、Web 安全对于 Web 安全,关注常见的 OWASP TOP 10 漏洞,如注入、身份认证、敏感信息泄露、安全配置错误等。常见的防御措施有认证、授权、加密、审计、输入验证等。
从2023年底高通骁龙峰会上第一批手机终端侧生成式 AI 演示至今,7B端侧模型在很长一段时间内被认为是端侧模型的入门门槛,且很难通过量化、微调等方式进一步压缩。 5月29日,斯坦福的一个研究团队发布了一款宣称能够“改变现状”的产品:Llama3-V。 该产品在推特上发布后迅速走红,并跻身「HuggingFace Trending」Top 5。 PCC为端侧AI的实现提供了一套能够给予公众信心、可落地的数据安全和用户隐私保护方案。当然,不是每家公司都能够生产自己独有的芯片和应用生态,其它类型的企业同样在努力解决这一问题。 例如,Cohere需要为企业开发高性能、高安全性的AI模型,其云端隐私方案必须达到企业级的数据隐私和安全要求。
https://github.com/ChengpengChen/RepGhost
引言在移动设备和物联网(IoT)快速发展的今天,将机器学习模型直接部署到端侧设备(如智能手机、平板电脑、嵌入式设备等)已成为一种趋势。 然而,端侧设备的硬件资源(如计算能力、内存、电池寿命等)通常有限,这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性,导致模型在实际部署时性能不佳或无法运行。 为了解决这一问题,研究者们提出了端侧AutoML,特别是硬件感知神经网络架构搜索(NAS 2.0),它能够在考虑硬件约束条件下自动设计出高效、优质的模型。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战:挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前,需要确保以下环境配置:硬件平台:目标端侧设备(如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等)开发环境:Python 3.8
端侧模型正引领AI技术变革,将强大的智能直接部署在手机、IoT设备等终端,实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 隐私安全,固若金汤: 数据不出本地:敏感信息(如:个人照片、语音、健康数据)无需上传云端,从根本上杜绝数据泄露风险,满足GDPR等严苛隐私法规。 内容创作:移动端图片/视频实时编辑与特效生成。技术基石:如何在资源受限的终端部署强大模型?端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 端云协同 (Hybrid AI): 最佳平衡策略:将轻量级、高实时性、强隐私需求的任务放在端侧;复杂计算、大数据分析、模型更新等交给云端。两者无缝协作,提供最优整体体验。为何选择端侧AI? 端侧AI模型已不再是未来概念,而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者,现在是时候:评估应用场景:您的哪些业务痛点可通过端侧AI解决(延迟?
除了苹果,去年以来,各大手机厂商已经陆续发布了其端侧大模型的产品: 二、如何评价 端侧模型的成熟度? 1.参数规模:“智商”水平至关重要,端侧模型任重道远 为什么“智商”重要? “锦上添花” vs “底层革命” 大参数+量化 vs 小参数:大参数+量化效果上优于小参数 当前量化已到极限:BF16量化基本安全;INT4量化是当前大多手机使用的方式,但经常出现过拟合和稳定性问题;当前在探索 (by 小白测评数据库,续航时间基于标准输出电压3.7V估算) 电池容量增长分析预测:未来每年增长不超过5~10% 以iPhone和三星galaxy为例,近10年平均每年增长5~6%,尤其是21年以来, AI原生OS,复杂任务都需要云上实现 5.端侧多模态大模型:端侧的价值主要在多模态理解,而不在多模态生成 ●多模态生成不在端侧 价值有限:端侧多模态能完成的生成场景(例如修图),已有CV技术也能解决;新的生成功能 ●手机端侧模型在未来3~5年的天花板可能在~10B级别,这意味着仍然需要与云上大模型配合,才能实现通用Agent、复杂COT/TOT、超长文本等高级功能。 ●从用户的角度,对硬件的粘性远超软件。
一、端侧推理与 MoE 模型概述(一)端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算,而非依赖云端服务器。 例如,在一些对实时性要求较高的应用场景中,如智能驾驶、实时语音识别等,端侧推理可以快速做出决策,确保系统的高效运行。 (三)MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势,但在端侧推理中也面临着一些挑战。首先,由于终端设备的计算资源有限,如何高效地部署 MoE 模型是一个关键问题。 此外,如何在保证模型性能的前提下,尽可能地减少计算量和能量消耗,也是端侧 MoE 推理需要解决的难题。 (三)Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势:高效率 :通过优化的 MoE 结构,能够在有限的计算资源下实现快速的推理计算,满足手机端实时交互的需求。
触摸事件 侧滑菜单--- github-SlidingMenu 1.在ViewGroup中,让自己内容移动有以下三个方法个方法: layout(l,t,r,b); offsetTopAndBottom
在客户端设备上运行LLM时,需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中,可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度,可以实现更高效的参数加载和计算。 5. 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩,但与当前端侧设备的DRAM容量相比,仍明显超出。 端侧toC市场对价格非常敏感,提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意,RTX 2000 一张显卡的价格接近左图PC的一半。 降低硬件压力: 在实际应用中,GPU和CPU的资源有限,特别是在客户端设备上。稀疏性允许模型避免不必要的内存使用和计算,优化硬件资源的使用。 Note:模型稀疏性研究是推动其在有限资源端、边设备运行的关键! 存储硬件或软件厂商,能在模型稀疏性上尝试哪些创新? • 硬件厂商 专用加速器: 开发专门针对稀疏矩阵运算优化的硬件加速器。
端侧 AI 是 CAPEX(一次性资本开销):把一部分推理成本“摊到硬件折旧里”。 端侧能把“交互”从请求-响应,变成随时随地的即时反馈。 端侧(小模型驻端):负责高频、低风险、强实时 典型特征: 高频:每天反复用(输入、翻译、总结、检索) 强实时:等不起 强隐私:不适合出门 端侧模型不用“最聪明”,而要“足够聪明 + 足够稳定 + 足够省电 05| 把“端侧推理能力”纳入采购与架构评审 如果你是企业的数字化/IT/产品负责人,2026 年要多做一件事:把端侧 AI 当成新一代基础设施能力来评审,而不是当作“某个应用的小功能”。 3)治理与合规:端侧不是“更安全”,而是“责任更清晰” 端侧减少数据出门,但也意味着: 设备丢失、越权访问、模型被篡改 本地日志与审计的缺失 所以要同步补上:设备级安全、密钥托管、访问控制、可追溯日志。
关于zblog主题模板手机移动端针对不同主题采用了不同的方案,有些是默认显示,有些不显示侧栏,总归没有一个完美的解决方案,所以今天就抽空水一篇文章,教大家怎么显示或者隐藏侧栏模板的内容。 然后整体布局发生改变,嗯嗯,这个图标的意思就是模拟手机端,然后在最右侧,点击“三个点”,然后点击最右侧图标”不懂看图: ? 页面再次变动,变为竖屏,顶部可以调节像素尺寸,如图: ? 类别名之后我们复制右侧红框代码,登录网站后台,主题设置,找到主题预留的自定义css接口(没有的话只能在样式表修改),粘贴代码: .side.fr {display:block; } 这样还不行,因为我们刚刚看到代码是先手机端才隐藏的 ,难看,建议改为560px,意思就是侧栏在999px-561px之间隐藏,在560px以下显示侧栏模块。 这是显示模块教程,想要隐藏,这也简单,首先确定移动端屏幕像素的尺寸,比如小于999px,那么隐藏的代码就是: @media screen and (max-width:999px){ .side.fr
在手机端侧实现文字识别,考虑资源限制和效率至关重要。1.图像处理在手机端侧进行图像预处理,必须精细权衡资源消耗与效果。 整体来看,这些预处理步骤和技术点确保在有限的手机端算力和内存下,图像数据被快速、专业地准备好供后续的OCR模型处理。2.文字检测在手机端侧实现文字检测,需要特别注重计算效率和模型大小。 总的来说,在手机端实现文字检测,核心是采用轻量级模型、多尺度检测技术以及后处理优化,确保在有限的资源下达到实时、高准确的检测效果。3.文字识别在手机端进行文字识别,考虑算力和存储资源的限制是关键。 由于端侧的计算资源受限,选择轻量级的网络结构与优化策略尤为重要。首先,轻量级的序列识别网络如CRNN的精简版本被广泛使用。 再者,CTC (Connectionist Temporal Classification) 是常用的损失函数,用于端到端的序列识别任务,它可以有效处理序列中的对齐问题,省去了传统的分段标注过程。
什么是端侧大模型?端侧大模型是指在边缘设备(如个人电脑、移动设备等)上运行的大型语言模型。相较于云端部署,端侧模型具有以下优势:低延迟:本地运行无需网络请求,响应更快。 隐私保护:数据无需上传到云端,安全性更高。低成本:无需持续支付云服务费用。离线可用:在无网络环境下也能正常工作。 MacOS MPS 内存不足,设置以下变量:export PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.04.4 开始微调运行训练脚本:python huanhuan_train.py5. 总结通过本指南,你已经学会了如何在本地设备上完成端侧大模型的微调、部署和应用开发。以下是关键步骤的回顾:准备环境:安装 Ollama、MiniConda 和 Qwen2.5-0.5B 模型。 本部署实践学习自datawhale开源社区,希望这篇指南也能帮助你快速上手端侧大模型的开发!如果有任何问题,欢迎在评论区交流。
标题&作者团队 【Happy导语】该文是旷视科技的研究员提出的一种“商用端侧RAW图像降噪”方法,相应方法已被广泛应用到OPPO、小米等手机中。 从笔者角度来看,该文最大的创新点当属噪声参数参数估计部分的推导,它将噪声可变模型转换成了噪声固定模式,这样就可以做到“一个模型处理不同噪声水平”;当然作者所设计的端侧友好网络架构也是非常有启发性的。 然而,这些SOTA方法往往存在计算量过大,难以直接部署在手机端。为解决上述问题,该文作者提出一种轻量型、高效网络用于RAW图像降噪,它可以很好的在主流手机设备上运行,同时生成高质量的降噪结果。 为确保降噪模型可以更好的运行在手机端,作者采用分离卷积以降低计算量,常规卷积仅在网络的头和尾部应用。 ,该文的主要贡献包含以下几点: 提出了一种传感器相关合成数据制作方案,并用于训练轻量型降噪模型; 提出一种新颖的k-Sigma变换用于将不同ISO设置下的噪声映射到ISO不变信号-噪声空间; 提出一种端侧友好的轻量型模型用于图像降噪
与此同时,端侧人工智能为移动安全防护提供新型技术路径,可实现短信、通话、网页等场景的实时恶意内容检测与风险阻断。 研究表明,端侧人工智能是抵御高阶钓鱼攻击的可行方案,但需在技术迭代、用户信任、监管适配与生态协同方面形成闭环,方能平衡智能体验与安全底线。 在此背景下,端侧人工智能成为移动安全的重要演进方向。谷歌、三星、苹果等厂商陆续推出基于设备端推理的诈骗检测、恶意链接识别、语音欺诈拦截等功能,实现低延迟、高隐私的实时防护。 3 端侧人工智能在智能手机安全中的防御价值与实现路径3.1 端侧智能防御的核心优势低延迟实时防护:本地推理避免云端传输,实现消息接收、通话建立、网页加载瞬间的风险判定。 5 智能手机安全落地的现实障碍与用户行为分析5.1 用户对 AI 安全功能的认知与接受度偏低Omdia 2025 年调研显示,AI 功能在购机决策中重要度最低,仅 16% 认为至关重要,31% 认为重要
代码版本 Flink : 1.10.0 Scala : 2.12.6 侧输出流(SideOutput) 本文介绍的内容是侧输出流(SideOutput),在平时大部分的 DataStream API 常规输出内容: {"id":3,"name":"Johngo3","age":13,"sex":1,"email":"Johngo3@flink.com","time":1590067813271} 侧输出流输出内容 "name":"Johngo5","age":15,"sex":1,"email":"Johngo5@flink.com","time":1590068792483} SendMessageToKafka "name":"Johngo_side5","age":15,"sex":1,"email":"Johngo_side5@flink.com","time":1590068795531} SendMessageToKafka name:Johngo5,age:15,sex:1,email:Johngo5@flink.com,time:1590069018257 测输出流:7> sideOutput-> 带有_side标识的数据名称
作者通过实验表明:基于ANTBlock构建的ANTNet可以跨数据集取得更优的性能(相比同等计算消耗的端侧网络架构,比如MobileNet与ShuffleNet系列)。 它比MobileNetV2高1.5%且少8.3%的参数量与19.6%的计算量;在ImageNet数据集上,所提方法取得了72.8%的top1精度,它比MobileNetV2高0.8%,同时在iphone5上的速度为 Method 该文的目的在于:设计一种低计算复杂度的架构模块并用于构建端侧高效CNN网络。一般端侧模型的评价采用MAdds、FLOPs以及参数量等指标。 相比MobileNetV2与ShuffleNetV2两大知名端侧模块,所提方法具有更高的精度。 ? 最后给出了ANTNet与MobileNetV2在iphone5s端侧的耗时对比,见下表。注:g=2为默认配置,等同于前述的proposed模型。 ? 全文到此结束,更多实验结果与分析请查看原文。
嘿,记得给“机器学习与推荐算法”添加星标 TLDR: 本文详细介绍了端侧推荐系统的最新进展情况,具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。 具体来说,如图2中系统概述的那样,现有的端侧推荐系统可以分为三个大类,即端上推理与部署、端上训练与更新以及端上推荐系统的安全与隐私。 端侧训练与更新 端侧训练与更新涉及通过利用本地存储的数据将训练过程转移到设备端,如图1(c)所示,从而缓解与数据上传过程相关的安全和隐私问题。此外,局部模型更新可以及时捕捉用户偏好的变化。 端侧推荐系统的安全与隐私 端侧推荐系统的安全与隐私旨在保护用户和设备上的模型免受潜在的恶意攻击,如图1(d)所示。一方面,当本地模型有助于共享学习过程时,存在泄露用户敏感数据的风险。 下文总结了端侧推荐范式存在的隐私和安全问题,具体包括用户行为数据泄露、用户敏感属性泄露以及用户数据的所有权等隐私问题,以及云推荐范式的数据中毒攻击、端侧推荐范式的数据中毒攻击与模型中毒攻击等。
为解决该问题,我们开展了首届Mobile AI挑战赛,其目标在于:研发一种端到端深度学习图像超分方案且可以在移动端或者终端NPUs设备上实时运行。 Challenge 为开发一种高效且使用的端侧任务相关的解决方案,我们需要考虑以下几点: 一个用于训练与评估的大尺度、高质量数据集; 一种无约束检测推理耗时与模型debug的有效方法; 能够定期在目标平台 (移动端)设备上测试所开发模型的运行时间。 训练阶段:L1损失,Adam优化器,初始学习率5e-4,每200Kcyclic方式衰减到1e-6,合计训练1000K。 模型量化:训练感知量化。 ALONG ? 模型训练: 图像块,batch=32,L1损失,Adam优化器,初始学习率5e-4,每200epoch折半,合计训练600epoch。
MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。 我们其实更加聚焦在内部使用的业务模型优化上,针对人脸检测等模型进行深入优化,iPhone6 可以达到单帧检测 5ms 左右。 端侧推理阶段,主要完成模型推理,即加载模型,完成推理相关的所有计算; 由上可知,端侧推理引擎是端智能应用的核心模块,需要在有限算力、有限内存等限制下,高效地利用资源,快速完成推理。 可以说,端侧推理引擎实现的优劣,直接决定了算法模型能否在端侧运行,决定了业务能否上线。因此,我们需要一个端侧推理引擎,一个优秀的端侧推理引擎。 4.2 为什么要开源 MNN? 总的来说,我们找不到一套面向不同训练框架,不同部署环境,简单高效安全的端侧推理引擎。 因此,我们希望提供面向不同业务算法场景,不同训练框架,不同部署环境的简单、高效、安全的端侧推理引擎 MNN 。