因此,安全架构的概念非常宽泛,包括安全控制措施、安全服务(例如身份验证、访问控制等)和安全产品(例如防火墙、入侵检测等)。 端侧安全的主流解决方案1、 APP 运行时保护对移动端应用的逆向分析还有动态调试。通过动态调试还可以伪造或篡改请求 / 响应包,从而攻击服务器端。 2、APP 代码保护由于开源技术的进步,攻击者很容易就可以获得应用的反编译代码(基本是应用源代码)。针对此攻击,提高逆向分析的门槛,可以进行代码混淆、dex 加壳、so 加壳等方式对代码进行保护。 2)集成第三方代码时,开发人员应尽可能了解第三方代码的功能,以及尽可能保证第三方代码的安全性。 4、APP 端业务安全为了防止 APP 用户恶意注册及薅羊毛等恶意行为,可以在 APP 中加入设备指纹,进行数据埋点等,将 APP 数据接入业务风控平台,进行业务反欺诈。
作者通过实验表明:基于ANTBlock构建的ANTNet可以跨数据集取得更优的性能(相比同等计算消耗的端侧网络架构,比如MobileNet与ShuffleNet系列)。 精度,它比MobileNetV2高0.8%,同时在iphone5上的速度为157.7ms(比MobileNetV2快20%)。 Method 该文的目的在于:设计一种低计算复杂度的架构模块并用于构建端侧高效CNN网络。一般端侧模型的评价采用MAdds、FLOPs以及参数量等指标。 相比MobileNetV2与ShuffleNetV2两大知名端侧模块,所提方法具有更高的精度。 ? 最后给出了ANTNet与MobileNetV2在iphone5s端侧的耗时对比,见下表。注:g=2为默认配置,等同于前述的proposed模型。 ? 全文到此结束,更多实验结果与分析请查看原文。
然而,在接下来的不到两个月时间里,谷歌DeepMind更新发布了Gemma 2 2B,再次将通用端侧大模型的极限推到了2.6B这个新的“下限”,从上级模型中蒸馏而来的轻量级小模型Gemma 2 2B在大模型竞技场 此外,与Apple On-Device不同,Gemma 2 2B是一个开源模型,可以广泛应用于本地工作站、PC、手机等边缘设备,用途更为广泛,而针对高度量化后的端侧模型在稳定性方面的问题,Gemma 2 2B提出了一种与Apple Intelligence的结构化提示词略有不同的解决方案,它选择通过构建ShieldGemma分类器,确保AI的输出具有吸引力、安全且包容的内容,稳定输出质量。 PCC为端侧AI的实现提供了一套能够给予公众信心、可落地的数据安全和用户隐私保护方案。当然,不是每家公司都能够生产自己独有的芯片和应用生态,其它类型的企业同样在努力解决这一问题。 例如,Cohere需要为企业开发高性能、高安全性的AI模型,其云端隐私方案必须达到企业级的数据隐私和安全要求。
https://github.com/ChengpengChen/RepGhost
一、概述: 服务端安全主要涉及测试项如下,主要涉及安全策略、业务安全和系统组件安全。 ? 2)会话机制 包括会话超时、登录会话重放及安全退出问题; 3)验证码安全 若在登录、注册、找回密码、密码重置等功能处存在验证码,可测试是否存在验证码设计缺陷,验证码包含图片、短信、语音等形式,相关技术及测试项可参考 2、业务安全 业务安全问题和BS系统逻辑漏洞有很多类似之处,包含: 1)短信安全 短信是APP端频繁使用的功能,若存在此功能则需要测试:短信是否前端校验、前端返回、可复用、可修改返回包等验证码绕过办法 3、系统组件安全 在信息收集阶段需要获得APP服务端的相关信息包括:OS版本、服务(端口)、业务系统服务器等,较为常见的漏洞为命令执行漏洞,如:struts2命令执行、心脏出血、ImageMagick APP安全问题大部分在客户端,涉及的测试项和测试工具也是最多的,下次详解。
ABB GOP2 端到端安全性图片OPC UA over TSN 是另一种标准化的、确定性的工业以太网,可跨开放系统互连 (OSI) 模型互操作。
引言在移动设备和物联网(IoT)快速发展的今天,将机器学习模型直接部署到端侧设备(如智能手机、平板电脑、嵌入式设备等)已成为一种趋势。 然而,端侧设备的硬件资源(如计算能力、内存、电池寿命等)通常有限,这给模型部署带来了巨大挑战。传统的机器学习模型开发流程往往忽视了端侧设备的硬件特性,导致模型在实际部署时性能不佳或无法运行。 为了解决这一问题,研究者们提出了端侧AutoML,特别是硬件感知神经网络架构搜索(NAS 2.0),它能够在考虑硬件约束条件下自动设计出高效、优质的模型。 端侧模型优化挑战在端侧设备上部署深度学习模型面临诸多挑战:挑战类型具体问题影响计算资源限制有限的CPU/GPU计算能力模型推理速度慢内存限制有限的内存空间无法加载大型模型能耗限制电池寿命有限模型持续运行时间短热限制设备散热能力差长时间运行导致设备过热硬件感知 端侧AutoML部署流程环境配置在开始端侧AutoML部署之前,需要确保以下环境配置:硬件平台:目标端侧设备(如搭载骁龙处理器的智能手机、NVIDIA Jetson开发板等)开发环境:Python 3.8
端侧模型正引领AI技术变革,将强大的智能直接部署在手机、IoT设备等终端,实现毫秒级响应、极致隐私保护与显著成本优化。探索这项重塑人机交互与行业应用的关键技术。 2. 隐私安全,固若金汤: 数据不出本地:敏感信息(如:个人照片、语音、健康数据)无需上传云端,从根本上杜绝数据泄露风险,满足GDPR等严苛隐私法规。 内容创作:移动端图片/视频实时编辑与特效生成。技术基石:如何在资源受限的终端部署强大模型?端侧模型的核心挑战在于如何在有限的内存、算力和功耗下保持高性能。 端云协同 (Hybrid AI): 最佳平衡策略:将轻量级、高实时性、强隐私需求的任务放在端侧;复杂计算、大数据分析、模型更新等交给云端。两者无缝协作,提供最优整体体验。为何选择端侧AI? 端侧AI模型已不再是未来概念,而是当下提升产品竞争力、优化用户体验、保障数据安全的关键技术。无论您是开发者、产品经理还是企业决策者,现在是时候:评估应用场景:您的哪些业务痛点可通过端侧AI解决(延迟?
○从用户价值看,端侧模型并不是必要路径 ○端侧模型存在合理性是1) 降低推理成本,2) 响应速度更快 3)更好保护隐私 2.产品:短期以小功能为先导,长期价值期待释放 ●当前AI 手机以功能探索为主, ○翻阅式->搜索式->推荐式->服务式(秘书+陪伴) <问题2>对于用户来讲,为什么要在端侧搭载模型? “锦上添花” vs “底层革命” 大参数+量化 vs 小参数:大参数+量化效果上优于小参数 当前量化已到极限:BF16量化基本安全;INT4量化是当前大多手机使用的方式,但经常出现过拟合和稳定性问题;当前在探索 AI原生OS,复杂任务都需要云上实现 5.端侧多模态大模型:端侧的价值主要在多模态理解,而不在多模态生成 ●多模态生成不在端侧 价值有限:端侧多模态能完成的生成场景(例如修图),已有CV技术也能解决;新的生成功能 端侧 & 云上的长期并存是大势所趋 既定事实:1)端侧模型能力<云上模型能力 2)手机模型训练/精调只能在线上 2.1 技术限制 a.算力:复杂任务(长Token,Agent等)需要依赖云上模型 b.
一、端侧推理与 MoE 模型概述(一)端侧推理的概念与意义端侧推理指的是在终端设备上直接进行的模型推理计算,而非依赖云端服务器。 (三)MoE 模型在端侧推理中的挑战尽管 MoE 模型具有许多优势,但在端侧推理中也面临着一些挑战。首先,由于终端设备的计算资源有限,如何高效地部署 MoE 模型是一个关键问题。 此外,如何在保证模型性能的前提下,尽可能地减少计算量和能量消耗,也是端侧 MoE 推理需要解决的难题。 (三)Mixtral 模型在端侧的优势Mixtral 模型在端侧推理中具有以下显著优势:高效率 :通过优化的 MoE 结构,能够在有限的计算资源下实现快速的推理计算,满足手机端实时交互的需求。 = future2.result()(四)模型更新与维护在手机端部署 Mixtral 模型后,为保证模型的性能和功能的持续优化,需要定期进行模型更新与维护。
2. 在客户端设备上运行LLM时,需要解决内存墙问题。 3. 通过将部分LLM加载到GPU VRAM中,可以减少对系统内存的需求。 4. 利用闪存低延迟和高速度,可以实现更高效的参数加载和计算。 内存墙、算力与带宽 内存墙效应 • 模型参数 410x / 2yrs • 硬件内存 2x / 2yrs 算力、DRAM容量、片上互联速率 三者的增幅差距。 • 算力 3x / 2yrs • 内存带宽 1.6x / 2yrs • 片上互联带宽 1.4x / 2yrs 想表达什么? 与算力紧缺相比,数据管道读取带宽、通信效率是限制AI训练更关键因素。 端侧设备模型推理挑战 AI应用在端侧设备落地过程遇到的问题 SLM 模型虽已显著压缩,但与当前端侧设备的DRAM容量相比,仍明显超出。 端侧toC市场对价格非常敏感,提高VRAM以支持客户端推理的方式被认为是不经济的。 下图示意,RTX 2000 一张显卡的价格接近左图PC的一半。
大贵:“当推理费变成毛利天花板,端侧就会变成默认答案。” 2)体验逻辑反转:从“等云端回话”,变成“先即时响应” 实时交互(语音、字幕、输入法、会议摘要、图像增强、智能检索)对时延极其敏感。 端侧能把“交互”从请求-响应,变成随时随地的即时反馈。 端侧(小模型驻端):负责高频、低风险、强实时 典型特征: 高频:每天反复用(输入、翻译、总结、检索) 强实时:等不起 强隐私:不适合出门 端侧模型不用“最聪明”,而要“足够聪明 + 足够稳定 + 足够省电 ) 2)应用架构:建立“端云协同的路由规则”,把成本写进系统里 建议在架构评审里明确: 哪些任务 默认端侧(高频/隐私/实时) 哪些任务 允许上云(复杂/跨域/兜底) 上云触发条件:准确率阈值、敏感等级 3)治理与合规:端侧不是“更安全”,而是“责任更清晰” 端侧减少数据出门,但也意味着: 设备丢失、越权访问、模型被篡改 本地日志与审计的缺失 所以要同步补上:设备级安全、密钥托管、访问控制、可追溯日志。
关于zblog主题模板手机移动端针对不同主题采用了不同的方案,有些是默认显示,有些不显示侧栏,总归没有一个完美的解决方案,所以今天就抽空水一篇文章,教大家怎么显示或者隐藏侧栏模板的内容。 然后整体布局发生改变,嗯嗯,这个图标的意思就是模拟手机端,然后在最右侧,点击“三个点”,然后点击最右侧图标”不懂看图: ? 页面再次变动,变为竖屏,顶部可以调节像素尺寸,如图: ? 类别名之后我们复制右侧红框代码,登录网站后台,主题设置,找到主题预留的自定义css接口(没有的话只能在样式表修改),粘贴代码: .side.fr {display:block; } 这样还不行,因为我们刚刚看到代码是先手机端才隐藏的 ,难看,建议改为560px,意思就是侧栏在999px-561px之间隐藏,在560px以下显示侧栏模块。 这是显示模块教程,想要隐藏,这也简单,首先确定移动端屏幕像素的尺寸,比如小于999px,那么隐藏的代码就是: @media screen and (max-width:999px){ .side.fr
在手机端侧实现文字识别,考虑资源限制和效率至关重要。1.图像处理在手机端侧进行图像预处理,必须精细权衡资源消耗与效果。 整体来看,这些预处理步骤和技术点确保在有限的手机端算力和内存下,图像数据被快速、专业地准备好供后续的OCR模型处理。2.文字检测在手机端侧实现文字检测,需要特别注重计算效率和模型大小。 总的来说,在手机端实现文字检测,核心是采用轻量级模型、多尺度检测技术以及后处理优化,确保在有限的资源下达到实时、高准确的检测效果。3.文字识别在手机端进行文字识别,考虑算力和存储资源的限制是关键。 由于端侧的计算资源受限,选择轻量级的网络结构与优化策略尤为重要。首先,轻量级的序列识别网络如CRNN的精简版本被广泛使用。 在此基础上,卷积层通常采用轻量化的结构,例如MobileNetV2或ShuffleNetV2,这些结构能有效减少参数数量和计算量。对于循环层,一些简化的LSTM或GRU变体可以被考虑以提高效率。
什么是端侧大模型?端侧大模型是指在边缘设备(如个人电脑、移动设备等)上运行的大型语言模型。相较于云端部署,端侧模型具有以下优势:低延迟:本地运行无需网络请求,响应更快。 隐私保护:数据无需上传到云端,安全性更高。低成本:无需持续支付云服务费用。离线可用:在无网络环境下也能正常工作。 2. 准备清单在开始之前,请确保准备好以下工具和资源。2.1 OllamaOllama 是一个轻量级工具,用于在本地运行和管理大模型。 总结通过本指南,你已经学会了如何在本地设备上完成端侧大模型的微调、部署和应用开发。以下是关键步骤的回顾:准备环境:安装 Ollama、MiniConda 和 Qwen2.5-0.5B 模型。 本部署实践学习自datawhale开源社区,希望这篇指南也能帮助你快速上手端侧大模型的开发!如果有任何问题,欢迎在评论区交流。
标题&作者团队 【Happy导语】该文是旷视科技的研究员提出的一种“商用端侧RAW图像降噪”方法,相应方法已被广泛应用到OPPO、小米等手机中。 从笔者角度来看,该文最大的创新点当属噪声参数参数估计部分的推导,它将噪声可变模型转换成了噪声固定模式,这样就可以做到“一个模型处理不同噪声水平”;当然作者所设计的端侧友好网络架构也是非常有启发性的。 为确保降噪模型可以更好的运行在手机端,作者采用分离卷积以降低计算量,常规卷积仅在网络的头和尾部应用。 在encoder部分,作者采用 卷积提升感受野并降低网络深度,下采样模块则采用stride=2的卷积;在decoder部分,作则会采用 分离卷积,上采样模块则采用 反卷积。 ,该文的主要贡献包含以下几点: 提出了一种传感器相关合成数据制作方案,并用于训练轻量型降噪模型; 提出一种新颖的k-Sigma变换用于将不同ISO设置下的噪声映射到ISO不变信号-噪声空间; 提出一种端侧友好的轻量型模型用于图像降噪
与此同时,端侧人工智能为移动安全防护提供新型技术路径,可实现短信、通话、网页等场景的实时恶意内容检测与风险阻断。 研究表明,端侧人工智能是抵御高阶钓鱼攻击的可行方案,但需在技术迭代、用户信任、监管适配与生态协同方面形成闭环,方能平衡智能体验与安全底线。 在此背景下,端侧人工智能成为移动安全的重要演进方向。谷歌、三星、苹果等厂商陆续推出基于设备端推理的诈骗检测、恶意链接识别、语音欺诈拦截等功能,实现低延迟、高隐私的实时防护。 3 端侧人工智能在智能手机安全中的防御价值与实现路径3.1 端侧智能防御的核心优势低延迟实时防护:本地推理避免云端传输,实现消息接收、通话建立、网页加载瞬间的风险判定。 :{safe},信息:{msg}")4.2.3 端侧隐私保护封装kotlin// Android端侧安全数据存储(Kotlin,兼容Keystore)import android.security.keystore.KeyGenParameterSpecimport
嘿,记得给“机器学习与推荐算法”添加星标 TLDR: 本文详细介绍了端侧推荐系统的最新进展情况,具体包括端侧推理与部署、端侧训练与更新以及端侧推荐系统的安全与隐私等部分。 具体来说,如图2中系统概述的那样,现有的端侧推荐系统可以分为三个大类,即端上推理与部署、端上训练与更新以及端上推荐系统的安全与隐私。 端侧训练与更新 端侧训练与更新涉及通过利用本地存储的数据将训练过程转移到设备端,如图1(c)所示,从而缓解与数据上传过程相关的安全和隐私问题。此外,局部模型更新可以及时捕捉用户偏好的变化。 端侧推荐系统的安全与隐私 端侧推荐系统的安全与隐私旨在保护用户和设备上的模型免受潜在的恶意攻击,如图1(d)所示。一方面,当本地模型有助于共享学习过程时,存在泄露用户敏感数据的风险。 下文总结了端侧推荐范式存在的隐私和安全问题,具体包括用户行为数据泄露、用户敏感属性泄露以及用户数据的所有权等隐私问题,以及云推荐范式的数据中毒攻击、端侧推荐范式的数据中毒攻击与模型中毒攻击等。
为解决该问题,我们开展了首届Mobile AI挑战赛,其目标在于:研发一种端到端深度学习图像超分方案且可以在移动端或者终端NPUs设备上实时运行。 Challenge 为开发一种高效且使用的端侧任务相关的解决方案,我们需要考虑以下几点: 一个用于训练与评估的大尺度、高质量数据集; 一种无约束检测推理耗时与模型debug的有效方法; 能够定期在目标平台 (移动端)设备上测试所开发模型的运行时间。 Dataset 训练数据采用了DIV2K,包含1000张图像。下图给出了DIV2K某一样例参考示意图。 ? 模型训练: 图像 块,L1预训练,L2微调,Adam优化器,初始学习率2e-4,每200K折半;模型量化:训练感知量化。 EmbededAI ?
MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。 MNN 相比于 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的优势。 端侧推理阶段,主要完成模型推理,即加载模型,完成推理相关的所有计算; 由上可知,端侧推理引擎是端智能应用的核心模块,需要在有限算力、有限内存等限制下,高效地利用资源,快速完成推理。 可以说,端侧推理引擎实现的优劣,直接决定了算法模型能否在端侧运行,决定了业务能否上线。因此,我们需要一个端侧推理引擎,一个优秀的端侧推理引擎。 4.2 为什么要开源 MNN? 总的来说,我们找不到一套面向不同训练框架,不同部署环境,简单高效安全的端侧推理引擎。 因此,我们希望提供面向不同业务算法场景,不同训练框架,不同部署环境的简单、高效、安全的端侧推理引擎 MNN 。