对于个人电子产品而言,例如手机,平板电脑,便携式电脑等等,或多或少,都会涉及到隐私计算,那么什么是隐私计算呢?理解隐私计算,先要澄清“隐私”的概念,那么,什么是隐私呢? 进而,明确隐私计算分别与隐私和计算之间的关系,即隐私计算是为了实现个人隐私保护而进行的计算还是在实现了隐私保护的前提下进行的计算?最后,才是隐私计算涉及的技术和方法。 1. 什么是隐私? 那么如何明确隐私保护中的场景?换句话说,隐私保护中的风险点都有哪些呢? 3. 隐私保护中的风险点 在隐私保护中,大约有3个主要的风险点:信息披露,数据处理以及隐私与实用性间的矛盾。 隐私计算 一般地, 对隐私计算有不同的理解。一种是隐私计算是隐私保护的一部分,为了实现隐私保护而采用的技术。另一种是对隐私保护的数据进行计算,侧重在隐私数据应用的层面。 5.1 隐私计算的发展 隐私计算的发展历程如下图所示: 5.2 隐私计算的概念界定 2016年,中国科学院信息工程研究所研究员李凤华等对隐私计算在概念上进行了界定: 隐私计算是面向隐私信息全生命周期保护的计算理论和方法
什么是隐私计算 从20世纪70年代一直到近年,隐私计算交叉融合了密码学、人工智能、计算机硬件等众多学科,逐渐形成以多方安全计算、联邦学习、可信执行环境为代表,混淆电路、秘密分享、不经意传输等作为底层密码学技术 隐私计算分类 从技术角度出发,隐私计算是涵盖众多学科的交叉融合技术,目前主流的隐私计算技术主要分为三大方向:第一类是以多方安全计算为代表的基于密码学的隐私计算技术;第二类是以联邦学习为代表的人工智能与隐私保护技术融合衍生的技术 ;第三类是以可信执行环境为代表的基于可信硬件的隐私计算技术。 从算法构造来说,常应用同态加密、差分隐私技术以及包括基于秘密分享、不经意传输、混淆电路等密码学原理的各类多方安全计算协议和其它用于保证隐私计算的密码学技术来提升安全性。 图3 可信执行环境技术体系 如图3所示,从底层硬件来说,TEE 将多方数据集中到可信硬件构建的可信执行环境中一起进行安全计算。
3. 例如,密集计算可能只在设备空闲、网络空闲上时执行。 这些工作流程为构建可伸缩的基础设施和 API 是一个重大挑战。 3. 联邦计算中的隐私保护 联邦学习提供了各种开箱即用的隐私优势。 虽然任意函数的多方安全计算在大多数情况下仍然是计算上的障碍,但是已经开发了联邦环境中向量求和的专门聚合算法,即使对观察服务器并控制大部分客户端的对手也可以保护隐私,同时保持对客户端退出计算的鲁棒性: 通信效率 在分布式差分隐私下,客户端首先计算特定于应用程序的最小数据,用随机噪声轻微干扰这些数据,并执行隐私聚合协议。然后,服务器只能访问隐私聚合协议的输出。 因为差分隐私假设了一个“最坏情况的对手”,具有无限的计算和访问任意侧的信息。这些假设在实践中往往是不切实际的。因此,使用限制每个用户影响的差分隐私算法进行训练具有实质性的优势。
隐私数据计算当今最具创新性的数据驱动产品和解决方案往往需要处理隐私数据。如何在使用敏感数据的同时保护数据主体、所有者或用户的隐私信息不被泄露,成为一个关键问题。 两种隐私保护技术安全多方计算(MPC)MPC允许多方在不公开各自私有数据的情况下,共同计算一个涉及所有数据的功能。 技术对比特性 MPC DP 隐私保证 仅泄露计算结果 相对轻量 技术局限MPC的挑战:通用协议通信复杂度高函数设计需谨慎避免边缘情况泄露可能被辅助信息反向推导DP的限制:必须添加噪声对异常值敏感的函数难以兼顾隐私与精度主要适用于数值型统计计算融合应用在某些场景下可结合两种技术优势 :使用MPC计算差分隐私近似函数,既能获得MPC的输入保护,又能享有DP的抗辅助信息攻击特性。
本文的内容为基于 《隐私计算FATE-概念与单机部署指南》中部署的环境。 namespace": "experiment", "partition": 10, "schema": { "header": "y,x0,x1,x2,x3,
【引】走近任何一个领域,都会发现自己的渺小和微不足道,会越发地敬畏技术和未知,隐私计算也不例外。 id=3561800)可以对全同态加密有一个概貌,从而了解其脉络方向,进而对隐私计算增加一点点认知。 隐私计算中的完同态加密为加密数据提供量子安全级的计算,保证明文数据及其衍生计算结果永远不会公开,并且在基础设施受到破坏的情况下保持安全,不会被修改和/或破坏。 3. 同态加密的基础 同态加密提供了非对称公钥加密支持的所有功能。 与数据库、云计算、 PKI 和人工智能的影响相似,全同态加密将引发机密/隐私信息保护、处理和共享方式的巨大变化,并将从根本上改变基础计算的进程。
基于上文 《隐私计算FATE-模型训练》 中训练出来的模型进行预测任务 关于 Fate 的安装部署可参考文章 《隐私计算FATE-核心概念与单机部署指南》 二、查询模型信息 执行以下命令,进入 Fate
、隐私计算等产品研发。 隐私计算产业也在加速崛起。中国信息通信研究院报告指出,预计到 2025 年,中国的隐私计算市场规模将达到百亿元人民币。 隐私计算技术发展情况 隐私计算是隐私保护计算(Privacy-preserving Computation)的简称,它能够在保证数据提供方不泄露原始数据的前提下,对数据进行分析、处理和使用,是一个广义的概念 ,已发表近 10 篇隐私计算研究论文,提交了 60 多件隐私计算技术发明专利申请,有多个商用隐私计算和联邦学习的平台产品目前已经通过腾讯云对外开放。 百度智能云还与区块链平台融合,通过将区块链技术纳入云计算与隐私计算的过程,推动隐私计算在各种场景中落地。
根据我们的调研,隐私计算在智慧医疗领域主要有3个应用场景,分别是:智能医学影像分析、智能电子病历和智能辅助诊断[12]。 2022年9月21日,绿盟科技与海光公司联合对外发布了隐私计算新产品:“数安湖”隐私计算平台[21]。 “数安湖”隐私计算平台目前覆盖了联邦学习、安全多方计算和可信执行环境三种隐私计算的核心能力,具有数据可用不可见、核心数据“拿不走”、恶意行为“跑不掉”等产品特点。 然而从现实情况调研来看,目前隐私计算在医疗行业的实际应用可谓凤毛麟角,一方面是由于隐私计算属于一个新兴的技术,仅有极少数企业推出了基于隐私计算医疗行业成熟的解决方案;另一方面也是由于实际应用方并不清楚隐私计算能给他们带来的实际价值 .html [19] https://cn.chinadaily.com.cn/a/202208/16/WS62fb1070a3101c3ee7ae3f3d.html [20] https://mp.weixin.qq.com
2.厂商全景地图爱分析基于对甲方企业和典型厂商的调研以及桌面研究,遴选出在隐私计算市场中具备成熟解决方案和落地能力的入选厂商。3. 入选标准:1.符合金融隐私计算解决方案的厂商能力要求;2.近一年在该市场服务客户数3家以上;3.近一年该市场相关服务收入规模在200万元以上。 符合政府与公共服务隐私计算解决方案的厂商能力要求;2. 近一年在该市场服务客户数3家以上;3.近一年该市场相关服务收入规模在200万元以上。 同态科技的隐私计算一体机是全球首款超高速全同态加密机,集成SM2、SM3、SM4和高速同态加密算法,为数据共享隐私计算提供标准化的数据输出能力,实现免侵入式隐私计算解决方案。 入选标准:1.符合医疗隐私计算解决方案的厂商能力要求;2.近一年在该市场服务客户数3家以上;3.近一年该市场相关服务收入规模在200万元以上。
这本书是为计算机科学、隐私保护、大数据和人工智能相关专业的学生,以及对隐私计算感兴趣的从业者、从事隐私计算研究的研究人员、法律法规制定者和政府监管者编写的。 《隐私计算》系统讲解了隐私计算的基础技术和实践案例,并具有以下 5 大特色。 一是内容系统完整全面。 具体地,全书共有 11 章,按层次划分为 3 部分。 第一部分全面系统地阐述隐私加密计算技术,包括秘密共享、同态加密、不经意传输和混淆电路。 第三部分介绍基于隐私计算技术构建的隐私计算平台和实践案例,隐私计算平台主要包括面向联邦学习的 FATE 平台和加密数据库的 CryptDB 系统等五个平台,以及隐私计算平台的效率问题和常见的加速策略;实践案例部分主要介绍包括金融营销与风控 此外,杨强老师也将于 3 月 23 日出席机器之心 AI 科技年会,发表主旨演讲,感兴趣的读者可点击阅读原文了解大会详情。
作为基于密码学的隐私保护技术的一种替代方案,可信执行环境(Trusted execution environment,TEE)基于硬件安全的 CPU 实现了基于内存隔离的安全计算,可在保证计算效率的前提下完成隐私保护的计算 3. 信息流控制(Control of information flow):除非有特殊的允许,否则各个分区之间不能进行通信。4. 二、TEE 与其他隐私计算技术 TEE 与安全多方计算、同态加密对比 安全多方计算(MPC)、同态加密是和 TEE 一样各有所长的隐私计算技术。 因此通用型 MPC 协议很难在大规模计算环境下广泛应用,更多是针对特定问题的 MPC 协议,如隐私信息检索(PIR)、隐私集合求交(PSI)等,而同态加密技术则大多仅应用于某些计算协议中关键步骤的计算。 ,相较于明文计算仅有 3-4 倍损耗,而 MPC 等技术具有上百倍的计算损耗 能够抵御恶意敌手 劣势: 方案实现依赖底层硬件架构 更新升级需要同步进行软硬件升级 不同厂商的 TEE 技术各异,需要形成统一的行业标准
导读:本文将从隐私计算技术的起源开始说起,介绍什么是隐私计算,以及隐私计算的发展脉络,并进一步介绍隐私计算技术的一些应用场景。 在一般的隐私计算应用中,至少有两个参与方,部分参与方可以同时扮演两个或两个以上的角色。计算方进行隐私计算时需要注意“输入隐私”和“输出隐私”。 另外,在人工智能大数据应用的大背景下,近年来比较火热的联邦学习也是隐私计算领域主要推广和应用的方法。 图1-3展示了各项隐私计算技术的发展时间线。可以看出,隐私计算技术还是比较“年轻”的技术。 ▲图1-3 隐私计算技术的发展时间线 《腾讯隐私计算白皮书2021》将当前隐私计算的体系架构总结为图1-4。一般而言,越是上层,其面临的情况可能越复杂,往往会综合运用下层中的多项技术进行安全防护。 事实上,在医疗健康领域,隐私计算技术已经逐步落地。 3.
那么,区块链技术是否能够与隐私计算融合呢? 1. 回顾隐私计算 隐私计算技术可以归纳为三类: 数据加密与再处理、数据不动而模型动、 通过可信环境进行大数据分析与管理,即联邦机器学习、可信执行环境和多方安全计算三大核心技术。 多方安全计算即著名的百万富翁问题,其目的是解决两个百万富翁在不泄露自己的 财产信息的情况下来比较谁更富有。如今多方安全计算衍生出同态加密、密钥共享、不经意传输和混淆电路等多个技术分支。 3. 基于区块链的隐私计算 区块链作为一种能够提供分布式信任机制的关键技术,其与隐私计算技术进行融合可以整合双方的优势,互通有无。 小结 隐私计算为打破数据孤岛、发掘数据价值、加强数据安全等方面提供了解决办法,但也产生了新的隐私安全问题。区块链因具有去中心化、可溯源、不可篡改等特点,为隐私计算提供了新的解决思路。
点击“博文视点Broadview”,获取更多书讯 目前,隐私计算平台广泛用到了多种安全技术,包括同态加密、秘密共享、差分隐私、可信执行环境,以及其他一些安全多方计算技术。 接下来,我们对隐私计算的效率问题及相应的解决方法进行详细的介绍。 隐私计算技术中的效率问题 01. 同态加密 对数据进行同态加解密需要进行一些数学运算。 通过异构计算来解决隐私计算所面临的算力挑战已经成为当前学术界和工业界的一个热门研究方向。下面以联邦学习FATE 平台为例介绍如何通过异构计算加速隐私计算。 为了克服这个问题,FATE 引入了蒙哥马利模乘算法来高效地完成模乘计算。蒙哥马利算法的优点是计算模乘的过程中不需要进行取模的运算,从而大大加快取模的运算速度。 (3)中国剩余定理减小中间计算结果。 由于异构计算芯片的存储非常稀缺,因此计算性能受到很大影响。 式(3) 式(4) 式(5) 通过中国剩余定理可以分解解密计算,从而减小中间计算结果。
而隐私计算通过同态加密、多方安全计算、可信执行环境等技术,可以保证数据在使用过程中可用不可见。 值得关注的是,隐私保护是多方面的。 据不完全统计,隐私交易网络包括Layer1隐私协议与Layer2隐私协议,前者类目之下分别诞生了十多个项目,后者的类目下也诞生了3个项目。目前,隐私交易网络大多数处于测试与开发阶段。 2. 隐私计算协议 隐私计算协议,主要从数据的产生、收集、保存、分析、利用、销毁等环节对隐私进行保护,除了常见的DeFi、NFT等场景外,还计划与大数据和AI行业进行深度结合。 而基于区块链的隐私计算与其他类型的隐私计算最根本的不同在于,底层技术区块链是去中心化的,排除可信第三方(TTP)。 由于仍然很少被产业型项目所采用,以及部分技术尚不成熟,所以隐私计算网络目前的实际应用场景亦比较有限。 3.
▼ 使用方自主私有计算资源接入,自主管控机器资源和编译环境以及缓存等。 腾讯云代码分析分别提供客户端的二进制包和Docker镜像,使用方可自由选择安装到私有计算资源中,无需额外部署,方便快速接入。 腾讯云代码分析公共计算资源无法满足需要: 1.公共计算资源有限,大量团队共享计算资源,必然会产生任务排队执行。 3.公共计算资源条件,不提供macOS和windows,依赖这些OS的工具只能在自主私有的计算资源中使用,才能获得最佳效果。 4.公共计算资源安全,需要使用编译型工具进行代码分析,因涉及使用方信息安全,安全原则限定只能在私有计算资源中使用。 综上,私有计算资源能提升任务效率,能使用更多工具,私有化计算保障信息安全。
除了依靠法律制度保护隐私,还有必要将隐私保护的数学理论和现实需求相结合,将隐私保护技术和计算任务相结合,在大数据分析和机器学习广泛应用的现实情况下,运用多种技术手段解决隐私泄露问题。 隐私计算便是解决这类问题的核心研究课题。 因此,学习隐私计算的相关技术,建设隐私计算平台和系统,探索隐私计算的相关应用场景变得越发重要。 《隐私计算》新书重磅上市 由香港科技大学计算机科学与工程系副教授、智能网络与系统实验室主任陈凯教授,加拿大工程院及加拿大皇家科学院两院院士、微众银行首席人工智能官杨强教授共同撰写的《隐私计算》中文专著 呈现相对完整的隐私计算知识体系,系统阐述隐私计算关键技术,包括4大发展阶段,5大应用平台,9大落地实践案例。 02. 理论应用价值兼备。 并介绍了基于隐私计算技术构建的五个前沿隐私计算平台,以及平台的效率问题和常见加速策略。 03. 产业实践案例丰富。
为推动隐私计算产业进一步发展,由中国通信标准化协会指导,中国信息通信研究院(以下简称“中国信通院”)、隐私计算联盟主办的2022隐私计算大会于7月13日在北京召开。 观点二:技术体系扩展,隐私计算概念外延深化 早在2016年,李凤华教授等人提出隐私计算是面向隐私信息全生命周期保护的计算理论和方法。 而今,随着隐私保护的需求越来越重视,隐私计算也称隐私增强计算、隐私保护计算,其范畴逐渐扩大。例如,今年美国发布的法案中定义其为减轻数据处理所产生的个人隐私风险的任何软硬件技术。 因此,我们认为广义的隐私计算是涵盖隐私信息全生命周期过程的所有计算操作,包括任何实现隐私保护前提下数据安全流通共享的技术。 此外,当前隐私计算大部分企业技术方案迥异,导致难以互通,应用方通常需要部署多种产品,而隐私计算的开源会让用户更易达成共识,也有利于隐私计算的互联互通。
8.2.2、pandas Series 类型 可以将 Series 类型看作一维数组, 字典类型转为 Series 类型/pandas 一维数组,更适合科学计算 from pandas import 利用层做计算 仍以上述 data 为例: 列-第1层 col-1 col-2 col-3 列-第2层 ccl- 2、互联网公司的数据采集和隐私售卖风险主要表现在数据采集范围过大、隐私售卖和数据泄露等方面。 3、公民隐私保护的难点和底线界定的争议主要表现在个人隐私权与公共利益的平衡、数据使用的透明度和法律法规的制定和执行等方面。 4、针对网络攻击和数据泄露,可以加强网络安全意识、使用安全软件和工具、加强密码管理等预防和应对措施;针对隐私保护,可以使用隐私保护浏览器、加密通讯工具、关注隐私政策和条款等技巧和工具。