一、背景与必要性随着国内数据安全法的实施,网络安全分析中PCAP数据包的脱敏处理已成为必要环节。 本文将介绍如何使用TTHexEdit这一专业十六进制编辑器对PCAP数据包进行有效脱敏和内容修改,确保分析过程合规安全。 ,需了解PCAP文件基本结构:全局头:24字节,包含文件版本、时间戳等信息示例:D4 C3 B2 A1 02 00 04 00 00 00 00 00 00 00 00 00 FF FF 00 00 01 00 00 00数据包头:16字节,包含数据包长度等信息数据内容:实际网络数据包内容四、脱敏与内容修改步骤1. 4.
本文将深入探讨数据脱敏的概念、法律依据、脱敏技术,以及在业务中的应用场景。 什么是数据脱敏? 信息安全技术个人信息脱敏规范 由国家信息安全标准化技术委员会颁布的《信息安全技术个人信息脱敏规范》为数据脱敏提供了详细的技术规范和操作指南,对企业在实施数据脱敏时提供了标准化的指导。 数据脱敏技术 替换 替换是一种基础而有效的脱敏技术。通过将敏感数据替换为虚拟数据,例如将真实姓名替换为“用户A”,以达到保护隐私的目的。 原始数据:真实基因序列 脱敏后数据:模拟基因序列 随机化 随机化是通过引入随机元素,对数据进行随机变换,增加了数据的多样性,提高了脱敏的效果。 原始数据:用户地址 脱敏后数据:随机生成的地址 数据脱敏的业务应用场景 金融行业 在金融领域,客户的个人信息和交易数据极为敏感。
---- 数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。 百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 生活中不乏数据脱敏的例子,比如我们最常见的火车票、电商收货人地址都会对敏感信息做处理,甚至女同志较熟悉的美颜、有些视频中的马赛克都属于脱敏。 ? 二、为什么要进行数据脱敏? 三、如何实现数据脱敏 ---- 按照脱敏规则,可以分为可恢复性脱敏和不可恢复性脱敏。 我们目前遇到的场景是日志脱敏,即在把日志中的密码,甚至姓名、身份证号等信息都进行脱敏处理。 脱敏前: ? 脱敏后: ? ---- 【 转载请注明出处——胡玉洋《数据脱敏——什么是数据脱敏》】
如前文《静态脱敏典型应用场景分析——开发测试、数据共享、科学研究》所说,当前数据脱敏产品主要包括静态脱敏、动态脱敏产品两类。由于两者使用场景不同,关键技术有所差异。 动态脱敏常用在访问敏感数据即时进行脱敏,一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时进行不同级别脱敏的场景,如业务脱敏、运维脱敏、数据交换脱敏等场景。 业务脱敏 场景特点 ❏ 业务用户访问应用系统时,需明确用户身份的真实性。 ❏ 不同权限业务用户访问敏感数据时需采取不同级别的脱敏规则。 ❖ 支持基于敏感标签的脱敏访问策略,支持 B/S、 CS 等不同架构的业务系统、支持对字符串类型、数据类型、日期类型数据脱敏,通过随机、转换、遮盖方式实现对动态数据的脱敏效果,防止业务敏感数据信息和业务的个人隐私数据泄漏 美创数据脱敏系统内置敏感数据发现引擎,对源数据中的敏感数据按照脱敏规则,进行变形、漂泊、遮盖,保证脱敏后的数据保持数据的一致性和业务的关联性,应用于开发测试环境、数据交换、数据分析、数据共享等场景。
支持深度脱敏,支持复杂对象,嵌套对象,对象内多层级嵌套,自动寻找返回值中嵌套对象包含的需脱敏的属性; 最新版本 最新发布版已更新到mave中央仓库:[Maven Central][1.0.3-release enable: true depth: false packages: com.mos.secure 说明: 属性 默认值 取值范围 说明 enable true true/false 是否启用脱敏 ,全局生效,默认开启 depth false true/false 是否启用深度脱敏,为了性能考虑,默认关闭 packages 空 字符串 包路径,多个以英文逗号分隔 深度脱敏规则: depth为true ,且packages不为空,当方法返回值嵌套的属性包含在packages下,则自动进行脱敏。
原文:Life of a Packet in Kubernetes — Part 4 链接:https://dramasamy.medium.com/life-of-a-packet-in-kubernetes-part -4-4dbc5256050a 本篇内容会跟进 Kubernetes 的 Ingress 和 Ingress 控制器。 在 2 层模式中,集群的一个节点获取这个 Service 的所有权,然后使用标准的地址发现协议(IPv4 使用 ARP、IPv6 使用 NDP)在本地网中让次 IP 可达。
The first fragment has offset zero. 4、万变不如一例 4.1、IPv4分片实例 例如一个定义了MTU为1280的设备要转发一个数据包长度(Total Length 首先IP包里的Total Length中包括了数据包头长和数据包的净长度,数据包净长度为Total Length-IHL*4,因此此数据包的净长度为3000-5*4=2980。 488,直接通过第一个Fragment可以得到数据包净长度为Total Length-IHL*4=508-5*4=488,所以这两个分片包为相连数据包,且由于Fragment 2的Flag为为000,由 Fragment 2的净长度为Total Length-IHL*4=312-5*4=292,所以数据包的净长度为292+488=780,因此原始数据包总长度为780+IHL(5)*4=800。 以上就是IPv4数据包的分片和重组内容。
数据脱敏指指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护,如我们日常可以看到的手机号“156**8888”等。 专注安全问题,解决脱敏需求,避免大家重复造轮子,secure-ext-spring-boot-starter控件已提供返回值脱敏的策略及使用方法。 pre-length: 3 suf-length: 3 - keywords: mobile,phone pre-length: 3 suf-length: 4 - keywords: address,addr pre-length: 3 suf-length: 4 3 修改logback.xml 很简单,在logback.xml conversionRule conversionWord="msg" converterClass="io.gitee.chemors.secure.ext.log.core.LogBackCoreConverter"/> 4
=\\d{4})") private String mobile; 还可以自定义处理器进行处理 @Desensitization(handler = MyDesensitizedHandler.class =\\d{4})") private String mobile; } 单元测试: package cn.iocoder.yudao.module; import cn.iocoder.yudao.framework.desensitization.config.YudaoDesensitizationAutoConfiguration
数据包(data package)是用来加载和保存你应用程序中的数据的东西,包含41个类,但是其中有三个类比所有其他类更加重要——Model,Store和Ext.data.proxy.Proxy。 Models 和 Stores 数据包的中心是 Ext.data.Model。一个Model在一个应用程序中展现一些类型的数据 —— 例如一个commerce应用也许会有用户、产品和订单的模型。 { id : 12, title: 'All about data in Ext JS 4' 验证(Validations) 随着对数据的验证支持,ExtJS 4模型功能变得更加丰富。为了展示这个功能,我们将构建一个我们在上面为了关联使用过的例子。首先,让我们向User模型添加一些验证。
The first fragment has offset zero. 4、万变不如一例 4.1、IPv4分片实例 例如一个定义了MTU为1280的设备要转发一个数据包长度(Total Length 首先IP包里的Total Length中包括了数据包头长和数据包的净长度,数据包净长度为Total Length-IHL*4,因此此数据包的净长度为3000-5*4=2980。 488,直接通过第一个Fragment可以得到数据包净长度为Total Length-IHL*4=508-5*4=488,所以这两个分片包为相连数据包,且由于Fragment 2的Flag为为000,由 Fragment 2的净长度为Total Length-IHL*4=312-5*4=292,所以数据包的净长度为292+488=780,因此原始数据包总长度为780+IHL(5)*4=800。 更简单的一个算法就是使用最后一个分片的Fragment Offset*8+最后一个分片的长度即为原始数据包的总长度:61*8+312=488+312=800。 以上就是IPv4数据包的分片和重组内容。
数据脱敏技术通过对数据进行脱敏,如移除识别列,转换半识别列等方式,使得数据使用人员在保证可对#2(转换后)半识别列,#3敏感信息列以及#4其他列进行数据分析的基础上,在一定程度上保证其无法根据数据反识别用户 例如,表二中1,2,3行是一个相等集,4,5,6行也是一个相等集。Sama- rati and Sweeney[4]引入了K-Anonymity用于衡量个人标识泄露的风险。 表4 3-Diversity 病人信息 简单来说,对于L-Diversity相同的相等集,敏感属性值的分布信息对于保护属性泄露至关重要。 约束可能还需要生成干扰数据,敏感数据干扰项的生成策略与方法也是保证K-Anonymity, L-Diversity和T-Closeness的重要条件,在这里篇幅有限,就不过多介绍,请参考引用中的相关论文[4,5,6 大数据脱敏平台的设计方向一般包括静态大数据脱敏平台和动态大数据脱敏平台,所谓静态和动态之分,主要在于脱敏的时机不同。
数据对比 本脱敏系统提供脱敏前后数据校验功能,从数据库结构、数据对象、表数量、表内数据量等维度对比分析源库数据和目标库数据的差异。用户管理员可据此判断该脱敏任务是否胜利完成,脱敏方案是否合理。 数据上传 脱敏后的数据可以实时的上传到目标服务器,也可以保存在脱敏服务器上,按需的上传到目标服务器,实现一次脱敏多次使用。 适用场景和价值 本脱敏系统支持库到库、库到文件、文件到文件、文件到库、本地脱敏等多种数据脱敏场景。 强大的脱敏规则 4.jpg 针对不同行业对于数据格式和语义的定义不同,本脱敏系统在提供遮蔽、随机字符串替代、重置固定值和Hash(加密)等四种通用的脱敏规则之外,还结合数据方向、起始位置等参数设置, 而且所有的仿真脱敏规则还支持可逆脱敏:使用数据仿真规则脱敏后的数据,再次经过脱敏设备处理后,可以将指定范围的数据还原为真实的原始数据。
这就是数据脱敏。数据脱敏是一种通过混淆或掩盖来隐藏个人身份信息或敏感数据的技术。它不仅保护了数据隐私,还确保了在开发和测试过程中不会泄露敏感信息。 此外,数据脱敏还可以帮助企业降低数据泄露的风险,从而提升用户信任。 数据脱敏的四个阶段 1. 选择合适的技术可以确保数据在脱敏后仍然具有可用性。 3. 部署脱敏方法 一旦确定了脱敏技术,下一步是将其部署到实际环境中。这包括配置工具、测试脱敏效果以及确保脱敏后的数据无法还原。 4. 生成审计报告 在测试完成后,结果通常会发布给内部团队、利益相关者或公共论坛。如果使用真实数据进行测试,可能会暴露个人、地点或文件,带来身份盗窃或网络攻击等巨大风险。 4. 哈希:哈希是一种将数据转换为固定长度字符字符串的技术,常用于保护密码等敏感信息。哈希算法的特点是不可逆性,这意味着即使攻击者获取了哈希值,也无法还原原始数据。
4)存在绕过风险,应用数据库不具备脱敏能力,可绕过代理直接访问应用数据库。 5)性能差,结果集脱敏是在接收到返回数据包后解析成结果集,再逐行完成解析与脱敏。 4)存在绕过风险,应用数据库不具备脱敏能力,可绕过代理直接访问应用数据库。 5)性能差,结果集脱敏是在接收到返回数据包后解析成结果集,再逐行完成解析与脱敏。 4)性能差,结果集脱敏是在接收到返回数据包后解析成结果集,再逐行完成解析与脱敏。 3)两端配合脱敏,无法保证流量全覆盖。 4)存在绕过风险,应用数据库不具备脱敏能力,可绕过代理直接访问应用数据库。 3)学习成本大,需要充分了解业务才能对返回字段进行脱敏规则配置。 4)配置工作量大,需要对需要配置的脱敏的每个字段进行脱敏配置且容易遗漏。
本文翻译自:Life of a Packet in Kubernetes — Part 4 [1] 作者:Dinesh Kumar Ramasamy 本文在原文的基础上做了适当的修改,如有疑问请查阅原文 本文是 Kubernetes 中数据包的生命周期系列文章的第 4 部分,我们将会介绍 Kubernetes 中的 Ingress 资源对象和 Ingress Controller。 对于在 balancer_by_lua [4] 上下文中的请求,Lua 代码会检测到有哪些上游 Enpdoint ,并应用配置的负载均衡算法来选择 Endpoint。其余的工作由 Nginx 负责。 在 Layer 2 模式下,集群中的一台机器获得 IP 地址的所有权并使用标准地址发现协议(IPv4 使用 ARP [7],IPv6 使用 NDP [8])。 4 参考资料 [1] 原文链接: https://dramasamy.medium.com/life-of-a-packet-in-kubernetes-part-4-4dbc5256050a [2]
背景上一篇文章讲到了《一个注解,实现数据脱敏》,其实用起来还是相当的方便。那shigen是一个喜欢倒腾的人,对于python的接口,如何实现数据的脱敏呢? 我找了很久的教程,发现关于这部分的资料并不多,而且大部分的都是手写脱敏算法的。最终我也妥协了,我使用的是正则表达式实现数据的脱敏。 本文中,将使用flask+faker实现一个接口,再用正则表达式加工一下,它返回脱敏后的随机数据。 代码实现定义一个通用的正则表达式匹配工具实现的是将符合规则的数据变成脱敏之后的数据图片不得不说,还是很考验正则表达式的功底的,但是shigen的这个还是可以做到通用的,建议拿来就用。 :图片图片总结以上就是《python实现数据脱敏》的全部内容了,觉得不错的伙伴记得点赞 在看 关注 分享哈,你的鼓励是shigen不断更新的动力。
问题 在项目中需要对用户敏感数据进行脱敏处理,例如身份号、手机号等信息进行加密再入库。 sicnu.cs.ich.common.interceptor.transaction; import com.baomidou.mybatisplus.core.MybatisParameterHandler; import lombok.extern.slf4j.Slf4j java.lang.reflect.Method; import java.lang.reflect.Parameter; import java.sql.PreparedStatement; import java.util.*; @Slf4j 返回值插件ResultSetInterceptor package sicnu.cs.ich.common.interceptor.transaction; import lombok.extern.slf4j.Slf4j java.sql.Statement; import java.util.ArrayList; import java.util.Objects; import java.util.Properties; @Slf4j
MySQL数据脱敏指南在当今数据驱动的世界中,保护敏感信息变得至关重要。MySQL提供了多种方法来实现数据脱敏,本指南将详细介绍如何使用Percona插件和自定义函数来保护各类敏感数据。1. Percona data_masking 插件Percona的data_masking插件是一个强大的工具,适用于身份证号、手机号和银行卡号等敏感数据的脱敏。 、姓名和地址等其他类型的敏感信息,我们可以使用自定义的脱敏函数。 mask_email.sql;mysql> source /tmp/mask_address.sql;mysql> source /tmp/mask_chinese_name.sql;使用自定义函数1.邮箱脱敏 --------+| email |+--------------+| ***@sohu.com |+--------------+1 row in set (0.00 sec)2.姓名脱敏
产品功能 · 实时动态脱敏 对需要共享的生产数据或时效性要求很高的数据测试和培训场景,提供基于网关代理模式的动态脱敏技术,达到实时模糊敏感数据的效果。 动态脱敏可对业务系统数据库中敏感数据进行透明、实时脱敏。 ² 动态脱敏可以依据数据库用户名、IP、客户端工具类型、访问时间等多重身份特征进行访问控制。 ² 动态脱敏对生产数据库中返回的数据可以进行放行、屏蔽、隐藏、返回行控制等多种脱敏策略。 1.jpg · 脱敏日志审计 系统将产生的日志转存至脱敏系统中,用户可以对运维人员操作数据库的日志进行查询和统计,实现对数据库进行审计的功能。 保持原有系统的完整性和一致性,同时也不改变数据库中的数据 · 易于实施,内置脱敏规则模版,一周内就能完成复杂业务系统的实施 · 一次部署可以支持多台数据库 系统支持范围 Oracle、MySQL等 支持脱敏方式