静态脱敏典型应用场景分析——开发测试、数据共享、科学研究
上回说到,美创科技新手销售小李历经千辛
终于首战告捷,完成数据脱敏第一单
→前情查阅:销售新手的数据脱敏「成单记」▼
图1:脱敏方式介绍并在案例分享会上进行总结▼
图2:美创科技案例分享会那么小李的秘笈究竟是什么
今天我们一一揭晓
静态脱敏产品三个典型应用场景分析
在数据流动、共享、交换成为趋势的今天,数据脱敏已经成为实现敏感数据保护的重要手段之一。数据脱敏产品也逐步被金融、政府、企业等行业客户广泛使用。
当前数据脱敏产品主要包括静态脱敏、动态脱敏产品两类。由于两者使用场景不同,关键技术有所差异。
其中,静态数据脱敏一般应用在非生产环境或脱离原生业务系统使用。开发测试、数据共享、科学研究是静态数据脱敏的三个典型应用场景。对此,本文将进行详细分析。
开发测试应用场景
开发测试场景中,如银行、证券等金融行业业务系统中含有姓名、身份、账号等敏感信息,由于开发测试需要使用这些真实数据,因此需要通过脱敏手段保证敏感数据不被泄露。
场景特点
数据库类型多,系统体系架构复杂,跨系统、跨平台测试数据难以获取。
开发测试场景需高度模拟生产环境,对脱敏后数据与业务的一致性有严格要求。
生产环境与开发测试环境互相隔离,彼此无法互相访问。
部分行业如银行金融机构日新增数据量较大,无法定期对全量数据进行脱敏,要求数据脱敏系统具备增量脱敏能力。
要求具备多种脱敏算法。如在金融机构脱敏场景中,需保持脱敏后不同字段之间的数据计算关系,如“2+3=5”脱敏后需要保持等号左边的数值等于右边。
产品应具备的关键功能
支持主流关系型数据库、大数据平台、格式化文本文件、Oracledump文件;支持敏感数据自动发现、自动抽取生产中心数据、并自动匹配脱敏算法,实现脱敏过程自动化。
保证主外键一致、业务关联一致、有依赖字段的敏感信息脱敏一致、多次脱敏结果保持一致等,整体保证脱敏前后一致性,保持数据间的逻辑关系;支持将源数据库对象自动同步到目标库,包括表结构、主键、索引、约束、视图、触发器、存储过程等。
支持对于Oracledmp文件进行直接解析,并进行脱敏处理。
数据脱敏根据实际业务需求提供脱敏数据,可通过数据子集、黑名单、白名单等方式控制数据脱敏范围。
支持对生产数据全量和增量的方式脱敏,可设置脱敏的作业的调度周期,并对作业过程进行监控,支持脱敏前后的数据在线比对功能。
提供多种数据脱敏算法:
随机映射:随机生成符合数据原始特征的数据。
固定映射:根据用户设定的密钥,将最小数据单位根据映射算法做固定映射。
替换:根据用户设定的替换字符,对数据的某一段内容进行替换。
加减值:对数值在一定范围内做加减值。
范围随机:对数值在一定范围内取随机值。
截断:将数据根据设定长度进行截断。
截取:截图数据中的某一部分。
加密:通过MD5、SHA1、DES、RSA等算法对数据进行加密。
格式化脱敏:根据数据的格式对数据进行切分,以保证数据的原始特征。
依赖脱敏:根据原有数据计算关系,来设置依赖脱敏策略,使脱敏后的数据能保持原有计算关系。
数据共享应用场景
数据共享场景在一些特定需求下,需要对特定敏感数据进行处理,保留部分敏感数据,交付给企业内部的其他部门或者外部企业。
场景特点
数据共享场景中,特定需求下需要保留部分敏感数据字段,但对其他隐私数据可以进行遮蔽、仿真等操作。
作为数据提供方,需要提供溯源机制,当发生数据泄露的时候,可以确定数据泄露方,便于溯源追责。
产品应具备的关键功能
预设丰富的敏感对象,包括个人隐私、金融财务、商业机密、医疗数据、相关证件等,在进行数据脱敏时,将会对设定的敏感对象按照规则进行脱敏,且可根据实际需求自定义敏感对象,完善敏感对象库。
图3:敏感数据对象库对于脱敏源中存在的脏数据(不符合敏感对象业务特征的数据),系统同样会对这部分数据进行变形处理,以避免隐形敏感数据泄露。
内置数据水印及溯源功能,用户可自定义水印内容,同时通过算法保证水印内容的抗破坏性,从而保证在数据被分享给第三方后,可通过系统进行溯源及追责。
图4:美创脱敏产品水印溯源功能科学研究应用场景
数据科学研究核心是将对数据进行统计分析,用于科学研究。需要保证数据特征,脱敏后保证科学研究所必须的内容。
场景特点
为保证获取的数据可以满足科学研究,保留数据部分要真实有效。
脱敏后的数据需要有分析的价值,数据的业务特征不能丧失。
大数据分析平台中包括海量的用户隐私和敏感数据,针对大数据环境进行数据脱敏,数据结构复杂,包括结构化、非结构化数据等,脱敏操作复杂。
特定场景下需对脱敏数据进行复敏,例如银行通过对脱敏后的转账记录、贷款记录、还款记录等进行分析,评估出个性信用等级,最后将结果回溯到真实银行客户。
产品应具备的关键功能
内置丰富的数据脱敏算法及数据分段脱敏的能力,可适配不同的数据分析场景,从而在保证数据脱敏或降敏的前提下,安全地进行各种数据分析。
保证主外键一致、业务关联一致、有依赖字段的敏感信息脱敏一致、多次脱敏结果保持一致等,整体保证脱敏前后一致性,保持数据间的逻辑关系。
支持HDFS、Hive、Impala、ODPS、Teradata、Greenplum、MongoDB、FusionInsight等大数据敏感源。
支持数据脱敏复敏,具备复敏权限的用户才能进行此操作,充分保证安全性。
美创数据脱敏系统内置敏感数据发现引擎,对源数据中的敏感数据按照脱敏规则,进行变形、漂泊、遮盖,保证脱敏后的数据保持数据的一致性和业务的关联性,应用于开发测试环境、数据交换、数据分析、数据共享等场景。美创数据脱敏产品,帮您实现敏感数据可靠保护!
本文转自杭州美创科技有限公司,如需二次转载,请咨询。