- 综合排序
- 最热优先
- 最新优先
- 来自专栏生物信息与临床医学专栏
多基因风险评分3
PRSice是当前比较流行的多基因风险评分工具，它主要是用R语言编写的，运行速度快，可以高通量处理大数据。 关于PLINK文件，请参考往期内容初探PLINK文件格式（bed，bim，fam），BGEN文件格式我会在之后的推送中详细讲解，它在大型遗传数据库中应用十分广泛。 3. 这里有两个参数需要注意，一个是--thread，它表示的是程序运行所使用的线程数，一般线程越多，运行速度越快，线程数的使用视计算机的性能而定，四核计算机可以使用4个线程，一般服务器可以使用20个以上的线程，该参数在处理大数据时尤其有用
1.9K10发布于 2020-08-27 - 来自专栏数据科学与人工智能
3月6日数据动态早报 | 利用大数据防范金融风险
一、通信行业数据动态 1 3月3日，在中国信息通信研究院和新华网联合主办的“网络强国和实体经济”论坛上，工信部总工程师张峰透露，2017年工信部将加大网络强国战略实施力度，以此振兴实体经济，并确保“中国制造 【雨果网】 三、互金行业数据动态 1 利用大数据防范金融风险。金融发展与现代信息技术的深度融合，运用大数据技术作为支撑，提升办案能力，是应对金融犯罪信息化、智能化新情况的必然举措。 一是要采用大数据聚合方法进行风险预警，互联网金融企业的注册信息、招聘信息、网站访问量、营销广告等特征数据经大数据平台聚合，形成对企业的“数据画像”。 同时，应加快培养专门的法律大数据分析人才，提升风险防范和信息化队伍的专业素质。【经济日报】 2 互联网金融再入“两会”视野 风险防范被重点提及。 李克强总理所做的政府工作报告中，互联网金融再度被提及，并特别强调了互联网金融在内的金融风险防范。
1K70发布于 2018-02-28 - 来自专栏FreeBuf
Python工具分析风险数据
小安前言 随着网络安全信息数据大规模的增长，应用数据分析技术进行网络安全分析成为业界研究热点，小安在这次小讲堂中带大家用Python工具对风险数据作简单分析，主要是分析蜜罐日志数据，来看看一般大家都使用代理 2 数据准备 俗话说: 巧妇难为无米之炊。小安分析的数据主要是用户使用代理IP访问日志记录信息，要分析的原始数据以CSV的形式存储。 3 数据管窥 一般来讲，分析数据之前我们首先要对数据有一个大体上的了解，比如数据总量有多少，数据有哪些变量，数据变量的分布情况，数据重复情况，数据缺失情况，数据中异常值初步观测等等。 这样我们能对数据整体上有了一个大概了解。 4 数据清洗 由于源数据通常包含一些空值甚至空列，会影响数据分析的时间和效率，在预览了数据摘要后，需要对这些无效数据进行处理。 首先让我们来看看蜜罐代理每日使用数据量，我们将数据按日统计，了解每日数据量PV，并将结果画出趋势图。 ? ?
2.2K90发布于 2018-02-24 - 来自专栏数据安全观察
数据安全风险监测方案
是否明确数据安全风险监测、风险评估、应急响应及报告，事件处置的组织架构和管理流程；是否开展对数据安全威胁的有效监测，并实施监督检查和主动评估，防止数据篡改、破坏、泄露、非法利用等安全事件。 在通知中，风险监测、评估、应急处置被多次强调，反映出监管对数据安全“运行效果”的高度关注。 基于原点安全一体化数据安全平台uDSP的敏感数据识别能力和一体化数据安全审计日志，提供全量洞察数据资产、全域追踪数据流转、全面感知数据风险能力，高效支撑数据风险处置、数据安全运营、数据安全合规内审、数据安全应急演练等活动 全面感知数据风险对各类数据资产从数据资产脆弱性、威胁攻击、数据暴露面、数据权限滥用、数据访问异常行为等多维度集中呈现风险状况和趋势。 提供UEBA、精确阈值、自定义脚本三类告警策略，内置包括资产风险、权限风险、身份风险、行为风险、暴露面风险、配置风险等多种预置规则，并支持按需自定义风险监测和告警策略。
16410编辑于 2026-02-27 - 来自专栏渗透云笔记
基于数据安全的风险评估（三）：风险分析与评估
拥有多年数据治理、数据安全相关工作经验。 ? 二 风险结果判定 为了方便对风险控制和管理，可将风险划分多个等级（如：5级或3级），等级越高，风险也就越高。如下示例表： ? 适用于对自身进行安全风险识别和评价，并选择合适的风险处置措施，降低评估资产的安全风险，定期性的评估可纳入数据安全管理规范及管理办法中。 数据生命周期内数据审计、脱敏检查； 五 总结 数据安全风险评估与信息系统的风险评估应是子与父的关系，数据安全风险评估可融合其中也可独立与已有风险评估体系之外运转。 风险评估流程示例图 基于数据安全的风险评估分四个部分已全部介绍完毕，写该系列文章其意义是发现业界没有针对数据层面进行风险评估体系化文章，所以利用自身数据安全经验，查阅了相关标准完成了以数据为中心的风险识别框架
3.5K41发布于 2020-03-12 - 来自专栏大数据文摘
“大数据”模式的法律风险
原标题：“大数据”模式的法律风险 ——评今日头条事件 作者：谢君泽 继今年6月《广州日报》起诉“今日头条”并达成和解协议之后，近日又传出“今日头条”被围剿的消息。 至此，作为新闻数据的聚集者与加工者的“今日头条”，命运堪忧！然而，该事件对笔者的思考不仅于此，“大数据”模式的法律风险才是更值得关注的问题！ “大数据”模式 所谓“大数据”模式，其实是将巨量的数据资料通过撷取、分析，从而提取有价值的规律性信息，以供政府、企业、个人等决策使用。换句话说，“大数据”模式本质上是巨量数据的“二次加工”。 然而，笔者更关心这种“大数据”模式是否侵犯社区居民的隐私权。 实际上，近日的“今日头条”事件，已经凸显了“大数据”模式的法律风险。 从目前看来，“大数据”模式的法律风险主要来自于大数据的来源和取得方式上。然而，如何从法律上看待“大数据”的“加工行为”，以及如何保护“大数据”模式的“加工成果”，则是一个更加长远的法律议题。
1.9K71发布于 2018-05-21 - 来自专栏王的机器
用风险建模 in Python 系列 3 - 独立模型下
0 引言 本文是「信用风险建模 in Python」系列的第三篇，其实在之前的 Cufflinks 那篇已经埋下了信用风险的伏笔， 信用组合可视化 信用风险 101 独立模型 - 伯努利模型 独立模型 我们可以看出极端损失（VaR, ES）要比 UL 大，因此损失波动率并不是一个可能捕捉注组合风险的好指标。 和上贴【伯努利模型】的蒙特卡洛模拟方法类比，将泊松模型的模拟方法总结在下表。 2 解析法 2.1 理论 推导解析解时需要做进一步模型假设，即假设所有借贷人的违约概率和损失暴露都相等，这只适用于借贷人很多的“大型风险分散”组合。 59.1 61.4 Expected loss: 9.5 vs. 9.6 Loss volatility: 9.7 vs. 9.8 CPU Time: 0.0 vs. 0.0 image.png 3 进一步讲，它们可当为违约风险的下界，在做模型诊断（model diagnostics）中起着重要的作用。
1K30发布于 2020-07-07 - 来自专栏c/c++的学习笔记
python数据分析——大数据伦理风险分析
然而，这些数据的利用也带来了诸多伦理风险，如隐私泄露、数据滥用、算法偏见等。因此，对大数据伦理风险进行深入分析，并采取相应的防范措施，对于保障数据安全、维护社会公平正义具有重要意义。 因此，加强数据收集和处理的合规性监管，确保用户数据的合法使用，是防范隐私泄露风险的关键。 其次，大数据的利用过程中存在数据滥用的风险。 二、大数据技术伦理风险 2.1算法安全性、可信赖性及稳定性风险及其应对 算法风险的表现。其一,算法存在泄露风险。其二,可信赖性风险。其三,算法随时可用性。其四，算法漏洞产生的危害后果。 2.4数据收集与储存中的泄漏风险及其应对 大数据容易受到攻击。开放的网络环境、复杂的数据应用和众多的用户访问,都使得大数据在保密性、完整性、可用性等方面面临更大的挑战。 个人信息泄漏风险增加。 2.5案例：某大型电商平台内部员工涉嫌窃取50亿条用户数据 2017年3月,某大型电商平台协助公安部破获的一起特大窃取贩卖公民个人信息案,其主要犯罪嫌疑人乃该大型电商平台内部员工。
62510编辑于 2024-03-20 - 来自专栏网站漏洞修补
网站安全公司-数据安全风险分析
现代信息化系统越来越普遍，但对于数据安全方面却有很多问题，数据完整性风险不仅影响信息的有效性，还影响信息正确性的保证。一些政府条例特别注重确保数据的准确性。 由于数据本身的性质因素，威慑几乎没有什么作用。关于残余风险技术失败的数据可能导致操作或合规风险（特别是对于萨班斯-奥克斯利法案要求上市公司确保其财务数据的完整性）。 威慑保持对获取和管理数据的个人的教育和人事培训。确保数据所有者负责授权、控制数据和数据丢失。一旦剩余风险密钥数据丢失，如果不恢复，将永远丢失。 3.数据损坏和数据篡改 由计算机或存储系统故障或存储系统故障引起的数据变化，以及由恶意个人或恶意软件引起的数据变化。欺诈数据修改也可能损害完整性。国防部在修改重要数据时使用版本控制软件维护其存档副本。 确保数据所有者负责表决权，控制数据和数据损失。关于残余风险损害或破坏的数据可能会造成重大问题，因为有效和可靠的数据是任何计算系统的基石。
2.1K30发布于 2020-08-04 - 来自专栏绿盟科技研究通讯
数据脱敏的风险量化评估方案
本文讨论的风险评估算法也是基于匿名化处理数据的风险评估，也适用于其他脱敏算法。 K-匿名样例 图3 3-匿名化 K-匿名思想十分朴素。它首先做了如下假设： 准标识符假设：数据持有者可以识别出其所持有数据表中可能出现在外部数据中的属性，因此其可以准确的识别出准标识符集合。 如图4就是一个按K=3处理后的数据集，{1,2,3}，{4,5,6}，{7,8,9}分别为一个等价组。 等价组是一个多重集（multiset），即其中可以有相同的元素。频率集应该也是多重集。 图4 满足3-匿名化数据集 三、隐私的定义与度量 隐私，就是个人、机构等实体不愿意被外部世界知晓的信息。在具体应用中，隐私即为数据所有者不愿意被披露的敏感信息，包括敏感数据以及数据所表征的特性。 ，其攻击对象是大量的元组，因此不必计算处于风险中的记录数和最大风险（详细描述请参照《大数据下的隐私攻防：数据脱敏后的隐私攻击与风险评估》）。
3.3K30发布于 2021-09-06 - 来自专栏拓端tecdat
Stata估算观测数据的风险比
随机研究中，当然很容易估计比较两个治疗组的风险比。对于观察数据，治疗不是随机分配的，估计治疗效果的风险比有点棘手。 1.43，因为数据集很大，95％置信区间非常窄。 估算观测数据的风险比 现在让我们考虑观测数据的情况。 : log likelihood = -5833.7585 Iteration 2: log likelihood = -5733.9167 (not concave) Iteration 3: ，比较z = 1到z = 0，为1.43，与我们第一次模拟数据时估计的风险比相同，其中治疗分配是完全随机的（特别是独立于x）。
1K10发布于 2020-07-17 - 来自专栏技术圈
经验风险、结构风险、正则项
称为“结构风险”描述的是模型f的某些性质。 ? 是经验风险，描述的是模型与训练数据的契合程度，C用于对二者进行折中。 经验风险 经验风险针对不同的学习模型有不同的计算方法。 结构风险 ? 又被称为正则化项，C被称为正则化常数，Lp范数是常用正则化项。 正则化项主要是在降低经验风险的同时能够降低最小化训练误差的过拟合风险。 不过 ridge regression 并不具有产生稀疏解的能力，得到的系数 仍然需要数据中的所有特征才能计算预测结果，从计算量上来说并没有得到改观. L1范数和L2范数正则化都有助于降低过拟合风险，L1范数比L2范数更容易获得稀疏解，求得的解w会有更少的非零分量。
1.2K10发布于 2019-08-21 YashanDB数据恢复技巧，避免意外数据丢失风险
数据库系统中的数据丢失是影响业务连续性和数据安全的关键风险因素。 本文将围绕YashanDB核心架构与持久化机制，深入分析数据恢复的技术原理和实践技巧，帮助数据库管理员和开发人员有效防范意外数据丢失。 YashanDB设计了双写机制用于解决存储设备异常断电导致的断裂页问题，先将数据块写入双写文件，再写入数据文件，保障数据块原子性。 数据文件、切片文件、控制文件等持久化文件构成物理存储基础。数据库实例启动时依赖控制文件加载元数据，管理各表空间及数据段。数据文件中的段、区、块结构支持细粒度空间管理。 结论随着数据规模与业务复杂度的提升，数据库的数据恢复能力已成为核心竞争力之一。YashanDB通过完善的持久化设计、灵活的高可用架构及多种恢复手段，为企业提供坚实的数据安全保障。
24610编辑于 2025-08-21风险数据集市整体架构及技术实现
引言在当今大数据时代，风险数据集市作为金融机构的核心基础设施之一，扮演着至关重要的角色。它不仅为银行、保险等金融机构提供了全面、准确的风险数据支持，还帮助这些机构实现了风险管理的精细化和智能化。 本文将深入探讨一种基于大数据Lambda架构设计的风险数据集市整体架构，并详细介绍其底层实现原理及实现方式。一、风险数据集市概述风险数据集市是一个专门用于存储、处理和分析风险数据的数据中心系统。 它通过对海量的内外部数据进行整合、清洗、转换和加载，为金融机构提供了高质量的风险数据支持。风险数据集市的建设旨在提高金融机构的风险管理能力，降低风险成本，提升市场竞争力。 3.1 服务器配置应用服务器：3台，负责部署风险数据集市的应用服务。中间件服务器：5台，负责部署消息队列、缓存等中间件服务。计算引擎服务器：3台，负责部署Hadoop、Spark等计算引擎服务。 通过批处理层、加速层和服务层的协同工作，风险数据集市能够高效地处理和分析海量风险数据，为金融机构提供了全面、准确的风险数据支持。
54921编辑于 2024-11-11- 来自专栏JAVA开发专栏
风险数据集市整体架构及技术实现
引言 在当今大数据时代，风险数据集市作为金融机构的核心基础设施之一，扮演着至关重要的角色。它不仅为银行、保险等金融机构提供了全面、准确的风险数据支持，还帮助这些机构实现了风险管理的精细化和智能化。 本文将深入探讨一种基于大数据Lambda架构设计的风险数据集市整体架构，并详细介绍其底层实现原理及实现方式。 一、风险数据集市概述 风险数据集市是一个专门用于存储、处理和分析风险数据的数据中心系统。 它通过对海量的内外部数据进行整合、清洗、转换和加载，为金融机构提供了高质量的风险数据支持。风险数据集市的建设旨在提高金融机构的风险管理能力，降低风险成本，提升市场竞争力。 3.1 服务器配置 应用服务器：3台，负责部署风险数据集市的应用服务。 中间件服务器：5台，负责部署消息队列、缓存等中间件服务。 计算引擎服务器：3台，负责部署Hadoop、Spark等计算引擎服务。 数据库服务器：9台，负责部署HBase、Hive等数据库服务。 文件传输服务器：2台，负责数据的上传和下载。
70910编辑于 2024-11-12 - 来自专栏数据科学实战
AKShare-期权数据-期权风险分析
作者寄语 本次主要更新期权的期权风险分析数据，通过该接口可以获取三个金融期权的杠杆比率、实际杠杆比率、希腊字母风险值等的数据。 更新接口 "option_risk_analysis_em" # 期权风险分析-金融期权 期权风险分析-金融期权 接口: option_risk_analysis_em 目标地址: https://data.eastmoney.com /other/riskanal.html 描述: 东方财富网-数据中心-特色数据-期权风险分析 限量: 单次返回所有数据 输入参数 名称 类型 描述 - - - 输出参数 名称 类型 描述 期权代码 Rho object 注意: 指无风险利率变化对期权价格的影响程度。Rho=期权价格的变化／无风险利率的变化。市场无风险利率与认购期权价值为正相关，与认沽期权为负相关。 0.0000 -0.0040 2022-01-26 2 10003907 300ETF沽1月4700 0.0104 ... -0.0057 -1.6928 2022-01-26 3
84030编辑于 2022-03-15 - 来自专栏高防
如何评估数据库的安全风险
3.变更控制和元数据快照 等级3适用于受变更控制的数据库。这意味着对元数据(例如用户、权限、配置和对象)的任何更改都应经过更改控制批准流程。 作为等级3要求的一部分，需要制作配置、用户、权限和对象元数据的每日快照。应及时调查和批准快照之间的更改。 此外建议将这些快照与类似数据库进行交叉比较，以确保一致且统一的配置、用户、权限等。 破坏数据库安全的最简单方法之一是窃取凭证。例如，窃取数据库管理员(DBA)用户名和密码将授予攻击者对数据的无限制访问权限。监控登录可以降低这种风险。 大多数数据库允许以最小的开销审计登录和失败的登录。 5.基本的SQL审计(DDL&DML) 等级5适用于定期记录、报告和审查高风险SQL活动的数据库。 6.完整的SQL审计和网络加密 等级6适用于接受全面SQL审计的数据库，其中所有具有潜在风险的SQL活动都会定期记录、报告和审查。 这将转化为审计大量活动，包括查询。
2.5K00编辑于 2022-05-15 - 来自专栏瓜农老梁
Q3# ZK集群内存过高风险评估
二、风险分析 集群架构 注册中心由9台ZK节点构成，为了分担直接连接Leader节点的连接压力，通过域名分成三组，写操作由其内部转发到Leader操作。 该组是存在风险最大的一组： 经过两天观察运行平稳，缓存x.x.x.15节点尚有25%空间，不可用概率较低 当x.x.x.15节点不可用，全部冲跨剩余节点的概率也较低 该组域名为负责注册，按照当前故障演练测试情况来看 Users/yongliang/Library/Application Support/typora-user-images/image-20210929141418872.png) 结论：配置域名集群无风险 备注：当前风险较大集中在注册域名组节点，但是发生的不可用的概率较小，所以以观察为主，节后低峰期再处理。 内存约在使用超过95%执行该预案 2.应急操作 定向爆破 步骤 操作过程 1 将节点高风险域名指向高配机器x.x.x.122 2 下线该高风险节点迫使客户端触发重连 3 升级该高风险节点为高配机 备注
73760发布于 2021-10-14 AI数据投毒技术详解与风险分析
它带来了哪些风险？什么是AI投毒？一般而言，AI投毒指的是故意向AI模型传授错误知识的过程。其目的是污染模型的知识或行为，导致其表现不佳、产生特定错误或展现出隐藏的恶意功能。 从技术上讲，这种在训练期间发生的操纵被称为数据投毒。而在训练后攻击者修改模型本身则称为模型投毒。在实践中，两者常常重叠，因为被投毒的数据最终会以类似的方式改变模型的行为。 在这种情况下，攻击者用带有偏见或虚假内容充斥训练数据，使得模型开始将其当作事实重复，而无需任何触发条件。这是可能的，因为大型语言模型从庞大的公共数据集和网络爬取内容中学习。 研究人员已经证明，数据投毒在现实环境中既实用又可扩展，并会造成严重后果。从错误信息到网络安全风险近期的某机构联合研究并非唯一强调数据投毒问题的研究。 被投毒的模型也可能给用户带来进一步的网络安全风险，这已经是一个问题。例如，2023年3月，某机构在发现一个漏洞短暂暴露了用户的聊天标题和一些账户数据后，短暂地将ChatGPT下线。
51710编辑于 2026-01-18- 来自专栏大数据文摘
【重磅译文】大数据-风险管理新武器
大数据在风险管理中的优势： 1.提高风险模型的预测能力及稳定性 2.实时风险智能将更广泛的应用，实时风险监控将有可能实现，而噪声信号比率却可以被降低。 3.基于重点领域的有效信息作出的决策的能力将会增强。 4.显著的节约风险管理的成本 世界上超过90%的数据在最近2年内产生，思维超前的产业及机构已经开始挖掘并利用这个宝藏。 3 大数据应用-游戏规则的改变者 风险管理面临新的机遇与挑战。为了应对危机，监管机构要求更为详细的数据以及日益复杂的报告。银行预期将在所有资产类别中对各种场景进行定期而全面的自下而上的压力测试。 广泛、全面和近乎实时的数据有能力提升风险监控（同时降低信噪比），风险覆盖率，以及风险模型的稳定性和预测能力。 在一些关键领域，特别是操作风险和合规风险，大数据技术将使得模型的发展能够支持风险人员的日常决策。 这些技术能够快速处理大规模数据，同时也能够适应设定在交易，交易对手和投资水平上的情景压力测试的新要求。
85730发布于 2018-05-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号