- 综合排序
- 最热优先
- 最新优先
- 来自专栏云计算D1net
大数据时代 云安全4大策略
但是无论什么时候对云计算展开讨论，我们都无法回避以下问题： 针对大数据的云安全策略是什么? 当在大数据使用案例中提及云安全策略时，我们希望任何安全解决方案都能够在不影响部署安全性的情况下提供与云一样的灵活性。 2、寻找在结构上能够扩展的云安全解决方案 在大数据当中，结构的每一个组件都应该能够扩展，云安全解决方案也不例外。在选择云安全解决方案时，用户需要确保它们在所有跨地区云部署点中都能够发挥作用。 此外，它们在大数据基础设施当中必须要能够高效地扩展。表面上，这并不涉及硬件问题。但是由于硬件安全模块(HSM)不具扩展能力并且无法灵活适应云模式，因此它们不适合大数据使用案例。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。
1.4K70发布于 2018-03-21 - 来自专栏安恒信息
大数据安全第4期：了解大数据安全标准体系应当先从这里开始
大数据安全风险伴随大数据应用而生。随着互联网、大数据应用的爆发，数据丢失和个人信息泄漏事件频发，地下数据交易黑灰产造成数据滥用和网络诈骗，并引发恶性社会事件，甚至危害国家安全。 大数据安全标准是应对大数据安全需求的重要抓手。 基于对上面大数据安全风险和挑战的综合分析，以及对当前大数据技术和应用发展现状，以及当前我国对大数据安全合规方面的要求，提出五个方面的大数据安全标准化需求。 1、规范大数据安全相关术语和框架 2、为大数据平台安全建设、安全运维提供标准支撑 3、为数据生命周期管理各个环节提供安全管理标准 4、为大数据服务安全管理提供安全标准支撑 5、为行业大数据应用的安全和健康发展提供标准支撑 图：大数据安全标准体系框架 （一）基础类标准 整个大数据安全标准体系提供包括概述、术语、参考架构等基础标准，明确大数据生态中各类安全角色及相关的安全活动或功能定义，为其它类别标准的制定奠定基础。
1.5K100发布于 2018-04-10 腾讯安全湖：云原生一体化安全大数据分析平台
一、 产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研且全栈国产化的安全大数据分析产品。产品定位为 PB 级安全数据智能分析平台。 数据分析层：基于自研一体化数据引擎构建灵活实时的数据表，涵盖数据检索、监控&告警、分析&报表、可视化 BI 及安全应用开发等核心模块。 安全场景层：聚焦支撑企业的智能安全运营、安全分析与智能安全转型。 硬核指标 数据规模与性能：支持 PB 级海量数据秒级检索；支持 百亿级存量日志高效处理。 超强的数据穿透与检索能力：实现 PB 级海量数据的秒级查询，保障百亿级日志数据完整无忧，极大提升安全大数据分析效率。 通过打造一体化安全分析平台打通工作流，支持 PB 级数据分析、未知威胁发现和快速威胁狩猎。 成效： 数据吞吐：在腾讯云原生数据湖单日写入峰值超过 7.21TB。
15510编辑于 2026-05-31- 来自专栏智能大数据分析
【PySpark大数据分析概述】01 大数据分析概述
IBM的定义：大数据的“4V”特性，即Volume（数量）、Variety（多样）、Velocity（速度）和Value（价值），后来又加入了Veracity（真实性），形成了大数据的“5V”特性。 大数据4V特性如下表。 表1 大数据4V特性 特征 说明 Volume（数量） 当前典型计算机硬盘容量为TB量级，PB是大数据的临界点。 大数据是一个动态的定义，不同行业有不同的理解，衡量标准会随着技术的进步而改变。 二、大数据分析的概念 什么是大数据分析？大数据分析是指对规模巨大、海量的数据进行分析，挖掘数据蕴含的价值和知识。 大数据分析与传统数据分析的区别：传统的数据分析主要基于统计分析方法，而大数据分析则更侧重于预测性分析和预案性分析，处理大规模、多样性的复杂数据。 图1 大数据分析的思维方式转变 三、大数据分析的流程 大数据分析源于业务需求，其完整的流程包括明确目的、数据采集与存储、数据预处理、分析与建模、模型评估以及可视化应用。 1.
1.9K10编辑于 2025-03-29 - 来自专栏数据科学与人工智能
【大数据分析】大数据分析方法 及 相关工具
基于此，大数据分析方法理论有哪些呢？ ? 大数据分析的五个基本方面 PredictiveAnalyticCapabilities （预测性分析能力） 数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断 AnalyticVisualizations （ 可视化 分析） 不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 SemanticEngines （语义引擎） 我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。 挖掘 与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。
5.1K80发布于 2018-02-27 - 来自专栏智能大数据分析
【PySpark大数据分析概述】03 PySpark大数据分析
一、PySpark简介 Python在数据分析和机器学习领域拥有丰富的库资源，如NumPy、SciPy、Pandas和Scikit-learn等，因此成为数据科学家和数据分析师处理和分析数据的热门语言。 Spark是目前处理和使用大数据的主流框架之一，其设计初衷是加速迭代计算，非常适合大数据分析、机器学习等应用场景。 （4）默认实例：默认情况下，PySpark将SparkContext实例命名为'sc'，因此在大多数情况下，可以直接使用这个名字来访问SparkContext的实例。 （4）优先级规则: 使用set()方法设置的配置值优先于从系统属性中加载的值。 （5）不可变性和传递性: 创建后，SparkConf对象不可修改，确保配置在应用程序生命周期中保持一致。 PySpark结合了Python在数据分析和机器学习领域的丰富库资源，以及Spark处理大数据的能力。它不仅能运行在单机环境，还能在集群上运行，适合处理大规模数据或进行分布式/并行计算。
3.2K10编辑于 2025-04-13 - 来自专栏BestSDK
4个步骤3分钟，快速入门大数据分析
一、明确数据分析的目的 1、如果数据分析的目的是要对比页面改版前后的优劣，则衡量的指标应该从页面的点击率，跳出率等维度出发，电商类应用还要观察订单转化率，社交类应用要注重用户的访问时长、点赞转发互动等频次 2、如果数据分析的目的是探究某一模块数据异常波动的原因，则分析的方法应该按照金字塔原理逐步拆解，版本->时间->人群。 4、对历史数据遗忘。人与数据技术不同，数据技术有着100%的记忆能力，而人类根据艾浩宾斯遗忘定律1天后只能记起33%，6天后25%，31天后21%。因此，我们要合理的选择筛选时间段。 五、总结 美国最成功的视频网站Netflix通过基于用户习惯的分析，将大数据分析深入到电影的创作环节中，塑造了风靡一时的美剧《纸牌屋》。 然而Netflix的工作人员告诉我们，不应该迷恋大数据 如果说电视剧评分9分是精品的话，大数据可以让我们脱离低分6分以下的风险，却也会带我们按部就班的走向平庸的绝大多数7-8分之间。
1.2K40发布于 2018-02-28 - 来自专栏全栈程序员必看
大数据分析系统
概念、分类 数据分析系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。 按照数据分析的时效性，我们一般会把大数据分析系统分为实时、离线两种类型。实时数据分析系统在时效上有强烈的保证，数据是实时流动的，相应的一些分析情况也是实时的。 而离线数据分析系统更多的是对已有的数据进行分析，时效性上的要求会相对低一点。时效性的标准都是以人可以接受来划分的。 2． 网站流量日志数据分析系统 2.1． 4、帮助企业对客户群进行细分，针对不同客户制定个性化的促销策略等。 终极目标是： 改善网站的运营，获取更高投资回报率（ROI）。也就是赚更多的钱。 2.2． item.jd.com$fl=16.0r0$os=win$br=chrome$bv=39.0.2171.95$wb=1437269412$xb=1449548587$yb=1456186252$zb=12$cb=4$
4.6K20编辑于 2022-08-24 - 来自专栏Spark学习技巧
大数据分析流程
然后发现不清楚各种工具和模型的适用范围，也不知道数据报告需要包括哪些内容，面试的感觉就是一问三不知…… 你是一个工作了一段时间的白领，你觉得现在这份工作不适合你，你下班以后去逛知乎，在上面看到很多人在说大数据代表未来 ，数据分析师是21世纪最性感的十大职业之一……你激动了，你也要成为数据分析师，你利用空余时间补上了统计知识，学了分析工具，然后发现自己目前的工作跟数据分析没啥关系，觉得没有相关经验没公司要你…… 这些问题的根源是什么 保证数据的安全性，不对外泄露公司的任何非公开数据，是数据分析师的基本职业道德。 Step 4：数据整理 清洗过后，需要进行数据整理，即将数据整理为能够进行下一步分析的格式，对于初学者，用Excel来完成这一工作就OK。 2月销售额有所下降，3月大幅回升，4月持续增长。 年迈的分析师：2013年1月、2月销售额去除春节因素后，1月实际同比上升20%，2月实际同比上升14%，3月、4月销售额持续增长。
4.5K41发布于 2019-08-02 - 来自专栏Spark学习技巧
何为大数据分析？
基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 1. 可视化分析。 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 4. 语义引擎。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。 4.
3K20发布于 2019-05-14 腾讯安全湖：云原生全栈国产化安全大数据分析产品概要
一、产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研、全栈国产化的安全大数据分析产品，核心定位为PB级安全数据智能分析平台。 4. 荣誉背书 原文未提及该产品获得的相关技术荣誉和奖项。 成效：实现安全大数据一体化管理，提供低成本存储、高性能检索，以及丰富多样的可视化分析能力。 案例4：极致的降本增效最佳实践 背景：企业安全数据存储与分析成本高，大数据查询效率不足，制约安全运营效率。 解决方案：依托腾讯安全湖的极致压缩比技术，优化存储与计算资源配置，提升查询性能。 成效：节省80%存储成本；实现PB级数据秒级查询，提升大数据分析效率。 数据来源：腾讯安全官方产品文档
19410编辑于 2026-05-31- 来自专栏安恒信息
大数据分析防护云安全强势亮相国际反病毒大会
针对这些新挑战，国际云安全联盟提出了大数据安全分析、软件定义边界、数据自我保护以及可信身份认证四种应对方案。 ? ▲ 刘志乐介绍了如何利用大数据安全分析进行安全防护 随后刘志乐向现场的参会嘉宾详细的介绍了如何利用大数据安全分析进行安全防护。 对于内网而言，又将如何构建大数据安全智能分析能力？刘志乐在演讲中给出了答案。 以大数据分析技术为架构的AiLPHA大数据智能安全分析平台，可以集成关键安全设备的日志、告警、流量，形成全网的安全大数据中心，满足《网络安全法》存储6个月的法规要求。 同时，AiLPHA大数据安全智能平台具备对资产的自发现能力，管理员可以及时发现验证内部恶意资产的恶意行为。此外，大数据智能分析具有结合威胁情报能力，可以形成海陆空一体的安全防御能力。
1.7K40发布于 2018-04-10 - 来自专栏绿盟科技研究通讯
安全知识图谱 | Log4j事件云端数据分析
以下为基于绿盟云监测进行分析得到的数据，时间截止至2022年1月4日零时。 一、 态势观测：Log4j攻击趋势 从图1可以看出，绿盟云端监测到的Log4j攻击事件在漏洞曝光之初即呈现爆炸式增长的态势。 图3 Log4j攻击事件跨域行为 三、 事件精细分诊 为了细粒度观测Log4j攻击事件的攻击手法，实现在大规模事件下的事件准确研判，绿盟科技基于数据分析方法，对事件进行细粒度分诊。 图7 Log4j攻击载荷摘要 四、 安全知识图谱 如图8所示，从安全知识图谱的分析中可以发现，图谱中已涵盖log4j的最新漏洞测试POCs，或利用脚本(Exploit-DB)和依赖log4j的组件或产品 安全知识图谱基于图关联统计分析log4j影响范围和风险面状况，同时产出log4j的关联知识，自动生成检测规则并应用在安全扫描器或资产扫描中，进一步深度安全自查，有效缓解企业安全风险管理问题。 图8 从安全知识图谱中分析Log4j风险 五、总结 在云端大数据平台上，我们能够观测攻击事件的整体态势和攻击行为关联行为模式，并以系统、全局的视角审视攻击团伙行为，分析攻击模式演变。
68720编辑于 2022-01-21 - 来自专栏数据库安全防护
大数据安全
产品简介 中安威士大数据安全平台（VS-BDSG）专注于为大数据环境的数据资产提供一系列的审计、访问控制、加密、脱敏等保护措施及管控，对数据的收集、加工、存储、应用等全生命周期的每个环节进行自动监测和实时处理 产品功能 大数据安全审计 本系统支持大数据HDFS、HIVE、HBASE等组件的数据安全单向、双向审计功能，提供可视化、向导式、多层次的策略配置管理。丰富和灵活的规则体系，能够适应不同场景需求。 提供密钥统一管理中心，从而为保护敏感数据提供了更为严谨的安全保障。 大数据脱敏 采用动态脱敏的方式，对访问结果的敏感数据实时脱敏。 应用场景 优势及特性 中安威士大数据安全平台，为Hadoop、Hortonworks、Cloudera以及国产大数据架构提供了数据访问审计、数据访问控制、数据加密、数据脱敏等安全功能。 数据安全防护手段、方法丰富适用。 自动安装和部署，无需人工在大数据集群节点进行操作。 功能齐套，集成简易，可快速构建数据安全网。 模块化设计，灵活定制和组装，适应各类场景需要。
1.3K12发布于 2019-11-21 什么是大数据分析？大数据分析技术为什么很重要？
一、大数据分析技术，到底在解决什么问题如果只从结果看，大数据分析好像就是把很多数据整理后拿来分析。但往前追一步你就会发现，真正麻烦的地方，其实发生在分析之前。 二、企业常说的大数据分析技术，通常包括哪些能力大数据分析技术听起来很大，但拆开看，其实核心能力并不难理解。一般来说，企业最常遇到的几个部分，分别是数据接入、数据处理、数据建模和分析展示。先说数据接入。 说白了，大数据分析技术一旦要落地，工具就不能只看表面好不好看，更要看整套能力是不是完整。三、为什么现在企业越来越重视大数据分析技术这一点其实和企业管理方式的变化有很大关系。 常见问答Q1：大数据分析技术和数据分析工具有什么区别？数据分析工具更偏使用层，解决的是怎么做分析、怎么展示结果；大数据分析技术更偏底层支撑，解决的是数据怎么接入、处理、统一和长期复用。 Q2：中小企业也需要关注大数据分析技术吗？需要。企业规模不是唯一标准，只要数据来源开始变多、分析需求开始频繁、人工处理开始吃力，就有必要关注这部分能力。Q3：不会编程的人能理解大数据分析技术吗？可以。
28810编辑于 2026-04-14- 来自专栏mantou大数据
【大数据安全】基于Kerberos的大数据安全方案
1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年，在thehackernews等网站上总会时不时的看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。 [不安全的Hadoop集群] 要保证Hadoop集群的安全，至少要做到2个A：Authentication(认证)，Authorization(授权)。 Kerberos目前最新版本是5，1~3版本只在MIT内部发行，因为使用DES加密，早期被美国出口管制局列为军需品禁止出口，直到瑞典皇家工学院实现了Kerberos版本4，KTH-KRB。 verbose] [-update] filename [dbname] Hadoop所有请求通过请求内网域名，解析到Keepalived绑定的VIP的方式来使用KDC: [Kerberos HA] 4.
2.6K20发布于 2018-11-05 - 来自专栏全栈程序员必看
python大数据分析实例-用Python整合的大数据分析实例
用Python进行数据分析的好处是，它的数据分析库目前已经很全面了，有NumPy、pandas、SciPy、scikit-learn、StatsModels，还有深度学习、神经网络的各类包。 用Python的好处是从数据抽取、数据收集整理、数据分析挖掘、数据展示，都可以在同一种Python里实现，避免了开发程序的切换。 这里就和大家分享我做的一个应用实例。 rp1)) if (i==0) and (rp1<0) :const = str((“%.4f” % rp1)) if (i==1):ftext = ftext + str((“%.4f” % rp1 ’ % r.aic}} BIC： { {‘%.4f’ % r.bic}} FPE： { {‘%.4f’ % r.fpe}} HQIC： { {‘%.4f’ % r.hqic}} —— ’ % r.params[i]}} { {‘%.4f’ % r.bse[i]}} { {‘%.4f’ % r.tvalues[i]}} { {‘%.4f’ % r.pvalues[i]}}
6K10编辑于 2022-09-03 - 来自专栏ShowMeAI研究中心
图解大数据 | 大数据分析挖掘-Spark初步
Apache Spark是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模的数据进行快速分析查询。 Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量的廉价硬件之上，形成集群。 Apache Spark 已经成为最受欢迎的大数据分布式处理框架之一。 [daec84de9f4f08884d9d2333ae6b04f0.png] 4.RDD / DataFrame与Dataset 1）Spark API的历史 Apache Spark 中有RDD，DataFrame 和Dataset三种不同数据API，发展如下： [65eca90808af4ee4dc11e029ec050a05.png] RDD： RDD是Spark最早提供的面向用户的主要API。
2.7K41编辑于 2022-03-08 - 来自专栏硬核项目经理的专栏
Spark快速大数据分析
一、Spark数据分析导论 1.Spark是一个用来实现快速而通用的集群计算的平台，扩展了MapReduce计算模型，支持更多计算模式，包括交互式查询和流处理 2.包括Spark Core、Spark persist()操作 使用行动操作（例如count()和first()等）来触发一次并行计算，Spark会对计算进行优化后再执行 3.RDD的转化操作都是惰性求值 的，在调用行动操作之前Spark不会开始计算 4. 2.Spark程序可以通过控制RDD分区方式来减少通信开销，只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助 3.在Java中使用partitioner()方法获取RDD的分区方式 4. 让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用 3.Spark的pipe()方法可以让我们使用任意一种语言实现Spark作业中的部分逻辑，只要能读写Unix标准流就行 4. ，能过集群管理器（Cluster Manager)的外部服务在集群中的机器上启动Spark应用 2.驱动器程序：把用户程序转为任务；为执行器节点调度任务 3.使用bin/spark-submit部署 4.
3K20发布于 2019-08-06 - 来自专栏深度学习|机器学习|歌声合成|语音合成
大数据分析：特征工程
'true_name_flag', 'age', 'uni_student_flag', 'blk_list_flag', '4g_unhealth_flag
2.5K10发布于 2021-01-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号