- 综合排序
- 最热优先
- 最新优先
- 来自专栏BestSDK
10款最好用的，开源大数据分析工具
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。 随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。 考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。 OpenRefine 这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。 10. Neo4j 其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。
4.9K60发布于 2018-03-01 - 来自专栏灯塔大数据
干货 | 10款超好用的开源大数据分析工具
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。 随着“大数据分析”逐步替代其上代版本，即“商务智能”，企业正面临着一个更加复杂、且商业情报规模更为庞大的新时代。 考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。 1. OpenRefine 这是一款高人气数据分析工具，适用于各类与分析相关的任务。这意味着即使大家拥有多川不同数据类型及名称，这款工具亦能够利用其强大的聚类算法完成条目分组。在聚类完成后，分析即可开始。 10. Neo4j 其官方网站将这款工具称为图形数据库技术的下一场革命。这种说法在一定程度上并不夸张，因为此套数据库使用数据间的关系以操作并强化性能表现。
2.5K50发布于 2018-04-04 - 来自专栏大数据
互联网运营中的10大数据分析方法
那么如何做好数据分析呢，今天推荐一篇关于互联网运营中的十大数据分析方法。 1 细分分析 细分分析是分析的基础，单一维度下的指标数据的信息价值很低。 但也可以是其他任何目的的实现，比如一次使用app的时间超过10分钟。 10 表单分析 填写表单是每个平台与用户交互的必备环节，优秀的表单设计，对转化率的提升起到重要作用。 本文来源：大数据深度分析 产品简介 政务大数据基因系统是按照国家、行业和地方标准，通过政务数据元、元数据标准化和数据模板化实现数据规范编辑、智能管理、关联应用和共享开放，以提升全域或行业的数据资源活化和管理能级 大数据价值构建师 DT时代组织转型的方案服务商
2.8K80发布于 2018-01-24 腾讯安全湖：云原生一体化安全大数据分析平台
一、 产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研且全栈国产化的安全大数据分析产品。产品定位为 PB 级安全数据智能分析平台。 商业差异化卖点： 具备对 PB 级安全数据进行秒级检索的高效分析能力。 全技术栈满足国产化信创要求。 在同等规模数据量下，硬件存储成本仅为 Elasticsearch (ES) 的 1/10。 数据分析层：基于自研一体化数据引擎构建灵活实时的数据表，涵盖数据检索、监控&告警、分析&报表、可视化 BI 及安全应用开发等核心模块。 超强的数据穿透与检索能力：实现 PB 级海量数据的秒级查询，保障百亿级日志数据完整无忧，极大提升安全大数据分析效率。 通过打造一体化安全分析平台打通工作流，支持 PB 级数据分析、未知威胁发现和快速威胁狩猎。 成效： 数据吞吐：在腾讯云原生数据湖单日写入峰值超过 7.21TB。
15510编辑于 2026-05-31- 来自专栏智能大数据分析
【PySpark大数据分析概述】01 大数据分析概述
大数据是一个动态的定义，不同行业有不同的理解，衡量标准会随着技术的进步而改变。 二、大数据分析的概念 什么是大数据分析？大数据分析是指对规模巨大、海量的数据进行分析，挖掘数据蕴含的价值和知识。 大数据分析与传统数据分析的区别：传统的数据分析主要基于统计分析方法，而大数据分析则更侧重于预测性分析和预案性分析，处理大规模、多样性的复杂数据。 图1 大数据分析的思维方式转变 三、大数据分析的流程 大数据分析源于业务需求，其完整的流程包括明确目的、数据采集与存储、数据预处理、分析与建模、模型评估以及可视化应用。 1. 最终，将编写分析报告，并将分析结果应用于实际业务中，实现数据分析的真正价值——解决问题、创造商业价值并提供决策依据。 四、大数据分析的应用场景 大数据无处不在，应用于各行各业。 预测性分析 预测性分析是大数据分析的核心应用之一。它基于大数据和预测模型预测未来某事件发生的概率。
1.9K10编辑于 2025-03-29 - 来自专栏数据科学与人工智能
【大数据分析】大数据分析方法 及 相关工具
基于此，大数据分析方法理论有哪些呢？ ? 大数据分析的五个基本方面 PredictiveAnalyticCapabilities （预测性分析能力） 数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断 AnalyticVisualizations （ 可视化 分析） 不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 SemanticEngines （语义引擎） 我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。 挖掘 与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。
5.1K80发布于 2018-02-27 - 来自专栏智能大数据分析
【PySpark大数据分析概述】03 PySpark大数据分析
一、PySpark简介 Python在数据分析和机器学习领域拥有丰富的库资源，如NumPy、SciPy、Pandas和Scikit-learn等，因此成为数据科学家和数据分析师处理和分析数据的热门语言。 Spark是目前处理和使用大数据的主流框架之一，其设计初衷是加速迭代计算，非常适合大数据分析、机器学习等应用场景。 （二）PySpark SQL模块 pyspark.sql模块包含10个类，提供了类型、配置、DataFrame和许多其他功能的SQL函数和方法，PySpark SQL模块相关类说明见表3。 PySpark结合了Python在数据分析和机器学习领域的丰富库资源，以及Spark处理大数据的能力。它不仅能运行在单机环境，还能在集群上运行，适合处理大规模数据或进行分布式/并行计算。
3.2K10编辑于 2025-04-13 - 来自专栏企鹅号快讯
大数据分析所面临的10个最重要的隐私风险
以下是10个最重要的隐私风险。 1、隐私漏洞和尴尬 由于大数据分析的结果，企业和其他组织采取的行动可能会侵犯相关人员的隐私，导致尴尬甚至失去工作。 5、大数据分析并非100％准确 虽然大数据分析功能强大，但预测和结论并不总是准确的。 10、使专利和版权变得无关紧要 人们担心，大数据可能会使专利更难获得，因为专利办公室将无法验证提交的专利是否是唯一的，因为在越来越多的大数据存储库中，有太多数据需要检查。 所有规模的企业的底线… 大数据分析为激励重大创新、改善组织各部门、以无限方式为个人带来真正的利益做出了巨大的承诺。然而，选择使用大数据分析的组织必须在实际使用分析之前确定相关的隐私和信息安全影响。 总结如下: 1)在大数据分析策略的规划阶段，考虑至少10个隐私风险; 2)建立大数据分析和使用的职责、责任、政策和程序;和 3)将隐私和安全控制纳入相关的流程，然后才真正将其投入商业使用。
1.4K100发布于 2018-01-08 - 来自专栏全栈程序员必看
大数据分析系统
概念、分类 数据分析系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。 根据数据的流转流程，一般会有以下几个模块：数据收集（采集）、数据存储、数据计算、数据分析、数据展示等等。当然也会有在这基础上进行相应变化的系统模型。 按照数据分析的时效性，我们一般会把大数据分析系统分为实时、离线两种类型。实时数据分析系统在时效上有强烈的保证，数据是实时流动的，相应的一些分析情况也是实时的。 而离线数据分析系统更多的是对已有的数据进行分析，时效性上的要求会相对低一点。时效性的标准都是以人可以接受来划分的。 2． 网站流量日志数据分析系统 2.1．
4.6K20编辑于 2022-08-24 - 来自专栏Spark学习技巧
何为大数据分析？
基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 1. 可视化分析。 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了 大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。 4. 语义引擎。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
3K20发布于 2019-05-14 - 来自专栏Spark学习技巧
大数据分析流程
一、为什么要做一份数据报告 你是一个在校学生，上着自己喜欢或不喜欢的课，闲来无事，你打开知乎，看到了数据分析话题，你下定决心要成为一个数据分析师，你搞来一堆学习资料和在线课程，看完之后自信满满，准备去投简历 然后发现不清楚各种工具和模型的适用范围，也不知道数据报告需要包括哪些内容，面试的感觉就是一问三不知…… 你是一个工作了一段时间的白领，你觉得现在这份工作不适合你，你下班以后去逛知乎，在上面看到很多人在说大数据代表未来 ，数据分析师是21世纪最性感的十大职业之一……你激动了，你也要成为数据分析师，你利用空余时间补上了统计知识，学了分析工具，然后发现自己目前的工作跟数据分析没啥关系，觉得没有相关经验没公司要你…… 这些问题的根源是什么 一句话可以概括：你没有办法在最短的时间内向招聘者展示，你能够胜任数据分析这项工作。 保证数据的安全性，不对外泄露公司的任何非公开数据，是数据分析师的基本职业道德。
4.5K41发布于 2019-08-02 腾讯安全湖：云原生全栈国产化安全大数据分析产品概要
一、产品定位与核心亮点 腾讯安全湖是一款云原生、低成本、高性能、自研、全栈国产化的安全大数据分析产品，核心定位为PB级安全数据智能分析平台。 解决方案：构建云原生安全数据湖解决方案，提供数据采集汇聚能力；基于腾讯云原生数据湖实现单日写入峰值超7.21TB，打造一体化安全分析平台，利用云原生和存算分离技术实现弹性伸缩与PB级数据分析，打通安全数据分析工作流 案例2：安全大数据一体化管理最佳实践 背景：企业需整合多来源安全、运维设备日志，面临接入解析复杂、存储成本高、检索性能不足、可视化能力弱的问题。 成效：实现安全大数据一体化管理，提供低成本存储、高性能检索，以及丰富多样的可视化分析能力。 成效：节省80%存储成本；实现PB级数据秒级查询，提升大数据分析效率。 数据来源：腾讯安全官方产品文档
19410编辑于 2026-05-31- 来自专栏大数据时代
为什么要学习大数据呢？写给大数据分析学习者的10个理由
因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边科多大数据收集了十个为什么要学习大数据分析的十个理由 每天晚上8点都会开直播给大家分享大数据知识和路线方法， 下面我们一起来看看大数据专家写给大数据分析学习者的10个理由 为什么大数据是新的前沿 如果你想在这个世界取得成功，你必须学习趋势。 10.开发新的收入来源 您可以分析并将好的数据信息用于良好用途，您可以轻松识别新的和未开发的创收流。这是通过增加收入来丰富您的生活的最佳方式之一。 以上算是关于大数据专家写给大数据分析学习者的10个理由，可见就目前来看，大数据分析工程师算是一个不错的方向，而且由于其对编程要求不高，学习门槛相较而言也比较低，所以如果想要进入大数据行业，但是又对编程不感兴趣的朋友 ，可以考虑往大数据分析方向发展。
1.4K30发布于 2018-12-27 - 来自专栏安恒信息
大数据分析防护云安全强势亮相国际反病毒大会
针对这些新挑战，国际云安全联盟提出了大数据安全分析、软件定义边界、数据自我保护以及可信身份认证四种应对方案。 ? ▲ 刘志乐介绍了如何利用大数据安全分析进行安全防护 随后刘志乐向现场的参会嘉宾详细的介绍了如何利用大数据安全分析进行安全防护。 对于内网而言，又将如何构建大数据安全智能分析能力？刘志乐在演讲中给出了答案。 以大数据分析技术为架构的AiLPHA大数据智能安全分析平台，可以集成关键安全设备的日志、告警、流量，形成全网的安全大数据中心，满足《网络安全法》存储6个月的法规要求。 同时，AiLPHA大数据安全智能平台具备对资产的自发现能力，管理员可以及时发现验证内部恶意资产的恶意行为。此外，大数据智能分析具有结合威胁情报能力，可以形成海陆空一体的安全防御能力。
1.7K40发布于 2018-04-10 - 来自专栏数据库安全防护
大数据安全
产品简介 中安威士大数据安全平台（VS-BDSG）专注于为大数据环境的数据资产提供一系列的审计、访问控制、加密、脱敏等保护措施及管控，对数据的收集、加工、存储、应用等全生命周期的每个环节进行自动监测和实时处理 产品功能 大数据安全审计 本系统支持大数据HDFS、HIVE、HBASE等组件的数据安全单向、双向审计功能，提供可视化、向导式、多层次的策略配置管理。丰富和灵活的规则体系，能够适应不同场景需求。 提供密钥统一管理中心，从而为保护敏感数据提供了更为严谨的安全保障。 大数据脱敏 采用动态脱敏的方式，对访问结果的敏感数据实时脱敏。 应用场景 优势及特性 中安威士大数据安全平台，为Hadoop、Hortonworks、Cloudera以及国产大数据架构提供了数据访问审计、数据访问控制、数据加密、数据脱敏等安全功能。 数据安全防护手段、方法丰富适用。 自动安装和部署，无需人工在大数据集群节点进行操作。 功能齐套，集成简易，可快速构建数据安全网。 模块化设计，灵活定制和组装，适应各类场景需要。
1.3K12发布于 2019-11-21 - 来自专栏数据万花筒
Python大数据分析告诉你，为何电影《哪吒》5天破10亿！！
不知道大家最近有没有去看电影，最近身边的朋友都在向我安利一部叫做《哪吒之魔童降世》的动漫电影。大家无一例外，都说非常的好看。
65110发布于 2021-11-15 什么是大数据分析？大数据分析技术为什么很重要？
一、大数据分析技术，到底在解决什么问题如果只从结果看，大数据分析好像就是把很多数据整理后拿来分析。但往前追一步你就会发现，真正麻烦的地方，其实发生在分析之前。 二、企业常说的大数据分析技术，通常包括哪些能力大数据分析技术听起来很大，但拆开看，其实核心能力并不难理解。一般来说，企业最常遇到的几个部分，分别是数据接入、数据处理、数据建模和分析展示。先说数据接入。 说白了，大数据分析技术一旦要落地，工具就不能只看表面好不好看，更要看整套能力是不是完整。三、为什么现在企业越来越重视大数据分析技术这一点其实和企业管理方式的变化有很大关系。 常见问答Q1：大数据分析技术和数据分析工具有什么区别？数据分析工具更偏使用层，解决的是怎么做分析、怎么展示结果；大数据分析技术更偏底层支撑，解决的是数据怎么接入、处理、统一和长期复用。 Q2：中小企业也需要关注大数据分析技术吗？需要。企业规模不是唯一标准，只要数据来源开始变多、分析需求开始频繁、人工处理开始吃力，就有必要关注这部分能力。Q3：不会编程的人能理解大数据分析技术吗？可以。
28810编辑于 2026-04-14- 来自专栏mantou大数据
【大数据安全】基于Kerberos的大数据安全方案
1.背景 互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。 近几年，在thehackernews等网站上总会时不时的看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。 在Hadoop1.0.0之前，Hadoop并不提供对安全的支持，默认集群内所有角色都是可靠的。用户访问时不需要进行任何验证,++导致++恶意用户很容易就可以伪装进入集群进行破坏。 [不安全的Hadoop集群] 要保证Hadoop集群的安全，至少要做到2个A：Authentication(认证)，Authorization(授权)。 Kerberos本质上是一种协议或安全通道，对于大多数用户或普通用户来说，是有一定学习曲线的，是否有更好的实现能够对普通用户隐藏这些繁琐的细节。
2.6K20发布于 2018-11-05 - 来自专栏华章科技
大数据分析公众号阅读量10万+文章标题里的秘密！
10 大盘点类 ? 11 最xx、必xx类 “最”字在这9100个标题中共出现743次，常用搭配有“最美”（65次）、“最好”（60次）、“最新”（41次）等。 转载大数据公众号文章请注明原文链接和作者，否则产生的任何版权纠纷与大数据无关。
3.4K20发布于 2018-08-14 - 来自专栏全栈程序员必看
python大数据分析实例-用Python整合的大数据分析实例
用Python进行数据分析的好处是，它的数据分析库目前已经很全面了，有NumPy、pandas、SciPy、scikit-learn、StatsModels，还有深度学习、神经网络的各类包。 用Python的好处是从数据抽取、数据收集整理、数据分析挖掘、数据展示，都可以在同一种Python里实现，避免了开发程序的切换。 这里就和大家分享我做的一个应用实例。 rs_fcst = rs_out[-4:-1] rs_fcst = rs_fcst.to_html() rs2 = rs_out.to_records() rs_out = rs_out.to_html() 10
6K10编辑于 2022-09-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号