- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据开发
大数据平台搭建：基于Hadoop的数据分析平台
15.jpg 企业要进行大规模的数据分析，基于开源的Hadoop及其生态圈来搭建起大数据系统平台，无疑是一种低成本高效率的选择。 Hadoop系统的可伸缩性、健壮性、计算性能以及低成本，使得它事实上已成为当前互联网企业主流的大数据分析平台解决方案。 基于Hadoop，可以根据企业实际的业务需求，来进行数据系统的规划和设计。 针对不同的具体需求，采用不同的数据分析架构和框架组件来解决实际问题。 大数据分析平台需求规划 按照数据分析的时效性需求，大数据分析可分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，可采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 9.jpg 关于大数据平台搭建，基于Hadoop的数据分析平台，以上就是今天的分享内容了。
2.4K1410发布于 2020-10-10 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——320会话分析Hadoop离线数据分析平台实战——320会话分析
Hadoop离线数据分析平台实战——320会话分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 会话分析主要同时计算会话个数和会话长度， 主要应用在用户基本信息分析模块和浏览器信息分析模块这两部分 (注意：处理的数据为所有事件产生的数据) 最终数据保存：stats_user和stats_device_browser。
1.2K70发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——410事件分析Hadoop离线数据分析平台实战——410事件分析
Hadoop离线数据分析平台实战——410事件分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 事件分析我们主要只是分析事件的触发次数， 通过查看事件的触发次数我们可以得到事件转换率或者用户会此类事件的兴趣所在之处以及不喜之处 最终数据保存：stats_event。涉及到所有列。 涉及到其他表有dimension_platform、dimension_date、dimension_event。
1.3K80发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——420订单分析Hadoop离线数据分析平台实战——420订单分析
Hadoop离线数据分析平台实战——420订单分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 完成 模块介绍 订单分析分别分析订单的数量和订单的金额， 以及将订单分为总订单、 支付成功订单以及退款订单三种类型的数据 ， 通过这六个分析指标的数据我们可以指定网站的订单情况。 也就是说分别统计订单数量和订单金额，而不是使用一张hive表同时保存多个指标的数据， 而是采用多个表分别保存不同指标的数据或者采用一张表非同时的保存多个指标的数据。 实现自定义udf&自定义函数创建 b. hive+sqoop脚本 成功支付订单数量&金额&总金额的hive&sqoop分析 a. 订单数据保存mysql b.
1.4K60发布于 2018-04-08 大数据平台技术深度分析
大数据时代，企业对于数据的处理、存储和分析需求日益增长。本文将对当前主流的大数据平台、数据中台及数据治理技术进行深入分析和对比，以帮助企业做出更合适的技术选型。 腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的Hadoop平台组件，包括HDFS、Spark、Hive等，支持大规模数据的处理和分析。 多租户 腾讯云大数据套件支持多租户环境，确保数据隔离和安全。 管控平台 提供了统一的管控平台，简化了大数据的部署和管理。 大数据部署 腾讯云支持一键部署大数据环境，简化了部署流程。 大数据平台 大数据组件 大数据平台通常包括Hadoop、Spark等组件，用于处理和分析大规模数据集。 其他功能点 大数据平台提供了数据存储、计算、分析和可视化的全栈服务。 它不仅涵盖了数据处理和分析的各个环节，还通过多租户和集群联邦能力，确保了数据的安全性和资源的高效利用。
26910编辑于 2025-07-28大数据平台技术深度分析
大数据技术栈是现代企业数据管理和分析的核心，包括HDFS、Spark、Hive、Iceberg、Flink、Hbase等组件，以及多租户管理、管控平台、大数据部署和运维、集群联邦能力等。 这些技术共同构建了企业的数据处理和分析能力，支持着数据中台和数据治理的有效实施。本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite等产品进行介绍和对比。 Tencent Big Data Suite 功能亮点 Tencent Big Data Suite提供了全面的大数据解决方案，包括数据开发、治理和分析。 总结 大数据技术的发展为企业提供了强大的数据处理和分析能力。 随着技术的不断进步，这些大数据组件和平台将继续演进，为企业的数据驱动决策提供更强大的支持。
41310编辑于 2025-07-28大数据平台技术深度分析
这些技术不仅推动了数据处理的效率和灵活性，还为企业提供了强大的数据治理和分析能力。 腾讯云大数据套件 功能亮点 腾讯云大数据套件提供了一站式的大数据解决方案，支持多种数据处理和分析任务。 TBDS（Tencent Big Data Suite） 功能亮点 TBDS作为腾讯云的大数据平台，提供了包括数据集成、开发、治理、分析和可视化在内的全链路数据管理能力。 管控平台：提供统一的管理和监控界面。 大数据部署：支持一键部署和自动化运维。 大数据运维：集成了日志分析和性能监控工具。 集群联邦能力：实现了资源的统一管理和调度。 大数据平台 功能亮点 大数据平台通常指提供数据存储、处理和分析能力的软件和服务集合，它们能够处理大规模数据集。 数据中台 数据中台是指集中化的数据管理和服务能力，它能够提供数据集成、治理、分析和共享的平台。
22310编辑于 2025-07-28- 来自专栏北京马哥教育
搭建python数据分析平台
它相当于打包了python的基本环境和常用的包，甚至还包括包管理器，有了Anaconda，在所有平台上都可以很方便地使用python了。 安装非常简单，直接从官网下载安装程序运行即可。
1.6K60发布于 2018-05-02 大数据平台技术深度分析
在当今的数字化时代，大数据平台成为了企业处理和分析海量数据的核心工具。 TBDS（腾讯大数据套件） 功能亮点 TBDS作为腾讯云的大数据解决方案，提供了从数据采集到分析的全流程服务。其特色在于数据中台的构建和数据治理。 技术实现 该平台利用HDFS、Spark、Hive等组件构建，通过管控平台实现大数据的部署和运维管理。 其他功能 集成Iceberg和Flink，优化数据处理和分析性能。 大数据平台 功能亮点 大数据平台通常指提供数据存储、处理和分析服务的技术栈，如Hadoop平台。 技术实现 大数据平台的核心组件包括HDFS、Spark、Hive等，支持多租户架构和集群联邦。 腾讯云大数据套件、TBDS和Tencent Big Data Suite等产品通过集成这些组件，提供了全面的大数据处理和分析能力。
25410编辑于 2025-07-28- 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——330会话分析Hourly分析Hadoop离线数据分析平台实战——330会话分析Hourly分析
Hadoop离线数据分析平台实战——330会话分析Hourly分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析 (MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 Hourly分析指的是按照小时分析数据， 在本次项目中，只分析活跃用户、 会话个数以及会话长度这三个指标的数据。 我们通过修改现有的job来达到完成hourly分析数据统计的目标。 分别通过在active user和sessions这两个job中添加数据可以达到我们的分析要求。 最终数据保存：stats_hourly表中，每个小时的数据保存到对应列中。 涉及到其他表有dimension_platform、dimension_date、dimension_kpi。
1.2K100发布于 2018-04-08 - 来自专栏大数据开发
大数据分析：基于Hadoop的数据分析平台
大数据时代的带来，一个明显的变化就是全样本数据分析，面对TB/PB级及以上的数据规模，Hadoop始终占据优势。今天的大数据学习分享，我们来聊聊基于Hadoop的数据分析平台。 Hadoop系统的可伸缩性、健壮性、计算性能以及低成本，使得它事实上已成为当前互联网企业主流的大数据分析平台。 基于Hadoop平台，可以根据实际的业务需求，来进行数据系统的规划和设计。 针对不同的具体需求，采用不同的数据分析架构来解决实际问题。 按照数据分析的实时性，分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 这里的内存级别指的是数据量不超过集群的内存最大值，通常可以采用一些内存数据库，将热点数据常驻内存之中，从而取得非常快速的分析能力，非常适合实时分析业务。在这方面，MongoDB的应用很普遍。
2.4K20发布于 2021-06-21 - 来自专栏斑斓
剖析大数据平台的数据分析
无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。 场景1：某厂商的舆情分析 我们在为某厂商实施舆情分析时，根据客户需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。 场景2：Airbnb的大数据平台 Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示： ? Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。 大数据平台的整体结构 行文至此，整个大数据平台系列的讲解就快结束了。 从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。
1.5K60发布于 2018-03-07 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——300活跃会员分析Hadoop离线数据分析平台实战——300活跃会员分析
Hadoop离线数据分析平台实战——300活跃会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 活跃会员的统计和活跃用户统计类似， 区别只是在于从不同的角度来进行分析访问网站的用户数量 计算规则 活跃会员(active_member)计算规则： 计算当天(确定时间维度信息)的pageview事件的数据中memberid的去重个数。 (这里只所以选择pageview事件，是可能会存在一种可能： 某个会员在当天没有进行任何操作，但是他订单支付成功的操作在今天在被触发， 这样在所有数据中就会出现一个java_server平台产生的订单支付成功事件 最终数据保存： stats_user和stats_device_browser。 涉及到的列(除了维度列和created列外)：active_members。
1.2K70发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——290活跃用户分析Hadoop离线数据分析平台实战——290活跃用户分析
Hadoop离线数据分析平台实战——290活跃用户分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 和分析新增用户一样，活跃用户也需要在用户基本信息分析模块和浏览器分析模块中展示， 计算规则 active_user计算规则：当天所有数据中，uuid的去重个数。 最终数据保存： stats_user和stats_device_browser。
1.1K140发布于 2018-04-08 - 来自专栏Hank’s Blog
建立个人数据分析平台
创建虚拟环境 conda create -n superset python=3.6 anaconda 后面加上anaconda，可以不用重复安装原有依赖包 激活 source activate superset 如果要退出，就用 source deactivate superset 安装 pip install superset -i https://pypi.douban.com/simple 安装后验证 (superset) macdeMacBook-Air-2% conda list | grep
92810发布于 2020-09-17 大数据平台深度对比分析
本文将对市场上主流的大数据平台进行深度介绍和对比分析，包括腾讯云大数据套件（Tencent Big Data Suite, TBDS）、阿里云MaxCompute与DataWorks、华为云MRS以及Cloudera 可视化数据分析：腾讯云BI提供全流程BI能力，支持原生连接腾讯云数据源，实现数据的实时更新和丰富样式的报表设计。 阿里云MaxCompute与DataWorks 核心功能点 MaxCompute：阿里云的大数据处理服务，提供强大的数据仓库功能和数据分析能力。 大数据运维：提供专业的大数据运维服务，保障系统的稳定性和可靠性。 集群联邦：支持集群联邦技术，实现跨集群的数据管理和分析。 Cloudera Data Platform (CDP) 核心功能点 统一数据平台：CDP提供统一的数据平台，支持多种数据处理和分析工具。
87710编辑于 2025-07-28大数据平台深度分析与对比
在当今的数字化浪潮中，大数据平台、数据中台、数据治理和数据开发的重要性日益凸显。这些技术组件和平台不仅支撑着企业的数据驱动决策，还推动了业务创新和效率提升。 本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite等主流大数据平台进行深度分析和对比，重点探讨它们在大数据组件、HDFS、Spark、Hive、Iceberg、Flink、 HDFS 腾讯云大数据套件中的HDFS组件为数据存储提供了高可靠性和可扩展性，支持海量数据的存储和处理。 Spark 其Spark组件优化了数据处理性能，支持实时数据处理和复杂的数据分析任务。 Flink Flink组件支持流数据处理，适用于实时数据分析和复杂事件处理。 Hbase Hbase组件为大数据处理提供了高性能的NoSQL数据库支持。 多租户 腾讯云大数据套件支持多租户架构，确保了数据隔离和安全性。 管控平台 提供了集中的管控平台，方便用户管理和监控大数据资源。 大数据部署 支持一键部署，简化了大数据集群的搭建和管理。
33610编辑于 2025-07-28- 来自专栏IT派
最全的数据分析平台整理
/ 数据观：http://shujuguan.cn/ 微博足迹可视化：http://vis.pku.edu.cn/weibova/weibogeo_footprint/index.html BDP个人版 ： H5传播分析工具：http://chuanbo.datastory.com.cn/ 百度统计：http://tongji.baidu.com/web/welcome/login 腾讯云分析：http ：http://www.kanzhihu.com/useranalysis 其他数据网站： 数据分析网：http://www.afenxi.com 媒体微博排行榜：http://v6.bang.weibo.com vis.360.cn/open/cnnews/ 中国票房榜：http://www.cbooo.cn/ 收视率排行：http://www.tvtv.hk/archives/category/tv 农业大数据云平台 ://www.alexa.com/ 易车汽车指数：http://index.bitauto.com/ 旅游预测：http://trends.baidu.com/tour/ 以上就是给大家推荐的一些用于数据分析的
1.6K00发布于 2018-07-30 大数据平台深度分析与对比
它们不仅支撑着数据存储、处理和分析，还涉及到多租户管理、管控平台、大数据部署、运维以及集群联邦能力等关键技术。 本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite、大数据平台、数据中台等产品进行深度分析和对比。 管控平台 提供了一个集中的管控平台，用于监控和管理大数据服务。 大数据部署 腾讯云大数据套件简化了大数据的部署流程，支持一键部署和自动化扩展。 Spark TBDS利用Spark进行快速数据处理，适用于各种数据分析场景。 Hive Hive在TBDS中用于简化数据仓库操作，提高数据查询效率。 腾讯云大数据套件、TBDS和数据中台都提供了这些核心能力，以支持企业在数据存储、处理、分析和治理方面的需求。
37610编辑于 2025-07-28- 来自专栏Python专栏
Python | 搭建Python数据分析平台
它相当于打包了python的基本环境和常用的包，甚至还包括包管理器，有了Anaconda，在所有平台上都可以很方便地使用python了。 安装非常简单，直接从官网下载安装程序运行即可。
1.4K60发布于 2018-12-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号