- 综合排序
- 最热优先
- 最新优先
- 来自专栏golang探索者
CentOS 7 下搭建ELK日志分析平台
CentOS 7 下搭建ELK日志分析平台 2018-6-18 一、系统配置 Centos7 1核4G（个人开发机搭来自己分析压测日志的，若是公司级的建议32核64G以上。 9300端口是集群通信用的，9200则是数据传输时用的。 如需要修改，可以编辑 /etc/elasticsearch/elasticsearch.yml 如果只是简单配置，没必要更改。
1.1K30发布于 2021-10-21 - 来自专栏测试开发干货
数据工厂平台-7:菜单和首页
平台一般都有自己的lOGO的。一个好的设计会让使用者增加印象，如果实在没有，你就用你们公司自己的产品公司LOGO~ 我这里随便找了个图片做为LOGO： 但是发现这里居然原来用的是.svg格式的。 现在回到我们的views.py中，给前端传递当前登录用户的总数据，这样之后我们之后就可以随意使用user. xxxx 了 效果如下： 好了，今天的内容到此结束。
58030编辑于 2022-05-19 - 来自专栏Man_Docker
centos7搭建superset数据平台
最后，建议大家再运行命令： pip install --upgrade pip 3.安装superset平台： 依赖包安装； yum upgrade python-setuptools yum install 将superset的元数据存储改成mysql，就需要这一步。 } } #=============== superset_config.py结束=============== 最后，安装 superset，在安装之前需要在mysql先创建superset的数据库 show variables like "%char%"; create database superset use superset --这里如果不设置数据库为utf8，在后面初始化数据库时会报 user]: admin Email [admin@fab.org]: admin@163.com Password: admin Repeat for confirmation: admin 初始化数据
1.5K30发布于 2020-05-28 - 来自专栏安恒信息
邮箱安全第7期 | 邮箱大数据分析平台与异常预警模型
上一期我们谈到通过WEB应用防火墙技术来防护邮箱系统自身的安全问题，由此解决了应用层防护不当导致的邮箱系统被黑客技术入侵的问题，本期我们介绍针对邮箱系统整体大数据审计分析平台的架构部署平台的技术架构以及邮件内容的异常分析 02 邮箱大数据分析技术能力 建立安全大数据分析中心，并实现对采集引擎的状态监控和采集数据的审核、标准化、管理补齐、数据标签和集中式存储。 建立的态势与预警平台，实现对安全数据中心内存储的数据的分析应用，多维大数据关联分析，实现邮箱安全的要素分析以及异常行为快速发现的能力，并累计本地威胁情报。 03 邮箱大数据平台基础架构 ? 图：邮箱系统大数据分析平台架构 采用组件式平台架构，实现了逻辑架构的分层，具体包括：数据源层、数据采集层、业务层和应用层。 大数据分析平台：基于数据中心的上层数据分析应用，提供业务安全和网络安全分析引擎，从海量数据中挖掘和量化‘安全风险事件以及系统安全特征和指标。
1.5K100发布于 2018-04-10 - 来自专栏大数据开发
大数据平台搭建：基于Hadoop的数据分析平台
15.jpg 企业要进行大规模的数据分析，基于开源的Hadoop及其生态圈来搭建起大数据系统平台，无疑是一种低成本高效率的选择。 Hadoop系统的可伸缩性、健壮性、计算性能以及低成本，使得它事实上已成为当前互联网企业主流的大数据分析平台解决方案。 基于Hadoop，可以根据企业实际的业务需求，来进行数据系统的规划和设计。 针对不同的具体需求，采用不同的数据分析架构和框架组件来解决实际问题。 大数据分析平台需求规划 按照数据分析的时效性需求，大数据分析可分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，可采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 9.jpg 关于大数据平台搭建，基于Hadoop的数据分析平台，以上就是今天的分享内容了。
2.4K1410发布于 2020-10-10 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——320会话分析Hadoop离线数据分析平台实战——320会话分析
Hadoop离线数据分析平台实战——320会话分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 会话分析主要同时计算会话个数和会话长度， 主要应用在用户基本信息分析模块和浏览器信息分析模块这两部分 (注意：处理的数据为所有事件产生的数据) 最终数据保存：stats_user和stats_device_browser。
1.2K70发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——410事件分析Hadoop离线数据分析平台实战——410事件分析
Hadoop离线数据分析平台实战——410事件分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 事件分析我们主要只是分析事件的触发次数， 通过查看事件的触发次数我们可以得到事件转换率或者用户会此类事件的兴趣所在之处以及不喜之处 最终数据保存：stats_event。涉及到所有列。 涉及到其他表有dimension_platform、dimension_date、dimension_event。
1.3K80发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——420订单分析Hadoop离线数据分析平台实战——420订单分析
Hadoop离线数据分析平台实战——420订单分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完成 地域信息分析(MR) 完成 外链信息分析(MR) 完成 用户浏览深度分析(Hive) 完成 订单分析(Hive) 未完成 事件分析(Hive) 完成 模块介绍 订单分析分别分析订单的数量和订单的金额， 以及将订单分为总订单、 支付成功订单以及退款订单三种类型的数据 ， 通过这六个分析指标的数据我们可以指定网站的订单情况。 也就是说分别统计订单数量和订单金额，而不是使用一张hive表同时保存多个指标的数据， 而是采用多个表分别保存不同指标的数据或者采用一张表非同时的保存多个指标的数据。 实现自定义udf&自定义函数创建 b. hive+sqoop脚本 成功支付订单数量&金额&总金额的hive&sqoop分析 a. 订单数据保存mysql b.
1.4K60发布于 2018-04-08 - 来自专栏运维技术迷
CentOS7搭建ELK日志集中分析平台
以往运维人员在分析日志的时候，相信大家用的最多的方法就是逐个登陆到服务器上面使用sed和awk工具分析，或者撸一个shell脚本或者Python脚本来分析日志。但是此方法不单不直观，而且效率很低。 ---- ELK介绍 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES（或者单机）集群中查询数据生成图表，再返回给Browser。 ELK平台搭建 一般ELK平台分为集群和单机，由于手头机器资源部够，所以本篇文章中以单机搭建为例。
1.7K80发布于 2018-03-26 大数据平台技术深度分析
大数据时代，企业对于数据的处理、存储和分析需求日益增长。本文将对当前主流的大数据平台、数据中台及数据治理技术进行深入分析和对比，以帮助企业做出更合适的技术选型。 腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的Hadoop平台组件，包括HDFS、Spark、Hive等，支持大规模数据的处理和分析。 多租户 腾讯云大数据套件支持多租户环境，确保数据隔离和安全。 管控平台 提供了统一的管控平台，简化了大数据的部署和管理。 大数据部署 腾讯云支持一键部署大数据环境，简化了部署流程。 大数据平台 大数据组件 大数据平台通常包括Hadoop、Spark等组件，用于处理和分析大规模数据集。 其他功能点 大数据平台提供了数据存储、计算、分析和可视化的全栈服务。 它不仅涵盖了数据处理和分析的各个环节，还通过多租户和集群联邦能力，确保了数据的安全性和资源的高效利用。
27010编辑于 2025-07-28大数据平台技术深度分析
这些技术不仅推动了数据处理的效率和灵活性，还为企业提供了强大的数据治理和分析能力。 腾讯云大数据套件 功能亮点 腾讯云大数据套件提供了一站式的大数据解决方案，支持多种数据处理和分析任务。 TBDS（Tencent Big Data Suite） 功能亮点 TBDS作为腾讯云的大数据平台，提供了包括数据集成、开发、治理、分析和可视化在内的全链路数据管理能力。 管控平台：提供统一的管理和监控界面。 大数据部署：支持一键部署和自动化运维。 大数据运维：集成了日志分析和性能监控工具。 集群联邦能力：实现了资源的统一管理和调度。 大数据平台 功能亮点 大数据平台通常指提供数据存储、处理和分析能力的软件和服务集合，它们能够处理大规模数据集。 数据中台 数据中台是指集中化的数据管理和服务能力，它能够提供数据集成、治理、分析和共享的平台。
22810编辑于 2025-07-28大数据平台技术深度分析
大数据技术栈是现代企业数据管理和分析的核心，包括HDFS、Spark、Hive、Iceberg、Flink、Hbase等组件，以及多租户管理、管控平台、大数据部署和运维、集群联邦能力等。 这些技术共同构建了企业的数据处理和分析能力，支持着数据中台和数据治理的有效实施。本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite等产品进行介绍和对比。 Tencent Big Data Suite 功能亮点 Tencent Big Data Suite提供了全面的大数据解决方案，包括数据开发、治理和分析。 总结 大数据技术的发展为企业提供了强大的数据处理和分析能力。 随着技术的不断进步，这些大数据组件和平台将继续演进，为企业的数据驱动决策提供更强大的支持。
42610编辑于 2025-07-28- 来自专栏北京马哥教育
搭建python数据分析平台
它相当于打包了python的基本环境和常用的包，甚至还包括包管理器，有了Anaconda，在所有平台上都可以很方便地使用python了。 安装非常简单，直接从官网下载安装程序运行即可。
1.6K60发布于 2018-05-02 大数据平台技术深度分析
在当今的数字化时代，大数据平台成为了企业处理和分析海量数据的核心工具。 TBDS（腾讯大数据套件） 功能亮点 TBDS作为腾讯云的大数据解决方案，提供了从数据采集到分析的全流程服务。其特色在于数据中台的构建和数据治理。 技术实现 该平台利用HDFS、Spark、Hive等组件构建，通过管控平台实现大数据的部署和运维管理。 其他功能 集成Iceberg和Flink，优化数据处理和分析性能。 大数据平台 功能亮点 大数据平台通常指提供数据存储、处理和分析服务的技术栈，如Hadoop平台。 技术实现 大数据平台的核心组件包括HDFS、Spark、Hive等，支持多租户架构和集群联邦。 腾讯云大数据套件、TBDS和Tencent Big Data Suite等产品通过集成这些组件，提供了全面的大数据处理和分析能力。
25910编辑于 2025-07-28- 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——330会话分析Hourly分析Hadoop离线数据分析平台实战——330会话分析Hourly分析
Hadoop离线数据分析平台实战——330会话分析Hourly分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析 (MR) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 Hourly分析指的是按照小时分析数据， 在本次项目中，只分析活跃用户、 会话个数以及会话长度这三个指标的数据。 我们通过修改现有的job来达到完成hourly分析数据统计的目标。 分别通过在active user和sessions这两个job中添加数据可以达到我们的分析要求。 最终数据保存：stats_hourly表中，每个小时的数据保存到对应列中。 涉及到其他表有dimension_platform、dimension_date、dimension_kpi。
1.2K100发布于 2018-04-08 - 来自专栏大数据开发
大数据分析：基于Hadoop的数据分析平台
大数据时代的带来，一个明显的变化就是全样本数据分析，面对TB/PB级及以上的数据规模，Hadoop始终占据优势。今天的大数据学习分享，我们来聊聊基于Hadoop的数据分析平台。 Hadoop系统的可伸缩性、健壮性、计算性能以及低成本，使得它事实上已成为当前互联网企业主流的大数据分析平台。 基于Hadoop平台，可以根据实际的业务需求，来进行数据系统的规划和设计。 针对不同的具体需求，采用不同的数据分析架构来解决实际问题。 按照数据分析的实时性，分为实时数据分析和离线数据分析两种。 对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。 这里的内存级别指的是数据量不超过集群的内存最大值，通常可以采用一些内存数据库，将热点数据常驻内存之中，从而取得非常快速的分析能力，非常适合实时分析业务。在这方面，MongoDB的应用很普遍。
2.4K20发布于 2021-06-21 - 来自专栏斑斓
剖析大数据平台的数据分析
无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。 场景1：某厂商的舆情分析 我们在为某厂商实施舆情分析时，根据客户需求，与数据处理有关的部分就包括：语义分析、全文本搜索与统计分析。 场景2：Airbnb的大数据平台 Airbnb的大数据平台也根据业务场景提供了多种处理方式，整个平台的架构如下图所示： ? Spark集群则为Airbnb的工程师与数据科学家提供机器学习与流处理的平台。 大数据平台的整体结构 行文至此，整个大数据平台系列的讲解就快结束了。 从左到右，经历数据源、数据采集、数据存储和数据处理四个相对完整的阶段，可供大数据平台的整体参考。
1.5K60发布于 2018-03-07 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——300活跃会员分析Hadoop离线数据分析平台实战——300活跃会员分析
Hadoop离线数据分析平台实战——300活跃会员分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 活跃会员的统计和活跃用户统计类似， 区别只是在于从不同的角度来进行分析访问网站的用户数量 计算规则 活跃会员(active_member)计算规则： 计算当天(确定时间维度信息)的pageview事件的数据中memberid的去重个数。 (这里只所以选择pageview事件，是可能会存在一种可能： 某个会员在当天没有进行任何操作，但是他订单支付成功的操作在今天在被触发， 这样在所有数据中就会出现一个java_server平台产生的订单支付成功事件 最终数据保存： stats_user和stats_device_browser。 涉及到的列(除了维度列和created列外)：active_members。
1.2K70发布于 2018-04-08 - 来自专栏Albert陈凯
Hadoop离线数据分析平台实战——290活跃用户分析Hadoop离线数据分析平台实战——290活跃用户分析
Hadoop离线数据分析平台实战——290活跃用户分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR) 未完成 地域信息分析(MR) 未完成 外链信息分析(MR ) 未完成 用户浏览深度分析(Hive) 未完成 订单分析(Hive) 未完成 事件分析(Hive) 未完成 模块介绍 和分析新增用户一样，活跃用户也需要在用户基本信息分析模块和浏览器分析模块中展示， 计算规则 active_user计算规则：当天所有数据中，uuid的去重个数。 最终数据保存： stats_user和stats_device_browser。
1.1K140发布于 2018-04-08 - 来自专栏数据分析师小熊
数据分析7大能力：梳理数据需求
今天分享数据分析师必备的工作能力——需求梳理。需求梳理很不起眼，甚至很多小伙伴感受不到他的存在。但它结结实实影响到大家的下班时间和绩效。 一、什么是数据需求？ 顾名思义，数据需求，就是业务部门对数据分析产出的需求。有小伙会说：这还有需求呀，我们公司都是一通电话：“歪！给我个XX数据，快！”就完事了，根本不存在啥需求。 确实有这种无脑公司。 管得了期望时间，才好体现数据分析的业绩。 如是临时发明的，需说清楚指标的计算公式 分类维度：按XXX维度区分数据。 思路清晰的业务部门，自然不用多说。碰到思路混乱的，可以这么引导 你要分析的是人？货？还是场？ 八、小结 满足了5w的，就是一个完整的数据分析需求了。梳理数据分析需求，不但能减少重复工作，更可以为数据分析师发现项目机会，提高BI使用率，体现工作业绩打下坚实的基础。至于具体如何做，下篇再分享。
1.3K21编辑于 2022-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号