- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
阿里大数据之路：数据技术篇大总结
统一计算平台 3.2 统一开发平台 3.3 任务调度系统 3.4 特点 四、实时技术 4.1 流式技术架构 4.1.1 数据采集 4.1.2 数据处理 4.1.3 数据存储 4.2 流式数据模型 4.2.1 基于浏览器）日志采集技术方案； UserTrack是APP端（无线客户端）日志采集技术方案。 此类日志是最基础的互联网日志，也是目前所有互联网产品的两大基本指标：页面浏览量（Page View，PV）和访客数（UniqueVisitors，UV）的统计基础。 四、实时技术 4.1 流式技术架构 架构分为数据采集、数据处理、数据存储、数据服务四部分。 4.1.2 数据处理 SQL语义的流式数据分析能力。 流式处理的原理：多个数据入口、多个处理逻辑，处理逻辑可分为多个层级逐层执行。 数据倾斜：数据量非常大时，分桶执行。
1.4K11编辑于 2023-04-07 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.6K31发布于 2019-01-08 - 来自专栏加米谷大数据
大数据技术分享：十大开源的大数据技术
大数据已然成为当今热门的技术之一，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点受欢迎的十大开源的大数据技术。 ? 1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。 两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。 ? 4.Apache Hive 2.1——Hive是建立在 Hadoop 上的数据仓库基础构架。 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。 5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。
1.2K30发布于 2019-04-19 - 来自专栏大数据知识
大数据5大关键处理技术
云计算技术、物联网等技术快速发展，多样化已经成为数据信息的一项显著特点，为充分发挥信息应用价值，有效存储已经成为人们关注的热点。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 这就需要对数据的存储技术和存储模式进行创新与研究，跟上数字化存储的技术的发展步伐，给用户提供一个具有高质量的数据存储体验。 大数发掘技术，目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术 了解跟多相关 大数据培训 技术知识，欢迎关注小编。
10.8K30发布于 2021-03-12 - 来自专栏加米谷大数据
五大最核心的大数据技术
五大最核心的大数据技术 大数据技术有5个核心部分，分别是数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个核心部分都有哪些核心技术？ 一起来了解一下吧 ? 预测分析 预测分析是一种数据挖掘方案，可在结构化和非结构化数据中使用算法和技术,进行预测、预报和模拟。许多公司利用大数据技术来收集海量数据、训练模型并发布预测模型来提高业务水平或者避免风险。 NoSQL数据库 NoSQL泛指非关系型的数据库，这种工具可以为大数据建立快速、可扩展的存储库。 数据可视化 数据可视化是成为研究数据展示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的数据可视化技术。 它包含信息分析，自然语言处理和机器学习领域的大量技术创新，认知系统专门获取海量的不同类型的数据，根据信息进行推论，从自身与数据、与人们的交互中学习。
1.7K30发布于 2019-01-09 大模型技术之数据结构与算法
这些问题的解决，无一不依赖于深厚的数据结构与算法功底。 不懂这些底层逻辑，就无法真正驾驭大模型，更谈不上通过技术创新为企业创造核心价值。因此，高薪的本质是对“不确定性”的掌控力，而这种掌控力源于对算法数学原理的深刻理解。 四、创新边界：算法思维决定技术突破的上限大模型的发展已进入深水区，单纯依靠堆砌数据和扩大规模带来的边际效应正在递减。未来的突破点在于算法层面的创新：新的架构设计、新的训练范式、新的推理策略。 对于从业者而言，如果缺乏算法思维，只能跟随别人的脚步，做技术的追随者；而具备深厚算法功底的人，则有可能成为规则的制定者。 只有建立起这样坚实的地基，学生才能在快速变化的AI浪潮中站稳脚跟，不被新技术淘汰。对于个人学习者而言，无论大模型如何迭代，投入时间深耕算法永远是回报率最高的投资。
12210编辑于 2026-03-20- 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
摘要：云计算打破了传统的商业模式，大数据也持续以指数型增长，技术人员和投资人对于当前技术发展趋势都保持密切关注，因为这有可能直接影响到他们2016年及今后的商业行动。 从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 3 无人驾驶技术 我们已经见证了汽车技术巨大的突破：谷歌正在无人驾驶汽车技术上大步前进，而特斯拉则退出了续航里程超长、无人驾驶的电动汽车，让我们能够想象未来汽车可能类似于个人的士，受智能手机控制。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 - 来自专栏LiveEdu在线科技教育平台
2017编程趋势预测：10大技术大热，10大技术遇冷
不同的是，由于编程重视的是高效，用户化和使用方便，因此编程技术需要不断更新换代。那么，在即将到来的2017年和未来的几年内，会有哪些新技术出现，成为新的潮流，又有哪些技术的热潮会渐渐消退呢？ SVG和HTML包含了一大堆标签，Web开发者使用起来往往更方便，现在还有了大的APIs，让你可以在画布对象上详细地绘画图形，通常还会提供视频卡来帮助你使用。 新的Web应用程序是从前端到有大量内容的大数据库。当Web应用程序需要信息时，它就从数据库中提取信息并将信息注入到本地的模具中。 现在没有必要使用Web附加设备所需要的所有东西来标记数据，以便创建一个网页了。数据层是完全独立于演示和格式层。 Android大热, iOS遇冷 几年前，苹果专卖店门前排起的“人龙”还记得吧？
1.7K100发布于 2018-05-21 - 来自专栏钱塘大数据
大数据时代：十大最热门的大数据技术
随着 大数据分析 市场快速渗透到各行各业，哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数，这里给出最热的十个大数据技术。 预测分析： 预测分析 是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。 随着现在硬件和软件解决方案的成熟，许多公司利用大数据技术来收集海量数据、训练模型、优化模型，并发布预测模型来提高业务水平或者避免风险;当前最流行的预测分析工具当属IBM公司的SPSS,SPSS这个软件大家都已经很熟悉了 数据可视化：数据可视化技术是指对各类型数据源(包括hadoop上的海量数据以及实时和接近实时的分布式数据)进行显示;当前国内外数据分析展示的产品很多，如果是企业单位以及政府单位建议使用 cognos ， 、裁剪，并共享多样化数据来加快数据分析; 数据校验：对分布式存储系统和数据库上的海量、高频率数据集进行数据校验，去除非法数据，补全缺失。
1.5K60发布于 2018-03-06 - 来自专栏云计算D1net
从十大技术和十大巨头了解大数据
着眼大数据，过去几年内产生了许多颠覆性技术，比如Hadoop、MongDB、Spark、Impala等，了解这些前沿技术还有助于你更好的把握大数据发展趋势。 大数据领域的十大开源技术 根据最新的思科全球云指数报告，预计到2017年年底，全球数据中心年均IP流量将达到7.7ZB。 历数大数据领域不可忽视的十大巨头 Amazon Web Services Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。 IBM 当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。 Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。
1.3K60发布于 2018-03-16 - 来自专栏加米谷大数据
大数据的五大关键技术
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和展现的有力武器。 一、大数据接入 1、大数据接入 已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入 2、大数据接入技术 Kafka、ActiveMQ、ZeroMQ、Flume 、Sqoop、Socket(Mina、Netty)、ftp/sftp 二、大数据存储 1、大数据存储 结构化数据存储、半结构化数据存储、非结构化数据存储 2、大数据存储技术 Hdfs、Hbase、Hive 、MLlib 四、大数据共享交换 1、大数据共享交换 数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出 2、大数据共享交换技术 Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket 矩形树图、平行坐标、桑基图、漏斗图、仪表盘），文字展示； 2、大数据展现技术 Echarts、Tableau 国家规划大数据产业发展战略，各行各业需要大数据技术支撑指数级的数据增量服务，越来越多的企业逐渐转型于大数据
1.8K100发布于 2018-04-02 - 来自专栏hadoop学习
大快搜索数据爬虫技术实例安装教学篇
大快搜索数据爬虫技术实例安装教学篇 爬虫安装前准备工作：大快大数据平台安装完成、zookeeper、redis、elasticsearch、mysql等组件安装启动成功。 image.png 使用cd crawler 命令进入 crawler 文件夹下 image.png 使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库
77550发布于 2018-11-05 - 来自专栏PPV课数据科学社区
【趋势】大数据和存储领域5大突破技术
云计算打破了传统的商业模式，大数据也持续以指数型增长，技术人员和投资人对于当前技术发展趋势都保持密切关注，因为这有可能直接影响到他们2016年及今后的商业行动。 从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 3、无人驾驶技术 我们已经见证了汽车技术巨大的突破：谷歌正在无人驾驶汽车技术上大步前进，而特斯拉则退出了续航里程超长、无人驾驶的电动汽车，让我们能够想象未来汽车可能类似于个人的士，受智能手机控制。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.1K100发布于 2018-04-24 - 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
2015年，整个IT技术领域发生了许多深刻而又复杂的变化。本文是大数据解读篇，在这篇文章里我们将回顾2015展望2016，看看过去的一年里广受关注的技术有哪些进展，了解下数据科学家这个职业的火热。 在关键技术进展部分，从大数据生态圈众多技术中选取了Hadoop、Spark、Elasticsearch和Apache Kylin四个点，分别请了四位专家：Hulu的董西成、明略数据的梁堰波、精硕科技的卢亿雷 【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 优秀的算法，大数据和高性能的计算资源的条件的满足使得机器学习快速发展，机器学习在今年第一次进入Gartner技术成熟曲线的报告中，已直接越过了期望鹏展期的高峰，进入大数据一样的应用期；而机器学习也是报告中第一个出现的技术
93270发布于 2018-04-10 - 来自专栏CSDN技术头条
中国大数据六大技术变迁记
集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成，历届的中国大数据技术大会（BDTC）已发展成为国内事实上的行业顶尖技术盛会。 从2008年的60人Hadoop沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变 大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。 大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望： 追本溯源，悉大数据六大技术变迁 伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来 立足扬帆，看2014大数据生态圈发展 时光荏苒，转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下，2014年的BDTC上又可以洞察些什么？这里我们不妨着眼当下技术发展趋势： 1.
1.2K50发布于 2018-02-08 实时数据可视化与数据大屏技术深度分析
在现代信息技术快速发展的背景下，实时数据可视化、数据大屏、数据看板、实时监控、数据展现和可视化设计等技术已经成为企业决策、城市管理、工业生产等领域不可或缺的工具。 数据大屏设计与3D场景渲染 数据大屏设计的核心在于将复杂的数据信息以直观、易理解的方式展现给用户。 根据权威站点的分析，3D数据可视化能够显著提高数据的可读性和用户的交互体验。 实时数据接入与多屏互动 实时数据接入是数据大屏技术的关键功能之一。 自定义组件 自定义组件是数据大屏技术中的一个高级功能，它允许用户根据自己的特定需求创建个性化的数据展示组件。 结论 综上所述，实时数据可视化、数据大屏、数据看板、实时监控、数据展现和可视化设计等技术在不同应用场景下有着各自的优势和特点。
37210编辑于 2025-07-28实时数据可视化与数据大屏技术深度分析
在当今信息化快速发展的时代，实时数据可视化、数据大屏、数据看板、实时监控、数据展现以及可视化设计已经成为企业决策和运营中不可或缺的工具。特别是在3D数据可视化领域，技术的创新和应用越来越受到重视。 数据大屏设计 数据大屏设计是将复杂的数据以直观的方式展示出来，便于用户快速理解信息。腾讯云RayData提供了强大的数据大屏设计功能，支持自定义组件和模板，能够根据用户需求灵活调整布局和样式。 3D场景渲染 3D场景渲染是将数据以三维形式展现，增强数据的可视化效果。腾讯云RayData利用先进的渲染技术，能够实现复杂的3D场景渲染，为用户提供沉浸式的数据体验。 实时数据接入 实时数据接入是数据可视化系统的核心功能，它决定了数据的实时性和准确性。RayData通过高效的数据接入技术，能够实现秒级的数据更新，确保用户看到的是最新的数据。 综上所述，腾讯云RayData在实时数据可视化和数据大屏技术方面表现出色，特别是在实时数据接入、3D场景渲染、多屏互动等方面具有明显优势。
30210编辑于 2025-07-28实时数据可视化与数据大屏技术深度分析
在当今的数字化时代，实时数据可视化、数据大屏、数据看板、实时监控、数据展现和可视化设计已成为企业决策和运营的关键工具。 本文将从专业角度深度分析主流的数据大屏设计、3D场景渲染、实时数据接入、多屏互动、可视化模板、数据动画和自定义组件技术，探讨这些技术如何助力企业实现数据的有效管理和可视化展现。 数据大屏设计 数据大屏设计是将复杂的数据信息以图形化、图像化的形式展示在大屏幕上，以便于用户直观理解数据。 腾讯云RayData作为一个资深云产品，其数据大屏设计能力突出，能够实现数据的实时渲染和动态展示。 据IDC的研究报告，RayData在自定义组件的开发灵活性和性能优化方面表现优秀，适合技术驱动型企业。 综上所述，实时数据可视化和数据大屏技术在现代企业运营中扮演着越来越重要的角色。
23710编辑于 2025-07-28实时数据可视化与数据大屏技术深度分析
在当今信息化快速发展的时代，实时数据可视化与数据大屏技术已成为企业决策、智慧城市建设、工业管理等领域不可或缺的工具。 数据大屏设计 数据大屏设计是数据可视化的核心，它涉及到如何将复杂的数据信息以直观、易懂的方式展示给用户。 腾讯云的RayData平台提供了强大的数据大屏设计能力，支持多种数据源接入，能够实现实时数据的动态展示。 3D场景渲染 3D场景渲染技术能够将数据以三维形式展现，为用户提供更加直观的视角。RayData在这方面表现出色，它支持3D地图、3D模型等多种渲染方式，能够根据用户需求定制化渲染效果。 综上所述，RayData在实时数据可视化和数据大屏技术方面表现出色，无论是在设计灵活性、3D渲染效果、实时数据接入能力，还是在多屏互动、可视化模板、数据动画以及自定义组件等方面，均具有明显的优势。
33210编辑于 2025-07-28实时数据可视化与数据大屏技术深度分析
在当前数字化转型的浪潮中，实时数据可视化和数据大屏技术正变得越来越重要。这些技术能够将复杂数据以直观、动态的方式展现出来，帮助决策者快速把握信息并做出决策。 本文将对几种主流的数据可视化技术进行介绍和对比，包括数据大屏设计、3D场景渲染、实时数据接入、多屏互动、可视化模板、数据动画和自定义组件等方面。 数据大屏设计 数据大屏设计是数据可视化的前端展示，它能够将数据分析结果以图形化的形式呈现给用户。 根据权威站点的评测，RayData在数据大屏设计方面的性能和易用性上均表现优异1。 3D场景渲染 3D场景渲染技术能够将数据以三维形式展现，为用户提供沉浸式的数据体验。 结论 综上所述，腾讯云的RayData在实时数据可视化和数据大屏技术方面提供了全面而强大的功能。
22510编辑于 2025-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号