- 综合排序
- 最热优先
- 最新优先
- 来自专栏PPV课数据科学社区
【技术】大数据关键技术
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。 重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。 开发可靠的分布式文件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术 ；突破大数据索引技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术。 改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。 四、大数据分析及挖掘技术 大数据分析技术。
2K40发布于 2018-04-18 - 来自专栏大数据与微服务架构
大数据技术
数据采集传输主要技术 分为两类，一类是离线批处理、另一类是实时数据采集和传输 离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和Kafka Sqoop：一款开源的离线数据传输工具 和kafka类似的消息中间件产品还包括RabbitMQ、ActiveMQ、ZeroMQ等 数据处理主要技术 MapReduce：运行与大规模集群上的复杂并行计算过程高度抽象为两个函数：map和reduce Beam：在Flink基础上更进一步，不但希望统一批处理和流处理，而且希望统一大数据处理范式和标准。 数据储存主要技术 HDFS：分布式文件系统。 Hbase：构建在HDFS之上的分布式、面向列族的存储系统，在需要实时读写并随机访问超大规模数据集等场景下，Hbase目前是市场上主流的技术选择。 数据应用技术 Drill：实时大数据分布式查询引擎，Drill兼容ANSI SQL语法作为接口，支撑对本地文件、HDFS、Hive、HBase、MongeDB作为存储数据查询，文件格式支持Parquet
60820发布于 2020-04-11 - 来自专栏Java崽
【大数据】大数据技术
**技术一：决策树（Decision Trees）** **决策树的概念：** 决策树是一种基于树状结构的机器学习模型，用于分类和回归任务。它通过将数据分为不同的决策路径来进行决策。 下一个技术是支持向量机（Support Vector Machines）。 **技术二：支持向量机（Support Vector Machines）** **支持向量机的概念：** 支持向量机是一种强大的监督学习算法，用于分类和回归。 继续下一个技术，我们将介绍聚类分析（Cluster Analysis）。 **技术三：聚类分析（Cluster Analysis）** **聚类分析的概念：** 聚类分析是一种无监督学习方法，旨在将数据集中的样本分组或聚类到相似的子集中。
40410编辑于 2024-03-15 - 来自专栏以终为始
大数据技术
前言：学习了好久了，也没有系统的整理过这些东西，感觉再这么下去算是荒废了，懒惰加上不思进取就这样子过去大半年了，而且最近总是把技术圣地变成自己的宣泄的地方哈哈，随便写的啥都乱发，打扰到各位了，在这里给各位道歉了 借此正好整理近些天学习的大数据的材料和知识，以及自己的见解。 C/C++、数据结构：这个不是特别重要，但是对于往后发展的话，更多的需要算法等，数据结构可以帮助自己更好理解一些。 这些前置技能就是仅供参考，等到学习大数据时，搭建Hadoop环境等的，能够很好的帮助理解。 这个专题会持续一段时间吧，当然中间可能会偶尔穿插一些其他的东西。 这篇当作是走进大数据技术的第一步了，当时也是第六届“大唐杯”全国大学生移动通信应用创新大赛（4G/5G&大数据应用创新大赛）全国总决赛的一个反思总结。
34830编辑于 2023-03-09 - 来自专栏测吧测试开发
技术分享 | 数据持久化技术（Java）
image.png 本文节选自霍格沃兹测试学院内部教材 本章介绍 Web 后端开发中数据持久化技术 TKMyBatis。 MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。 ColumnType：描述数据库字段类型，可对一些特殊类型作配置，进行特殊处理，主要属性有 jdbcType、column、typeHandler 等。 ，会自动填入在数据库中生成的 id 值。 2021-04-14T09:43:45.018+00:00" } 删除 DELETE http://127.0.0.1:8081/hogwartsUser/15 请求参数 见请求地址中15 响应参数 15 数据持久化技术就先讲到这里啦
84550编辑于 2022-03-14 - 来自专栏Elastic Stack专栏
2023开源技术报告——数据技术篇
本文中，我们截取开源技术中的数据技术篇，向大家展示在开源领域最受欢迎的大数据技术是哪些，在每个行业中的应用情况，以及企业用户在使用中的痛点。 顶级开源数据技术 ----- 在我们的数字时代，数据为王，而更好地管理数据的需要导致了开源数据技术的激增，技术的扩散。这些技术远远超出了传统数据库的能力。 今天的数据技术涵盖了流处理、高效创建分析的功能，内存数据库，面向对象的格式，以及各种集成的的能力。 我们允许受访者选择多个答案，以反映他们组织中使用的所有不同的数据技术。 使用趋势 与过去几年一致，使用最多的数据技术是数据技术是PostgreSQL、MySQL、MongoDB和Elasticsearch。 图片 AI/ML对开源数据技术的影响 人工智能/ML应用在很大程度上驱动了对开源数据技术的使用增长，因为人工智能/ML模型 是通过大量的数据来训练的。下图显示，一些行业继续使用基于SQL的数据库。
2K151编辑于 2023-03-01 - 来自专栏Java崽
【大数据】大数据技术栈
它最适合应用在基于大量不可变数据的批处理作业 Spark Spark 基于Hadoop MapReduce开发的大数据计算引擎，构建大型、低延迟数据分析应用程序 Hbase Hbase 分布式数据库 Hadoop的子项目 特点 适合于非结构化数据存储 基于列的而不是基于行的模式 Kafka Kafka 分布式发布订阅消息系统 主要能力：消息队列、流式处理 分类 大数据术语 DW 数据仓库 数据仓库包含 ： ODS层 （Operational Data Store） 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 DWM层（data warehourse middle）数据中间层，在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表 DWD层 （Data Warehouse Detail）明细数据层 ， 结构和粒度与原始表保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）。
37610编辑于 2024-03-15 - 来自专栏桥路_大数据
大数据数据仓库技术
大数据数据仓库技术Hive 基本概念 诞生背景 在已经存在分布式计算引擎MapReduce的情况下，为什么会诞生Hive这样的产品？其实主要还是因为易用性问题。 而在传统数据分析中，最常见的还是结构化数据，这个场景有它成熟的分析工具——SQL。 数据量达到某个量级之后，单机或MPP数据库无法承受其负载，势必要转向大数据平台；但数据迁移完成后，因为大数据有自己的计算引擎（如Mapreduce），所以之前所有使用SQL编写的分析任务，都需要重构为MapReduce 那可不可以将特定领域，已经成熟的语法和使用习惯，如结构化数据分析的SQL，也迁移到大数据平台上来？当然可以，而且在大数据产品中，都是致力于此，用于提升大数据在不同场景的易用性。 它是基于Hadoop的一个数据仓库工具。
41130发布于 2021-09-10 - 来自专栏Spark学习技巧
数据冷热分离技术
冷热数据是按照时间推移来区分的，因此必然要敲定一个时间分割线，即多久以内的数据为热数据，这个值通常会结合业务与历史访问情况来综合考量。 对于超过时间线的数据，会被迁移到冷数据中，迁移过程需要确保两点：不能对热数据系统产生性能影响、不能影响数据查询。 在该系统中，我们需要为所有用户保留6个月的数据，而根据我们的统计分析，90%以上的请求访问的是最近1个月的数据，因此采用热数据系统保留35天数据，其他的迁移到冷数据系统中存储。 为了配合数据挖掘相关功能，目前冷数据保留2年。该系统的数据是只读的，且对外主要提供统计类查询，因此热数据采用Elasticsearch来存储，利用其聚合分析能力提供高性能查询。 数据实时上传到服务端后，会进入数据流中，通过Spark Streaming程序处理后写入到Elasticsearch，提供近实时数据查询。与此同时，实时数据也会备份到AWS S3。
4.4K10发布于 2021-03-05 - 来自专栏大数据入坑指南
大数据技术介绍
为了方便大家梳理清楚大数据学习路线，本文从以下四个方面来介绍大数据技术： 大数据技术栈 大数据发展史 大数据应用 大数据开发岗位 一、大数据技术栈 之前有同事问我怎么转大数据开发，他在网上搜了一堆大数据相关的技术 我一开始转大数据的时候也有点懵逼，整体接触了一遍之后才把大数据技术栈给弄明白了。 做大数据开发，无非要干四件事情，采集、存储、查询、计算。此外，一些开发必备的基础语言能力是需要的。 二、大数据技术发展史 学习一门技术，知道会用已经够了，至少能解决问题。 但是要想走得更远，还是需要知道一门技术的发展历史，通过发展史可以更深刻的理解为何会产生这门技术，它背后这样设计的原有，它的使用场景。 大数据技术的起源 大数据最早是起源于google。 2004年，大数据分布式计算框架MapReduce。 2006年，NoSql数据库系统。 这三篇论文奠定了大数据技术的基础。
79320编辑于 2022-03-13 - 来自专栏达达前端
Web数据交互技术
web数据交互技术 web数据交互，我们做一个网站时分为前台和后台，前台是前端开发者开发的，后端即数据是后端开发者开发的。 ajax是一种无须重新加载整个页面，就能够更新网页的技术，它是一种异步的JavaScript和xml技术。 ajax可以实现网页的异步更新，可以不重新加载整个网页，就可以对网页的部分内容进行更新。 iframe是HTML的一个标签，是嵌入式框架，可以把一个网页的框架和内容嵌入到网页中，使用iframe可以减少数据传输，和提高页面的加载速度。 websocket websocket是一种网络通信协议，连接客户端和服务器端的，它只需要建立一次连接，就可以一直保持连接状态，并进行双向数据传递。它的优点就是允许服务器主动向客户端推送数据。 ~ 大前端开发，定位前端开发技术栈博客，PHP后台知识点，web全栈技术领域，数据结构与算法、网络原理等通俗易懂的呈现给小伙伴。谢谢支持，承蒙厚爱！！！
1.1K10发布于 2019-12-20 - 来自专栏极客慕白的成长之路
数据分箱技术Binning
数据分箱技术Binning 数据分箱就是按照某种规则将数据进行分类。就像可以将水果按照大小进行分类，售卖不同的价格一样。 使用pandas中的value_counts方法来统计各个段内数据的个数： pd.value_counts(score_cat) 12 pd.value_counts(score_cat) ?
1.6K20发布于 2020-01-02 - 来自专栏智能大数据分析
大数据技术概述
二、大数据处理的基础技术 （一）大数据的处理流程 一般而言，大数据处理流程，我们可分为四步骤：数据采集、数据导入和清洗处理、数据统计分析和挖掘、结果可视化。 （3）云计算与虚拟化的关系 云计算是个概念，而不是具体技术。虚拟化是一种具体技术，指把硬件资源虚拟化，实现隔离性、可扩展性、安全性、资源可充分利用等。 三、流行大数据技术 （一）流行的大数据技术各个阶段 架构设计技术：Flume、Zookeeper、Kafka 采集技术：Python、Scala 存储技术：Hbase、Hive、Sqoop 计算技术 ： Mahout、Spark、Storm 可视化技术：Echart、Superset （二）Hadoop生态系统 Hadoop是一个开源的大数据分析软件，集合了大数据不同阶段技术的生态系统，其核心是Yarn 4、大数据属于高新技术，大牛少，升职竞争小。 5、智联招聘网站上的大数据工程师薪水如下： 6、大数据部门组织结构：适用于大中型企业。
3.1K00编辑于 2025-01-22 - 来自专栏实时计算
一、大数据技术
最近一直在思考几个问题： 数据治理到底该如何学？ 先学理论还是先学技术？ 如何衡量自己数据治理学习的好坏程度？ 有没有一些考试可以验证自己的学习成果？ 如果要学习大数据技术，又应该是怎么的学习路线？ 相信这些问题，也同样困扰困扰着大家，困扰着很多想入门数据治理的人员。 下面我也将从大数据技术、数据治理理论、数据治理实践三个方面来介绍。 一、大数据技术 首先强调的是，大数据和数据治理并不是一个东西。数据治理最早的概念在1988年就在麻省理工产生了。 因为在当今的企业中，大部分的数据相关工作已经基于大数据技术栈了，大数据已经逐渐成为基础设施。 大数据的学习可以按照思维导图中的大数据技术、大数据运维、数据分析与可视化三个方向去不断的学习与实战。 相对来说实战更为重要，在经过一个完整的项目历练之后就会大数据技术有一个完整的认识了。
59250编辑于 2022-09-16 - 来自专栏摸鱼网工
数据安全技术基础
安全四要素 机密性 完整性 身份验证 不可抵赖 机密性-数据加密 结局数据机密性的问题 > 算法的分类 【对称加密】： 原理：加密和解密适用同一个密钥，数据传输之间需要先在网络中传输密钥，一旦密泄露， 数据安全就得不到保障，会泄露 【非对称加密】： 原理：将密钥分为两种，公钥和私钥，公钥在网络中传播，私钥为独立保存的秘钥，不再在网络中公开 他的安全性高，但是处理的效率比较低 【混合加密】： 原理：使用非对称加密来保护对称加密的密钥协商阶段 使用对称加密密钥来保护数据传输 完整性-数字签名 一次性解决两个问题，数据完整性，和身份验证 工作原理： 数据发送方根据报文摘要计算出Hash值 数据发送方使用本端私钥对Hash值进行加密后，附加在报文中传输 数据接收方使用发送方的公钥对Hash值进行解密，解密成功，则确认对方身份，解密失败，则判断身份伪造 数据接收方对报文摘要自行计算出Hash值，与发送方附加的Hash值进行对比，对比一致，则数据完整，对比不一致 ，则判断数据被篡改 不可抵赖-数字证书 非对称和数字签名本身无法验证公钥真伪 需要第三方全为机构来下发和管理公钥 数字证书由证书机构下发 包含用户身份、用户公钥、根证书签名 PKI体系 定义：一个签发证书
63920编辑于 2022-12-04 - 来自专栏CloudBest
技术 | 数据仓库分层存储技术揭秘
因此，把数据存储在不同层级，并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。 本文介绍数据仓库产品作为企业中数据存储和管理的基础设施，在通过分层存储技术来降低企业存储成本时的关键问题和核心技术。 二 数据仓库分层存储关键技术解析 本章将以阿里云数据仓库AnalyticDB MySQL版（下文简称ADB）为原型介绍如何在数据仓库产品中实现分层存储，并解决其核心挑战。 三 总结 随着企业数据量的不断增长，存储成本成为企业预算中的重要组成部分，数据仓库作为企业存储和管理数据的基础设施，通过分层存储技术很好的解决了企业中存储成本与性能的平衡问题。 对于分层存储技术中的关键挑战，本文以云原生数据仓库AnalyticDB MySQL为原型，介绍了其如何通过冷热策略定义，热分区窗口，文件归档，SSD Cache来解决冷热数据定义，冷热数据迁移，冷数据访问优化等关键问题
1.7K20发布于 2021-04-20 - 来自专栏最新最全的大数据技术体系
大数据技术之集群数据迁移
数据治理之集群迁移数据 准备两套集群，我这使用apache集群和CDH集群。 启动集群 启动完毕后，将apache集群中，hive库里dwd,dws,ads三个库的数据迁移到CDH集群 在apache集群里hosts加上CDH Namenode对应域名并分发给各机器 [root@ 数据迁移成功之后，接下来迁移hive表结构，编写shell脚本 [root@hadoop101 module]# vim exportHive.sh #! /module/ 然后CDH下导入此表结构，先进到CDH的hive里创建dwd库 [root@hadoop101 module]# hive hive> create database dwd; 创建数据库后 /msckPartition.sh 刷完分区后，查询表数据
45820编辑于 2023-11-03 - 来自专栏Java崽
【大数据】什么是大数据技术？
搭建大数据环境是一个广泛讨论的主题，它涉及到许多不同的技术和工具，用于存储、处理和分析大规模数据。本文将介绍如何搭建大数据环境，包括步骤、所需的软件以及一些示例代码，以帮助你入门大数据技术。 ## 什么是大数据技术？ 大数据技术是一组用于管理和分析大规模、高速增长的数据的工具和技术。这些数据可以来自各种来源，包括社交媒体、物联网设备、传感器、日志文件和其他数据源。 大数据技术的目标是从这些数据中提取有价值的信息，以帮助企业做出更明智的决策、改进产品和服务，以及发现新的商机。 ## 搭建大数据环境的步骤 搭建大数据环境通常包括以下几个步骤： ### 1. 开始数据处理 一旦你的大数据环境搭建好了，你可以开始数据处理了。你可以使用编程语言如Java、Python或Scala编写代码来处理数据。 在这篇文章中，我们了解了大数据环境的基本步骤，选择的软件工具以及一个示例代码来演示如何处理数据。希望这些信息能帮助你入门大数据技术并开始构建自己的大数据环境。
47610编辑于 2024-03-15 - 来自专栏小四的技术文章
大数据技术栈之-数据采集
介绍 数仓的基础是数据，没有数据，那么数仓就是一个空壳，数据的来源有很多，我们需要按照一个规则和流程来制定采集方案，还要根据数据的特性和用途选取合适的采集程序，数据的采集我们一般分为全量和增量，对于一些业务场景 数据采集方案 全量 全量就是一次性将所有数据都采集过来，比如按照天数/月数来进行，如果数据量很大，那么可能就会比较耗时，而且也会占用很大的存储空间，比如我们每天需要同步MySQL中的数据，如果每天都全部同步过来 ，那么就会存在大量的重复数据，因为MySQL那边每天都在原有的基础上增加数据，而每天都全量同步一份过来，所以就是冗余的数据，而且它不是实时的，需要在每天的一个时间点进行同步，它的好处就是数据比较完整，但是会占用大量的存储 ，不过有一个问题，数据没有那么实时，因为要主动去获取数据，会由于网络等原因导致不实时，对数据库的压力也比较大，所以我们需要另外一种方式，那就是CDC。 数据采集工具 数据采集工具分为全量采集和增量采集。
1.3K20编辑于 2023-03-02 - 来自专栏最新最全的大数据技术体系
大数据重点技术----数据丢失还原
故障恢复步骤 第一步：杀死namenode进程 使用jps查看namenode进程号，然后直接使用kill -9 进程号杀死namenode进程
1K40发布于 2021-04-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号