- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据知识
大数据5大关键处理技术
文章转自：真灼社 大数据已经逐渐普及，大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 4）数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 5）结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 5、统计分析方法 在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。 5. 数据质量和数据管理 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理无论是在学术研究还是在商业应用领域都极其重要，各个领域都需要保证分析结果的真实性和价值性。
10.8K30发布于 2021-03-12 - 来自专栏杨飞@益术
Android数据存储实现的5大方式
下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 第四种： 使用ContentProvider存储数据 Android这个系统和其他的操作系统还不太一样，我们需要记住的是，数据在Android当中是私有的，当然这些数据包括文件数据和数据库数据以及一些其他类型的数据 定义你要返回给客户端的数据列名。如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
4.3K20发布于 2019-02-21 - 来自专栏Java学习网
Android数据存储实现的5大方式
Android数据存储实现的5大方式 数据存储在开发中是使用最频繁的，在这里主要介绍Android平台中实现数据存储的5种方式，更加系统详细的介绍了5种存储的方法和异同。 下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。在 Android 应用程序中使用 SQLite，必须自己创建数据库，然后创建表、索引，填充数据。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
8K90发布于 2018-02-26 - 来自专栏CDA数据分析师
译文 | 新兴大数据企业的5大挑战！
但是，近几年，它在大多数数据驱动型企业中发挥着重要的作用。更重要的是，大数据可以帮助制定企业战略，提高运营效率，并加速企业成长。 与数据热潮随之而来的，是大量的金融投资。 大约75％的组织表示，他们已经在先进大数据设施上投入了大量资金或者在未来几年会投入大量资金。同时，一大批新兴大数据企业如雨后春笋般破土而出，以此满足企业客户不断增长的市场需求。 这里是当今新兴大数据企业面临的5大挑战： 1.人才匮乏 大数据是一个增长中的市场。六成的企业决策者都预计本年度会在大数据项目上投入更多资金，只有5%认为会有所减少。 5.激烈竞争 2015年，大数据的全球消费预计将达到1250亿，初创公司不必再走向大数据的路途上感到孤单，因为如SAP，微软和IBM这样的大企业也要面临残酷的竞争。 这里的教训：建立一个成功的大数据业务是不是为懦弱者准备的。但是，如果你为上面描述的五大挑战做好准备，那么，你就可以在大数据领域未来的发展过程中大显身手。
81350发布于 2018-02-23 - 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 ? 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5 大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 - 来自专栏PPV课数据科学社区
【资讯】大数据5大误区：大数据不是灵丹妙药
“预测分析”总体是指基于当前和历史数据，用数据分析为企业提供对未来事件的预测。 然而盛名之下，围绕大数据和预测分析产生了许多误区。尤其是下列的五种误区需要被驱散, 这样不同规模和阶段的企业才可以开始享用更明智、更高效的决策: 误区1: “大数据是灵丹妙药。” 大数据不是企业的灵丹妙药。相反, 更好的数据管理和分析是帮助企业做出更好决策的工具。就算“小数据”也可以为中小企业很好的利用在投资的路线图上，构建和多样化而无需有大型的IT投资。 对一些人来说,自下向上的方法涉及到IT人员和数据分析师实施一种持久的解决方案。 误区5:“我们需要做的就是雇佣咨询或技术公司,我们就会有预测分析。” 有一批企业把预测分析作为一种技术或一个软件问题。
67950发布于 2018-04-18 - 来自专栏PPV课数据科学社区
【趋势】大数据和存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5、大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.1K100发布于 2018-04-24 5大YashanDB数据库安全加固策略解析
YashanDB是一种高性能的分布式数据库，安全加固是确保数据库系统安全性和稳健性的关键环节。以下是五大YashanDB数据库安全加固策略的解析：1. 实施监控系统，跟踪所有数据库操作。2. 数据加密- 静态数据加密：对存储在数据库中的敏感数据进行加密，确保即便数据库被入侵，攻击者无法轻易获取明文数据。 - 传输加密：在数据传输过程中使用TLS/SSL等加密协议，保护数据在网络传输中的安全，防止中间人攻击。3. 定期备份与恢复- 数据备份策略：实施定期自动备份并确保备份数据的安全存储。 - 恢复测试：定期进行数据恢复演练，确保在数据丢失或损坏时能够迅速恢复，减少业务中断时间。4. 5. 定期安全更新和补丁管理- 版本管理：定期检查YashanDB及其依赖组件的版本，确保使用最新的安全补丁，以修补已知的安全漏洞。
19910编辑于 2025-11-14- 来自专栏云社区全球资讯抢先看
5大数据挑战正在改变数据中心的面貌
引言：新的数据中心架构提出了新的数据挑战——数据捕获是如何驱动边缘到核心的数据中心架构的。 数据显然不是以前的样子了！各种组织都在寻找数据的新用途，这已经成为他们数字化转型的一部分。 大致来说，我们可以将这些新数据分为两类： 1，大数据：用于批量分析的大量聚合数据集。 2，快数据：来源非常广泛的数据集，这些数据用于做出快速性的决策。 图片] 图片来源于网络 在接下来的文章中，我将介绍新数据中心架构提出的前五大数据挑战 ： 1，数据采集正在推动边缘到核心的数据中心架构 新的数据正在从源头被捕获。 5，数据分析是未来计算密集型体系结构的驱动者 通过分析性质和特别化的机器学习，组织不得不保留更多的数据，以便将其聚合到大数据存储库中。当其应用于多个更大的数据源时，这些分析类型提供了更好的答案。
1.1K20发布于 2017-12-15 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 具体而言，可能面临以下痛点：数据质量问题复杂多样数据中的“脏”法五花八门，常见的问题包括：（1）空值：某些字段缺失数据。（2）重复数据：同一记录在数据集中多次出现。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 例如，针对混乱的“利润”字段，如含￥100,000、(5,000)表示负利润，使用公式清洗：公式拆解：（1）判断首位是否为(（表示负数）。（2）若是：去掉￥、,、(、)，并在结果前加负号-。
45210编辑于 2025-09-26- 来自专栏企鹅号快讯
大咖分享：企业营销过程中的大数据5大途径！
今天软件开发的步骤涉及到使用大量的数据来提高效率。 大数据在企业营销中的使用案例 2F 更相关的内容 出版商可以通过利用他们丰富的数据来确定人们最可能喜欢的内容，从而向访问者提供更相关的内容。 5F 以机器为动力的分析 未来，数字营销人员必须与机器携手合作，分析数据并做出基于数据的决策。不管技术发展了多少，总需要一个人来监督它，这在复杂的情况下甚至更真实。 大数据分析领域没有人能独自完成，任何一个软件也不能。两者的结合将比其各部分的总和更强大。 大数据在市场营销中的四大好处 市场营销中的大数据还包括定制软件开发，服务提供商满足客户的营销需求。 如今，营销团队利用数据分析和信息的力量来增强他们的活动的影响力和影响力。看看以下大数据分析在市场营销中的最大好处。 1.规划 数据科学家为市场营销部门提供了对当前情况的极好分析。 营销人员总是在寻找一种使用大数据量的方法，而大数据量每秒钟都会被制作出来。随着数据科学的发展，现在有可能分析大部分的材料，并最终将其转化为富有成效的营销策略。大数据世界很快就会出现新的特性。
1.1K70发布于 2018-01-05 - 来自专栏大数据文摘
5大架构：细数数据平台的组成与扩展
这种方式有一个弊端是存储的数据量受限于内存的大小，数据量一大，索引也增大，数据就饱和了。 2）第二种方式是把大的索引结构，拆成很多小的索引来存储。 列式存储尤其适用于大表扫描，求均值、最大最小值、分组等聚合查询场景。 列式存储在MPP数据库里面应用广泛，例如RedShift、Vertica及hadoop上的Parquet等。这种结构适合需要大表扫描的数据处理问题，数据聚合类操作（最大最小值）更是他的主战场。 列式存储特别适合需要加载大的数据块，且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中，然后随着时间的推移逐步把这些数据迁移到读优化的存储中。 5、流式处理架构 不像是批处理架构，把数据存储到HDFS上，然后在上面执行各种跑批任务。
1.9K80发布于 2018-05-22 YashanDB高效数据管理的5大实用技巧
在当今数据库技术快速发展的环境下，企业面临着日益增长的数据规模和复杂的业务需求，如何有效管理数据库性能瓶颈、保障数据一致性以及实现高可用性，成为数据库系统设计和应用中的关键挑战。 本文面向数据库管理员和系统架构师，围绕YashanDB的关键技术特性，详细解析五大实用技巧，旨在提升数据库的性能、可靠性和灵活性。 分布式SQL执行采用MPP架构，由CN协调节点生成执行计划，DN数据节点分布计算，利用高速内部互联总线完成数据传输和交换，支撑大规模数据处理。 五大实用技巧总结针对不同的业务场景科学选择单机、分布式或共享集群部署，合理调整实例资源配置，提高系统适应性和性能。 通过科学合理的技术应用，用户可有效提升数据库性能、保障数据一致性、实现稳定的业务连续性。
20010编辑于 2025-11-17- 来自专栏云资讯小编的专栏
腾讯云将新增５大海外数据中心
据新华社消息，腾讯公司 25 日在新加坡举行的媒体发布会上宣布，腾讯云全球化布局全面提速，今年将新增５大海外数据中心，目的是为“走出去”的中资企业和海外企业拓展全球业务提供优质云服务。 新增的５大数据中心包括美国硅谷、德国法兰克福、韩国首尔、印度孟买和俄罗斯莫斯科数据中心。此前，腾讯云已经在多伦多、新加坡等地建立数据中心。 近半年，腾讯云扩建了北京、上海、广州等地的数据中心，连同分布在亚太、欧洲、北美和南美地区的 11 大海外合作数据节点，目前开放的全球服务节点已达 29 个，腾讯云也由此成为全球云计算基础设施最广泛的中国互联网云服务商
5.9K00发布于 2017-04-26 - 来自专栏数据科学与人工智能
美国大数据智能理财平台的5大模式
不过，世易时移，近年来美国出现了智能投资市场，涌现出很多基于大数据分析的智能理财平台，大大降低了财富管理的门槛，让原先处于“服务真空区”的中产阶级也能享受同等的财富管理服务。 ? 现在看来，有两大因素促成了这些智能理财平台的成功。 首先，ETF基金的出现大大降低了投资成本。 第1种：基于大数据分析给出投资建议 这种类型的平台根据客户在其他理财交易平台的行为数据，全面了解客户的财务状况和投资现状，帮助客户对过去的投资决策做出回顾。 这种模式利用大数据分析技术，让客户在咨询投资顾问之外，有了另一种渠道可以获取投资顾问提供的服务，比如分析需求、解读投资报告和调整投资方案等。 第5种：跟投基金经理人的交易 这种类型的平台会即时跟踪基金经理人的投资组合以及每一笔交易动态，平台可以自动帮助普通投资者做出同样的交易或通知投资者让他们自己做出决定。
2.3K60发布于 2018-02-28 - 来自专栏钱塘大数据
中国大数据产业发展5大趋势展望
1、新技术融合和标准落地将成为创新发展方向 大数据、人工智能与云计算技术趋向深度融合。2018年将是人工智能、大数据和云计算等技术与产业深度结合的元年，更多落地的大数据解决方案将以云计算的形式实施。 平台化能力成为大数据企业竞相角逐的新焦点。通过将数据、算法和解决方案集成到统一的平台上，大数据企业可以提供“准标准化”的产品，快速占领市场，提升变现能力。 大数据一体机成为硬件领域新热点。 2、多层次、多类型大数据人才培养是政府关注重点 在大数据人才培养上，政府方面，设立专项基金，支持高校及企业大数据方面研究，鼓励“产学研用”相结合。 3、数据安全将成为产业发展中的核心问题 在技术层面，围绕大数据整个产业链，沿用最新的信息安全技术，开发大数据安全产品和服务。 5、工业和健康医疗等新领域将成为未来竞争高地 随着大数据基础设施的完善和大数据分析技术的成熟，大数据应用场景和解决方案的拓展成为发展重点，健康医疗大数据以其巨大的产业延展空间，工业大数据以其潜在的巨大产业规模成为未来发展重点
80620发布于 2018-09-21 5大步骤打造基于YashanDB数据库的数据湖平台
构建基于 YashanDB 数据库的数据湖平台是一个复杂的过程，涉及多个步骤。以下是五大步骤，可以帮助你构建一个有效的数据湖平台：第一步：需求分析与规划1. 明确目标：确定数据湖的主要用途，例如数据分析、机器学习或实时处理等。2. 数据来源：识别需要集成的各种数据来源，包括结构化、半结构化和非结构化数据。3. 数据采集：设置数据采集管道，确保能够有效地从不同来源获取数据，包括批量和实时数据。2. 格式转换：在数据进入数据湖之前，进行必要的数据格式转换，保证数据的一致性。3. 元数据管理：为数据湖中的数据创建元数据，便于后续的数据管理和查询。第四步：数据存储与管理1. 选择存储解决方案：根据数据量、访问频率和处理要求，选择合适的存储方式（如 ODS、数据仓库等）。2. 持续优化：根据用户反馈和数据使用情况，不断优化数据湖的结构和性能，迭代改进流程。这五大步骤为构建基于 YashanDB 的数据湖平台提供了一个系统化的框架。
11810编辑于 2025-11-14- 来自专栏Lansonli技术博客
2021年大数据基础（二）：大数据的特点（5v）
---- 大数据的特点（5v） 大数据的特点可以使用5个字来概括:大、多、值、快、信 一、Volume： 大 数据的采集，计算，存储量都非常的庞大。是数据体量巨大(Volume)。 截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=1024TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=1024PB)。 当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。 二、Variety： 多 种类和来源多样化。 而如何通过强大的机器算法更迅速地完成数据的价值提炼，是大数据时代亟待解决的难题。 四、Velocity： 快 数据增长速度快，处理速度也快，获取数据的速度也要快。 这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
1.4K10发布于 2021-10-11 数据人必看！5大主流报表工具全方位对比
二、帆软报表帆软报表也是功能非常全的产品，目前开发中遇到的各种关于数据展现方面的需求, 像复杂报表、填报、大屏、BI 等都有解决方案。 渲染慢是报表工具本身耗时大，优化数据源无济于事）。 Smartbi 支持的数据库类型主要是有 JDBC 接口的数据库，NoSQL 数据库目前只支持 mongodb 和 Tinysoft 等少数几种，再特殊的就需要写 java 程序进行处理了，工作量有点大 通过 ODBC 连接数据库，支持 sqlsever、oracle、mysql 等主流数据库，支持 Excel 文件，对一些特殊数据源支持不友好（如多维数据库、nosql 等数据库），可能需要后续产品改进 数据加载到内存中，当数据量大时对内存耗用比较大，带来较大的硬件成本，内存不够时，性能影响会非常大，而且目前只能部署在 windows 上，在非 windows 项目中需要额外服务器，和其他业务系统集成不太方便
68010编辑于 2025-06-09YashanDB数据库性能优化的5大实用策略详解
随着数据量的持续增长和业务需求的不断演进，数据库系统面临的性能瓶颈问题日益突出。如何保障数据库的高吞吐量、低延迟，并维持数据一致性，成为数据库技术领域普遍关注的技术挑战。 本文旨在基于YashanDB的体系架构和核心组件，深入分析数据库性能瓶颈产生的根因，探讨五大行之有效的性能优化策略，指导数据库管理员及开发工程师实现在实际业务中提升系统性能的具体技术路径。1. 共享内存池（SGA）调优：合理分配数据缓存（Data Buffer）、SQL缓存及数据字典缓存大小，减少缓存失效频率和硬解析开销。 5. 合理部署架构与高可用保障YashanDB提供单机主备、分布式集群及共享集群多种部署形态，适配不同业务容量及性能需求。 五大优化策略总结及实施建议根据业务模式选择合适的存储结构与表组织方式，合理利用行存和列存优势。构建合理的索引体系，结合聚簇度优化与函数索引，降低查询成本，提升I/O效率。
24210编辑于 2025-09-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号