- 综合排序
- 最热优先
- 最新优先
- 来自专栏about云
大数据处理分析的六大工具
RapidMiner RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
3.7K150发布于 2018-03-27 - 来自专栏NewBeeNLP
大模型预训练中的数据处理及思考
作者有以下三大理由： • 网页数据的量级比公开数据大的多，仅用专有数据模型模型训练不到最佳效果：GPT3 论文中说自己模型参数是175B，使用了大约300B的token数量进行模型训练，但根据scaling • 专有数据处理起来很麻烦：网页数据有固定的格式，我们可以根据html上面的标签进行处理，而专有数据因为来源很杂，格式不统一等原因，甚至需要一份数据，一种处理方式很费时间。 数据规模 先看结论 • 仅仅用CommonCrawl的网页数据中构建训练数据，训练了了Falcon-40B模型，并取得了不错的效果（huggingcase的大模型开源大模型排行榜OpenLLM Leaderboard The pile是一个高质量数据集，作者在构建的RefinedWeb数据集上训练模型超过了在The pile数据集上训练的效果 网页数据处理方法 CommonCrawl数据特点 • 很脏：有大量的情色、 DeepMind证明了提升模型规模和提升数据质量同样重要，仅仅是大模型也做不好推理任务，但如果数据处理的好的话，模型的推理能力能大幅提升。
2.6K10编辑于 2024-06-04 - 来自专栏加米谷大数据
大数据处理必备的十大工具
大数据处理必备的十大工具 1. Pentaho Business Analytics 从某种意义上说, Pentaho 与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理 Cloudera Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。 它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。
3.5K30发布于 2019-01-09 - 来自专栏CSDN技术头条
勿谈大，且看Bloomberg的中数据处理平台
这里，我们不妨走进Bloomberg的用例，着眼时间序列数据处理上的数据和体积挑战。 以下为译文 在Bloomberg，我们并不存在大数据挑战。 在过去，统一这两种数据是不可能实现的，因为他们有着不同的性能需求：当天数据的处理系统必须可以承受大量的写入操作，而历史数据处理系统通常是每天一次的批量更新，但是数据体积更大，而且搜索次数也更多。 但是这里仍然存在一个非常大的缺点，在任何给定时间，到给定region的读写操作只被一个region服务器控制。如果这个region挂掉，故障将会被发现，故障转移会自动的进行。 使用HBase，用户可以在大的Portfolio文件上做拆分，并且分配到集群中的多个主机上进行处理。 这就意味着，Java当下已经成为很多高fan out计算系统的基础，其中包括Hadoop、HBase、Spark、SOLR等，同步进行垃圾回收将解决非常大的问题。
3.9K60发布于 2018-02-08 - 来自专栏企鹅号快讯
大数据处理必备的十大工具！
.PentahoBusinessAnalytics 从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理 7.Cloudera Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。 它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。 来源：TechTarget
3.6K70发布于 2018-02-06 - 来自专栏大数据成神之路
面试系列：十个海量数据处理方法大总结
根据这个问题我们来计算下内存的占用，4G=2^32大概是40亿*8大概是340 亿，n=50亿，如果按出错率0.01算需要的大概是650亿个bit。 四、堆 适用范围：海量数据前n大，并且n比较小，堆可以放入内存 基本原理及要点：最大堆求前n小，最小堆求前n大。 适用范围：第k大，中位数，不重复或重复的数字 基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。 当然在更新每条数据的出现次数的时候，我们可以利用一个堆来维护出现次数最多的前N个数据，当 然这样导致维护次数增加，不如完全统计后在求前N大效率高。 如果数据无法放入内存。
1.9K40发布于 2019-07-09 - 来自专栏技术碎碎念
jdbc基础 (三) 大文本、二进制数据处理
LOB (Large Objects) 分为：CLOB和BLOB，即大文本和大二进制数据 CLOB：用于存储大文本 BLOB：用于存储二进制数据，例如图像、声音、二进制文件 在mysql中,只有BLOB ,没有CLOB，mysql存储大文本用TEXT TEXT 分为：TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT BLOB 分为：TINYBLOB、BLOB、MEDIUMBLOB和 java.sql.ResultSet; 12 import java.sql.SQLException; 13 14 import org.junit.Test; 15 16 /** 17 * 大文本数据操作 ; 39 statement.setInt(1, 1); 40 41 //大文本要使用流的形式。 ); 43 Reader reader = new FileReader(file); 44 //不能使用long的参数，因为mysql根本支持不到那么大的数据
1.9K70发布于 2018-04-11 - 来自专栏腾讯云TVP
未来数据处理领域的PK：大模型Transformer vs 大数据Transform
相比之下，大模型的数据处理需求完全不同。 数据处理的内核和外延也从“计算+数据处理”变为了“计算+推理+知识提取”，大模型的出现，数据处理也可以处理知识了。 大模型缺乏有效的数据处理工具缺乏有效的数据处理工具，这使得大模型数据处理的效率和一致性大打折扣：1. 在未来的数据处理中，新一代的ETL架构会要融合大模型的智能与ETL的高效，变为万物皆可处理的大模型大数据框架：硬件：数据处理单元的融合数据处理的基础单元正从单一的CPU主导，转向CPU与GPU的分工协作 CPU与GPU的协同，将为下一代数据处理提供更高的效率与智能支持。软件：数据处理架构的融合随着ETL与大模型功能的深度结合，数据处理架构正在演变为一个多功能的协同平台：ETL作为大模型的数据准备工具。
70810编辑于 2025-01-21 《LSTM与ESN：动态系统数据处理的两大“神器”对决》
在动态系统数据处理的领域中，长短期记忆网络（LSTM）和回声状态网络（ESN）都是备受关注的技术。它们各有特点，在不同的场景下发挥着重要作用。下面将详细探讨它们在处理动态系统数据时的差异。
23610编辑于 2025-02-11- 来自专栏Lansonli技术博客
2021年大数据Spark（二十六）：SparkSQL数据处理分析
---- SparkSQL数据处理分析 在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种方式分析处理数据，正如前面案例【词频统计 比如机器学习相关特征数据处理，习惯使用DSL编程；比如数据仓库中数据ETL和报表分析，习惯使用SQL编程。无论哪种方式，都是相通的，必须灵活使用掌握。
2.1K20发布于 2021-10-09 - 来自专栏AI+运维：智能化运维的未来
大模型进驻运维战场：运维数据处理的智能革命
大模型进驻运维战场：运维数据处理的智能革命在传统运维工作中，数据处理一直是个让人头疼的问题——日志分析、异常检测、告警优化，各种数据纷至沓来，往往让运维人员不堪重负。 如今，大模型技术正在悄然改变这一现状，让运维不再是靠经验“拍脑袋”，而是依赖数据驱动的智能决策。今天，我们就来聊聊大模型技术在运维数据处理中的应用，看看它到底能帮运维人员省多少力。 运维数据为何需要大模型？ 未来展望：大模型将如何继续改变运维？运维工作的核心是提高可靠性、降低运维成本、减少故障时间，而大模型正在成为实现这些目标的重要工具。 总结大模型技术的引入，让运维数据处理迈向智能化。无论是日志分析、异常检测还是告警优化，运维人员都可以借助大模型，大幅提升数据处理效率，降低运维负担。
57110编辑于 2025-05-25 - 来自专栏生信喵实验柴
数据处理
在使用 R 语言的过程中，需要给函数正确的数据结构。因此，R 语言的数据结构非常重要。通常读入的数据并不能满足函数的需求，往往需要对数据进行各种转化，以达到分析函数的数据类型要求，也就是对数据进行“塑形”，因此，数据转换是 R 语言学习中最难的内容，也是最重要的内容。
1.9K10编辑于 2022-10-25 - 来自专栏好好学习
Java Stream流：最新版技巧大揭秘，轻松搞定数据处理！
将已有元素转换为另一个对象类型，一对一逻辑 filter() 按照条件过滤符号要求的元素 peek() 对Stream流中的每个元素进行逐个遍历处理 unodered() 返回一个无序的流，对于不关心顺序的数据处理和并行配合使用更佳
1.1K30编辑于 2023-09-03 YashanDB在电商大促中的高性能数据处理应用
在电商大促活动期间，数据库面临海量并发访问和复杂事务处理的双重挑战，如何优化数据库的查询速度、保证数据一致性和高可用性，成为平台稳定运行的关键。 本文将基于YashanDB数据库的架构和技术优势，深入探讨其在电商大促高性能数据处理中的应用策略和优化机制。 YashanDB体系架构概述YashanDB支持单机部署、分布式集群部署和共享集群部署三种形态，能够灵活适配从中小规模到海量数据处理的业务需求。 事务管理与并发控制电商大促对数据一致性和并发性能提出了严苛要求。 结论YashanDB凭借其灵活的部署架构、多样化存储引擎、高效并发事务模型及强大的SQL优化执行能力，能够有效应对电商大促期间海量数据处理和高并发访问的挑战。
15510编辑于 2025-09-27YashanDB数据库提升数据处理能力的五大核心工具
YashanDB数据库针对上述问题，提出了一套完善的解决方案，集成了多项关键技术，旨在提升数据处理能力。 本指南面向数据库开发人员、DBA以及数据架构师，深入解析YashanDB的五大核心技术工具，帮助读者全面理解其架构优势与技术实现。 YashanDB通过灵活的部署架构、多样化存储引擎、先进的SQL优化器、强大事务管理与完善高可用机制，构建起一套全方位的数据处理能力解决方案。 未来，随着云计算、大数据技术的融合，YashanDB将持续优化各项核心能力，通过创新与技术积累成为行业内数据处理核心竞争力的重要载体。
20710编辑于 2025-09-23- 来自专栏pandas
Pandas高级数据处理：实时数据处理
引言在当今的数据驱动时代，实时数据处理变得越来越重要。无论是金融交易、社交媒体分析还是物联网设备监控，都需要对海量数据进行快速而准确的处理。 Pandas作为Python中最为流行的数据处理库之一，提供了强大的工具来处理结构化数据。本文将从基础到高级，逐步介绍如何使用Pandas进行实时数据处理，并解决常见的问题和报错。 对于实时数据处理来说，Pandas的优势在于其高效的内存管理和灵活的数据操作能力。1.1 DataFrame与SeriesDataFrame 是一个表格型的数据结构，包含有行和列。 30, 35], 'City': ['New York', 'Los Angeles', 'Chicago']}df = pd.DataFrame(data)print(df)二、实时数据处理的基础实时数据处理通常涉及到从多个来源获取数据 希望本文能够为读者提供有价值的参考，在实际工作中更好地运用Pandas进行数据处理。
1.3K10编辑于 2025-02-06 - 来自专栏全栈程序员必看
python的数据处理_基于python的数据处理
1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求。
98410编辑于 2022-10-05 - 来自专栏思影科技
思影数据处理业务四：EEGERP数据处理
EEG/ERP数据处理业务 数据预处理：导入数据、定位电极、剔除无用电极、重参考、滤波、分段（EEG不做分段）、插值坏导和剔除坏段、通过ICA去除伪迹 ERP数据后处理：对ERP数据进行叠加平均、绘制波形图并提取感兴趣成分进行进一步统计分析
1.5K20发布于 2020-05-08 - 来自专栏pandas
Pandas高级数据处理：实时数据处理
引言在当今的数据驱动时代，实时数据处理变得越来越重要。Pandas作为Python中强大的数据分析库，提供了丰富的功能来处理和分析结构化数据。 本文将从基础到高级逐步介绍Pandas在实时数据处理中的应用，涵盖常见问题、常见报错及解决方案，并通过代码案例进行详细解释。 二、实时数据处理的基础概念实时数据处理是指对不断流入的数据进行即时处理和分析。与批处理不同，实时数据处理要求系统能够在短时间内响应并处理新到达的数据。 增量更新数据在实时数据处理中，数据通常是不断更新的。为了保持数据的最新状态，我们需要支持增量更新。 本文介绍了Pandas在实时数据处理中的基础概念、常见问题及解决方案，并通过代码案例进行了详细解释。希望本文能帮助读者更好地理解和掌握Pandas在实时数据处理中的应用。
96910编辑于 2025-02-17 - 来自专栏思影科技
思影数据处理业务三：ASL数据处理
ASL数据处理业务： 1.数据预处理： 具体包括：数据转换、图像复位、头动校正、配准、平滑、去除颅外体素、计算CBF等。 ? ? 2) 可根据客户需求，个性化定制数据处理过程。
2K20发布于 2020-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号