- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
常见的解决办法是把历史数据从TP数据库搬到专业OLAP数据仓库中计算。不过，OLAP数据仓库太沉重，经常需要集群，硬件成本较高，还可能有昂贵的授权费用，更重要的是，整个技术架构也变得非常复杂。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 同样数据量，SPL只用一个节点不到 6 分钟即可完成计算，超出了用户期望。考虑到硬件资源的差距，SPL相当于比 ClickHouse 快了 25 倍以上。 同时，SPL代码仍很简单：6月6日有现场讲解用SPL实现外置提速的免费培训：课程涉及的实例都是传统数据库很头疼的老大难问题，比如COUNT DISTINCT，外键JOIN，大主子表关联（包括EXISTS
23910编辑于 2025-05-23 - 来自专栏Python数据科学
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 但幸运的是，内置的Python库中有一些隐藏的功能，可以让我们充分利用所有CPU内核！ 在我的具有6个CPU核心的i7-8700k上，这个程序的运行时间是7.9864秒！对于这样的高端CPU来说，似乎有点慢。让我们看看我们可以做些什么来加快速度。 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ? executor.map（）将你想要运行的函数和一个列表作为输入，列表中的每个元素都是函数的单个输入。 由于我们有6个核心，我们将同时处理列表中的6个项！ 再次运行程序看看： ? 运行时间是1.14265秒，几乎加速了6倍！
69550发布于 2018-12-25 - 来自专栏机器学习算法与Python学习
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 但幸运的是，内置的Python库中有一些隐藏的功能，可以让我们充分利用所有CPU内核！ 在我的具有6个CPU核心的i7-8700k上，这个程序的运行时间是7.9864秒！对于这样的高端CPU来说，似乎有点慢。让我们看看我们可以做些什么来加快速度。 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ? executor.map（）将你想要运行的函数和一个列表作为输入，列表中的每个元素都是函数的单个输入。 由于我们有6个核心，我们将同时处理列表中的6个项！ 再次运行程序看看： ? 运行时间是1.14265秒，几乎加速了6倍！
57630发布于 2018-12-25 - 来自专栏星汉技术
Hive应用：数据外置内部表 原
示例 先创建HDFS目录/data/person，将数据文件上传到此目录之下。 0 6.0 刘备 40.0 男 成都 0 7.0 小李 29.0 男 江南 0 Time taken: 0.141 seconds, Fetched: 7 row(s) hive> 此时就创建了一个数据外置的内部表 ，这个表也允许先有数据，上面展示的数据，就是证明了这一点，完美展示了数据外置的内部表。 然而如果删除Hive中的这个表的话，数据也会跟着被删除。 下图是数据存放的目录： ? 在看一下test数据库目录： ? 没有person表的目录。 总结 所以综上所述，这种内部表有普通外部表的先有数据的特性，还具有普通内部表删除表数据也同时删除的特性。那么如果这个表也是内部表的话，那么内部表和外部表的区别在哪里？
60320发布于 2019-03-13 - 来自专栏相约机器人
技巧 | 3 行代码让 Python 数据预处理提速 6 倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 但幸运的是，内置的Python库中有一些隐藏的功能，可以让我们充分利用所有CPU内核！ 在我的具有6个CPU核心的i7-8700k上，这个程序的运行时间是7.9864秒！对于这样的高端CPU来说，似乎有点慢。让我们看看我们可以做些什么来加快速度。 你有多少CPU核心就启动多少Python进程，在我的例子中是6个。实际的处理代码是这样的： ? executor.map（）将你想要运行的函数和一个列表作为输入，列表中的每个元素都是函数的单个输入。 由于我们有6个核心，我们将同时处理列表中的6个项！ 再次运行程序看看： ? 运行时间是1.14265秒，几乎加速了6倍！
1.2K40发布于 2019-06-21 - 来自专栏鳄鱼儿的技术分享
Docker 安装 Redis 并外置数据文件
前言 Redis是一个开源的内存型数据库，也被称为数据结构服务器nosql。它是一种高性能、非关系型数据库，通常用于缓存和快速存储键值对数据，也可以支持多种复杂的数据结构。 将配置文件和数据文件映射到外部 创建存放redis数据的文件夹 mkdir -p ~/i/apps/redis/{conf,data} 下载配置文件 下载redis配置文件，这里是redis的默认配置 该参数后data映射是将主机上的数据目录 ~/i/apps/redis/data 映射到容器内部的 /data 目录。这样可以将 Redis 数据持久化到主机文件系统，即数据在容器销毁后仍可以保留。 name myredis redis redis-server /usr/local/etc/redis/redis.conf 脚本启动 为了方便启动redis，这里我写了一个启动脚本，该脚本仅映射了数据文件的
54810编辑于 2024-05-21 - 来自专栏科技云报道
IPv6建设再提速，中国如何打赢这场网络战？
中国的IPv6发展已经迈出了坚实的一步。下一步不仅仅要能用IPv6，还要好用，更要爱用。” 据介绍，基础设施方面，在三大运营商、CDN企业、数据中心企业的共同努力下，网络基础设施已经全部支持IPv6。 应用基础设施方面，数据中心、云产品、内容分发也初步具备全国全网IPv6的支持服务能力，用户数量和用户使用量取得不菲的成效。 数据显示，截至今年4月，中国IPv6活跃用户数已达到5.15亿，在互联网用户中的占比达到52.1%。 那么，中国网络基础设施全部支持IPv6意味着什么？ IPv6促进5G 万物互联时代加速到来 万物互联时代的AI、大数据、云计算、物联网等信息技术，都与TCP/IP协议有着重要联系，其中IP是网络层协议，规范着互联网中分组信息的交换和选路。 通过IPv6和5G网络的天然互补、同步发展，将高效支撑移动互联网、物联网、工业互联网、云计算、大数据、人工智能等新兴领域高速发展。
66520编辑于 2022-04-16 - 来自专栏大数据在线
释放数据潜力，HCSF为AI应用提速
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，基于海量数据的 02 数据不该成为AI拦路虎 在了解AI应用带来的数据挑战之前，我们需要清楚AI应用场景会产生什么样的数据、这些数据具有什么特点、AI应用对于数据存储都会有哪些要求。 具体到AI应用的环境，首先数据需要进行准备和清洗，将原始数据去重、去除格式错误、去除错误数据和启发式回填，将数据转换为机器学习模型所需要的格式，这个处理阶段通常具有典型I/O极其密集的特征，需要数据缓存基础设施实时执行 03 HCSF：为AI应用提速 事实上，如果仔细分析AI应用涉及到的数据采集、整合、传输、存储、管理和应用，会发现当前很多企业往往是通过选择不同架构的数据存储产品来满足需求，造成在性能、可扩展性和易用性之间妥协 其次，Hitachi Content Software for File为整个数据管理提供单一平台，实现了基于元数据的数据管理自动化和智能化，实现跨越边缘、核心和云的数据管理，消除数据孤岛和多副本情况，
65740发布于 2021-10-13 - 来自专栏ytkah
6个OS2.0 shopify免费模板提速您的独立站
shopify升级online store 2.0后网站速度提升了不少，shopify官方OS 2.0模板至今已发布6款，没有花哨的功能，但对追求速度的shopify店主是不错的选择。 下面随ytkah一起来看看这6款OS2.0 shopify免费模板。 通过专为丰富而引人入胜的叙述而设计的部分和模板展示您的品牌 非常适合 家居和园艺 任何目录大小 快速设置，可视化叙事 6、Crave shopify主题 一个引人注目的主题，针对购物体验进行了优化
2.5K30编辑于 2022-05-10 - 来自专栏程序小小事
6款让你效率起飞的神级 idea 插件，解放双手！瞬间提速！
IDEA在JetBrains官方的全称是 IntelliJ IDEA，官方打造的是一款真正智能、集成开发环境（IDE）；同时提供了功能丰富多样的高效插件。
2.2K10编辑于 2024-03-26 - 来自专栏应用计算
SPL轻量级文件存储提速查询实践
传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据 在 IDE 中新建脚本，编写 SPL 语句，连接数据库，通过 SQL 加载 orders 表的数据。
23510编辑于 2025-08-26 - 来自专栏应用计算
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。esProc SPL 可以把主子表的 EXISTS 转化为有序归并，从而提升计算性能。 下面通过订单表和订单明细表的例子，介绍这种情况的外置提速方法。先完成数据准备，可以直接使用第四篇生成的 CTX 文件。例 5.1 对包含 7 号产品的订单，按照客户号分组统计订单个数。 执行时间：0.2 秒例 5.2 产品号为 6 的订单明细，有多少条在订单表中找不到记录。 ~.pselect(product_id==9))6=joinx(A2:o,order_id;A5:d,order_id)=A6.groups(o.order_date;count(o.order_id 2、思考：在自己熟悉的数据库中有没有大主子表关联计算 EXISTS？是否可以用有序归并方法提速？
11010编辑于 2025-10-30 - 来自专栏量子位
Pandas循环提速7万多倍！Python数据分析攻略
乾明 编译整理 量子位 报道 | 公众号 QbitAI 用Python和Pandas进行数据分析，很快就会用到循环。 但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。 他是一位来自德国的数据分析师，名叫Benedikt Droste。 他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。 我们一起来看看~ 标准循环处理3年足球赛数据：20.7秒 DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。 Python不能利用任何内置函数，而且速度很慢。 他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。 在对上述五种方法进行比较之后，哪个更快一目了然： ?
2.4K30发布于 2019-09-02 - 来自专栏Java后端技术栈cwnait
MySQL 数据库的提速器-写缓存（Change Buffer）
写缓存（Change Buffer） 是一种特殊的数据结构，用于在对数据变更时，如果数据所在的数据页没有在 buffer pool 中的话，在不影响数据一致性的前提下，InnoDB 引擎会将对数据的操作缓存在 将数据页从磁盘读入内存中涉及随机 IO 访问，这也是数据库里面成本最高的操作之一，而利用写缓存（Change Buffer）可以减少 IO 操作，从而提升数据库性能。 图中详细的描述了 Change Buffer 的功能，Change Buffer 中的数据最终还是会刷回到数据所在的原始数据页中，Change Buffer 数据应用到原始数据页，得到新的数据页的过程称之为 merge 过程中只会将 Change Buffer 中与原始数据页有关的数据应用到原始数据页，以下三种情况会发生 merge 操作： 1、原始数据页加载到 Buffer Pool 时。 page2 中插入数据，先将数据写入到写缓存（Change Buffer）中，再后台通过 merge 操作将插入的数据写入到数据页 page2 。
3.8K20发布于 2020-03-11 - 来自专栏IT创事记
IPv6+商用提速：重构千行百业数字化转型基石
华为数据通信产品线副总裁赵志鹏发表题为《IPv6+,数字化转型基石》的重要演讲，勾勒出IPv6+的发展前景与落地路径。 华为数据通信产品线副总裁 赵志鹏 战略与政策助力IPv6+提速 数字化转型成为全球主旋律，迄今已有100多个国家发布数字化蓝图——例如，中国的“数字中国”、欧盟的“数字指南针”、美国的“关键与新兴技术国家 在数据运送方面，网络切片可以使城市的河流及垃圾监管、交通管理等不同业务通过一张网络承载，又能实现彼此隔离，构建专网式的业务体验。 数据收集到云端后，基于IPv6零丢包以太网络，可以达成算力100%释放，为城市管理者提供精准的决策依据。 在金融行业，在线交易、在线支付等新业务层出不穷，在保障稳态的同时，需要增强金融业务的敏态。 经过IP化改造，海量的生产数据能够及时传送到云端，而云端的算力和智能能力也可以高效传递到生产现场，更精准地指导产线运行。
51120编辑于 2022-08-30 - 来自专栏智能相对论
Graviti获PreA轮融资，AI数据平台公司发展再提速
此轮融资后，Graviti发展再提速。 数据是这个时代的新能源 非结构化数据例如视频，图像等占九成企业全部数据量的55%以上。正如原油需要被提炼后才能用于制造产品，非结构化数据数据也需要通过对相应特征进行提取标注，才能直接用于模型训练。 Graviti希望实现从项目、人员到数据全面自动化管理，通过提供更加高效、透明的管理以及输出高质量数据的服务，进而加速数据在供需方之间的流通，为人工智能行业赋能。 对于小型且已经工作量饱和的数据团队而言，研究算法模型才是真正有意义的工作。在数据标注预算有限的前提下，数据标注需求如果不能有效及时的解决，将对AI应用的开发持续带来影响。 不仅仅只是数据标注 当下，相关领域公司发展迅速，多名应用层巨头崛起，对于数据和数据服务的需求旺盛；广泛的发展前景及强劲的可拓展性，使得与Graviti可以更好的服务应用层AI企业。
63010发布于 2019-12-12 《前端开发者必看：IndexedDB海量数据查询提速秘籍》
例如，在一个包含大量用户信息的数据库中，若要查找特定用户，通过为用户ID建立索引，就能快速定位到该用户的数据记录，而非逐行遍历整个数据集。但当数据量庞大时，索引的维护和查询效率会受到严峻考验。 对于查询操作，尽量使用只读事务，因为只读事务不会修改数据，数据库无需进行复杂的一致性检查和锁机制管理，能显著提高查询性能。例如在展示商品列表的页面，数据只需读取展示，使用只读事务可以更快地获取数据。 当查询特定时间段或类型的图片时，只需在相应的分片数据中查找，减少查询范围，提高查询速度。规范化数据结构能减少数据冗余，确保数据一致性，但在查询时可能需要进行多表关联，增加查询复杂度。 对于IndexedDB中的数据，将常用数据缓存到Service Worker中，即使在离线状态下，用户也能快速获取数据，同时减轻IndexedDB的查询压力。 随着数据的不断增删改，IndexedDB数据库可能会产生碎片，影响查询性能。定期进行碎片整理，类似于整理杂乱的文件柜，可重新组织数据存储结构，提高数据访问效率。
32810编辑于 2025-07-04- 来自专栏数据和云
SQL查询提速秘诀，避免锁死数据库的数据库代码
由于数据库领域仍相对不成熟，每个平台上的 SQL 开发人员都在苦苦挣扎，一次又一次犯同样的错误。当然，数据库厂商在取得一些进展，并继续在竭力处理较重大的问题。 不要盲目地重用代码 这个问题也很常见，我们很容易拷贝别人编写的代码，因为你知道它能获取所需的数据。 问题是，它常常获取过多你不需要的数据，而开发人员很少精简，因此到头来是一大堆数据。 因此，你处理的数据比实际需要的多得多，查询返回结果是个奇迹。你不仅处理过多不需要的数据，还夺走了其他进程的资源。 在你的数据变得太大之前做正确的事情。调优数据库永不嫌早。 实际上，我只是在我的其中一个生产数据库上运行这个例子，针对一个有 2.7 亿行的表。 最后的查询是： SELECT rows from sysindexes where object_name(id)='T1'and indexid =1 在我 2.7 亿行的表中，不到 1 秒就返回结果，只有 6
2K30发布于 2018-07-27 - 来自专栏数据集成与分析
【KPaaS】异构系统集成提速：重构企业数据流转架构
数据已成为企业驱动业务流程优化的核心要素。然而，分散的异构系统（ERP、CRM、MES、SaaS 等）导致的数据割裂严重制约了数据分析的实时性和决策的准确性。 对于企业而言，提升数据集成效率是确保数据资产价值最大化的首要任务。本文将从技术架构层面出发，探讨实现高效数据集成所必须关注的关键能力和实施策略。 3、强大的数据预处理与治理流水线原始数据在集成过程中必须经过严格的清洗、转换和标准化处理。处理复杂性： 涉及数据的结构化、非结构化转换，以及跨源数据的逻辑统一。 关键节点功能：数据关联（JOIN）： 整合来自不同数据源的业务实体信息。数据分组（GROUP BY）： 实现数据聚合计算，为 BI 分析准备汇总数据。 这消除了底层协议适配的复杂性，使技术人员能专注于业务数据流的设计。治理流程配置化： 内置了数据合并、数据关联、数据分组、JSON 解析、字段设置等一站式数据治理/处理能力。
21010编辑于 2025-11-13 - 来自专栏MySQL入坑记
双维有序结构提速大数据量用户行为分析
然而，在时间维度上建立索引并不会有多大效果，因为这种场景下过滤后的数据依然不小，即使能用索引快速地找到目标数据所在位置，但如果这些数据在硬盘的存储是不连续的，也仍然会造成大量无效读取，无法实质性提速。 必须将数据在物理上按照时间维度有序存储才可以有效提速。但是，传统关系数据库基于无序集合概念，不保证物理有序，只能指望工程优化的手段。 (null) 5 for A1 if #B5==1 >C4(1)=t=t1=first.dt 6 else >C4(#B5)=t=if(t,A3.select@1(etype==B5 && dt 由于每次循环都能快速取出一个user的全部数据，所以仅用很少的代码就能实现漏斗转化这样复杂的计算。 关于这个漏斗转化计算详细的介绍参考这里：SQL 提速：漏斗转化分析。 SPL的双维有序结构还支持多线程并行计算，可以利用多CPU、多CPU核的计算能力，进一步提速。 要对用户分析场景提速，既需要利用时间维度有序，又需要利用用户维度有序。
88420编辑于 2022-11-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号