- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
常见的解决办法是把历史数据从TP数据库搬到专业OLAP数据仓库中计算。不过，OLAP数据仓库太沉重，经常需要集群，硬件成本较高，还可能有昂贵的授权费用，更重要的是，整个技术架构也变得非常复杂。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 比如以快著称的ClickHouse数据库，在同样环境下跑国际通行的TPC-H测试题，简单的Q1和SPL的性能基本相当，但是稍复杂一些的Q2、Q3、Q7就完全不如SPL了： 同时，SPL代码仍很简单：6月6日有现场讲解用SPL实现外置提速的免费培训：课程涉及的实例都是传统数据库很头疼的老大难问题，比如COUNT DISTINCT，外键JOIN，大主子表关联（包括EXISTS
23910编辑于 2025-05-23 - 来自专栏量子位
Pandas循环提速7万多倍！Python数据分析攻略
乾明 编译整理 量子位 报道 | 公众号 QbitAI 用Python和Pandas进行数据分析，很快就会用到循环。 但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。 他是一位来自德国的数据分析师，名叫Benedikt Droste。 他说，当自己花了大半个小时等待代码执行的时候，决定寻找速度更快的替代方案。 我们一起来看看~ 标准循环处理3年足球赛数据：20.7秒 DataFrame是具有行和列的Pandas对象。如果使用循环，需要遍历整个对象。 Python不能利用任何内置函数，而且速度很慢。 他说，如果你使用Python、Pandas和Numpy进行数据分析，总会有改进代码的空间。 在对上述五种方法进行比较之后，哪个更快一目了然： ?
2.4K30发布于 2019-09-02 - 来自专栏星汉技术
Hive应用：数据外置内部表 原
示例 先创建HDFS目录/data/person，将数据文件上传到此目录之下。 男 山东 0 5.0 小乔 38.0 女 浙江 0 6.0 刘备 40.0 男 成都 0 7.0 小李 29.0 男 江南 0 Time taken: 0.141 seconds, Fetched: 7 row(s) hive> 此时就创建了一个数据外置的内部表，这个表也允许先有数据，上面展示的数据，就是证明了这一点，完美展示了数据外置的内部表。 然而如果删除Hive中的这个表的话，数据也会跟着被删除。 下图是数据存放的目录： ? 在看一下test数据库目录： ? 没有person表的目录。 总结 所以综上所述，这种内部表有普通外部表的先有数据的特性，还具有普通内部表删除表数据也同时删除的特性。那么如果这个表也是内部表的话，那么内部表和外部表的区别在哪里？
60320发布于 2019-03-13 - 来自专栏鳄鱼儿的技术分享
Docker 安装 Redis 并外置数据文件
前言 Redis是一个开源的内存型数据库，也被称为数据结构服务器nosql。它是一种高性能、非关系型数据库，通常用于缓存和快速存储键值对数据，也可以支持多种复杂的数据结构。 将配置文件和数据文件映射到外部 创建存放redis数据的文件夹 mkdir -p ~/i/apps/redis/{conf,data} 下载配置文件 下载redis配置文件，这里是redis的默认配置 该参数后data映射是将主机上的数据目录 ~/i/apps/redis/data 映射到容器内部的 /data 目录。这样可以将 Redis 数据持久化到主机文件系统，即数据在容器销毁后仍可以保留。 name myredis redis redis-server /usr/local/etc/redis/redis.conf 脚本启动 为了方便启动redis，这里我写了一个启动脚本，该脚本仅映射了数据文件的
54810编辑于 2024-05-21 - 来自专栏JAVA
Springboot使用外置tomcat7 8版本中部署运行
Springboot使用外置tomcat7 8版本中部署运行 在一些完整的脚手架中 只需要第一步即可： 修改打包方式为 war <packaging>war</packaging> 剔除内置tomcat
38010编辑于 2024-11-20 - 来自专栏Juicedata
如何借助 JuiceFS 为 AI 模型训练提速 7 倍
当通过 JuiceFS 客户端读取数据时，这些数据将会智能地缓存到应用配置的本地缓存路径（可能是内存，也可能是磁盘），同时元数据也会缓存到客户端节点本地内存中。 JuiceFS 也具有预读、并发读取数据的能力，保证每个 mini-batch 的生成效率，提前准备好数据。 当打开一个文件时（即 open() 请求），为了保证一致性[7]，JuiceFS 默认都会请求元数据引擎以获取最新的元信息。 7 倍的性能差距。 总结及展望 本文介绍了在 AI 模型训练中如何充分利用 JuiceFS 的特性来为训练提速，相比直接从对象存储读取数据集，通过 JuiceFS 可以带来最多 7 倍的性能提升。
1.1K20编辑于 2021-12-10 - 来自专栏新智元
TensorFlow正式发布1.5.0，支持CUDA 9和cuDNN 7，双倍提速
来源：Github 编译：费欣欣 【新智元导读】TensorFlow今天正式发布了1.5.0版本，支持CUDA 9和cuDNN 7，进一步提速。 重大变动 现在预编译的二进制文件是针对CUDA 9和cuDNN 7构建的。 从1.6版本开始，预编译二进制文件将使用AVX指令。这可能会破坏老式CPU上的TF。 提供CUDA 9和cuDNN 7支持。 加速线性代数（XLA）： 将complex64支持添加到XLA编译器。 bfloat支持现在被添加到XLA基础设施。 tf.data现在支持数据集元素中的tf.SparseTensor组件。 现在可以遍历Tensors。 允许SparseSegmentReduction操作缺少段ID。 估算器现在支持数据集：input_fn可以返回数据集，而不是张量。 添加RevBlock，这是可逆残留层的高效内存实现。 减少BFCAllocator内部碎片。
1.3K60发布于 2018-03-20 - 来自专栏安富莱嵌入式技术分享
H7-TOOL示波器自检CANFDCANFD助手是否正常输出波形，单设备，无需外置CAN节点
【问题描述】 为了方便大家测试H7-TOOL的CAN硬件是否可以正常输出，这里提供一个仅需TOOL就可以方便测试方法。 同时开启TOOL的示波器和CANFD助手功能即可，方便大家做自检。
18910编辑于 2025-10-16 - 来自专栏大数据在线
释放数据潜力，HCSF为AI应用提速
“五年前，我们很多行业客户的数据还是以ERP、CRM等数据为主，10TB就属于很大的数据量；今天，这些客户积累的数据量通常达到PB级，像行为数据等非结构化数据增长极为迅速，业务形态也发生了巨大变化，基于海量数据的 02 数据不该成为AI拦路虎 在了解AI应用带来的数据挑战之前，我们需要清楚AI应用场景会产生什么样的数据、这些数据具有什么特点、AI应用对于数据存储都会有哪些要求。 具体到AI应用的环境，首先数据需要进行准备和清洗，将原始数据去重、去除格式错误、去除错误数据和启发式回填，将数据转换为机器学习模型所需要的格式，这个处理阶段通常具有典型I/O极其密集的特征，需要数据缓存基础设施实时执行 03 HCSF：为AI应用提速 事实上，如果仔细分析AI应用涉及到的数据采集、整合、传输、存储、管理和应用，会发现当前很多企业往往是通过选择不同架构的数据存储产品来满足需求，造成在性能、可扩展性和易用性之间妥协 其次，Hitachi Content Software for File为整个数据管理提供单一平台，实现了基于元数据的数据管理自动化和智能化，实现跨越边缘、核心和云的数据管理，消除数据孤岛和多副本情况，
65740发布于 2021-10-13 - 来自专栏安富莱嵌入式技术分享
【STM32H7】第21章 ThreadX GUIX外置主题，字库和图库到外部SPI Flash
mod=viewthread&tid=98429 第21章 ThreadX GUIX外置主题，字库和图库到外部SPI Flash 本章节为大家讲解GUIX外置主题，字库和图库到外部SPI Flash ，任选其一，推荐第2种： 第1种：存放到MDK的STM32H7软包安装目录里面：\Keil\STM32H7xx_DFP\2.6.0\CMSIS\Flash（软包版本不同，数值2.6.0不同）。 21.3 GUIX Studio生成bin格式资源文件 GUIX Studio的设置和第7章移植章节的界面一样，大家可以直接使用例子V7-2007_GUIX Studio Template(RG565) 21.5 加载SPI Flash内容到动态内存并安装主题和字库 21.5.1 第1步：加载SPI Flash中数据到动态内存 加载函数使用我们前面移植章节在App_SysFunction.c 实验效果： GUIX Studio的界面设计如下： 串口打印任务执行情况： MDK AC5和AC6工程可以串口打印任务执行情况：按开发板的按键K1可以打印，波特率 115200，数据位 8，奇偶校验位无
1K30发布于 2021-01-26 - 来自专栏应用计算
SPL轻量级文件存储提速查询实践
传统交易（TP）数据库不擅长分析计算，而专业 OLAP 数据库又过于沉重，经常需要集群，不仅成本高昂，也会使系统架构变得更复杂。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据 在 IDE 中新建脚本，编写 SPL 语句，连接数据库，通过 SQL 加载 orders 表的数据。
23510编辑于 2025-08-26 - 来自专栏应用计算
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。esProc SPL 可以把主子表的 EXISTS 转化为有序归并，从而提升计算性能。 下面通过订单表和订单明细表的例子，介绍这种情况的外置提速方法。先完成数据准备，可以直接使用第四篇生成的 CTX 文件。例 5.1 对包含 7 号产品的订单，按照客户号分组统计订单个数。 from details d where d.order_id = o.order_id and d.product_id=7) 2024,12,31)&&order_date<date(2025,01,01))3=file("detailsQ4.ctx").open().cursor(order_id;product_id==7; 2、思考：在自己熟悉的数据库中有没有大主子表关联计算 EXISTS？是否可以用有序归并方法提速？
11010编辑于 2025-10-30 - 来自专栏Python数据科学
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 但幸运的是，内置的Python库中有一些隐藏的功能，可以让我们充分利用所有CPU内核！ 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 在我的具有6个CPU核心的i7-8700k上，这个程序的运行时间是7.9864秒！对于这样的高端CPU来说，似乎有点慢。让我们看看我们可以做些什么来加快速度。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。
69550发布于 2018-12-25 - 来自专栏机器学习算法与Python学习
经验 | 3行代码数据预处理提速6倍！
它易于使用，并拥有许多很棒的库，可以轻松地处理数据。但是当我们需要处理大量数据时，事情就变得棘手了...... “大数据”这个词通常指的是数据集，一个数据集里的数据点如果没有数百万个，也有数十万。 当你使用4核（ Intel i5）或6核（ Intel i7）时，就更浪费了。 但幸运的是，内置的Python库中有一些隐藏的功能，可以让我们充分利用所有CPU内核！ 这个程序遵循在数据处理脚本中经常看到的简单模式： 首先是要处理的文件（或其他数据）列表； 你可以使用for循环逐个处理每个数据片段，然后在每个循环迭代上运行预处理 让我们在一个包含1000个jpeg文件的文件夹上测试这个程序 在我的具有6个CPU核心的i7-8700k上，这个程序的运行时间是7.9864秒！对于这样的高端CPU来说，似乎有点慢。让我们看看我们可以做些什么来加快速度。 是否总能大幅加速 当你有要处理的数据列表并且要对每个数据点执行类似的计算时，使用Python并行池是一个很好的解决方案。但是，它并不总是完美的。并行池处理的数据不会以任何可预测的顺序处理。
57630发布于 2018-12-25 - 来自专栏Java后端技术栈cwnait
MySQL 数据库的提速器-写缓存（Change Buffer）
写缓存（Change Buffer） 是一种特殊的数据结构，用于在对数据变更时，如果数据所在的数据页没有在 buffer pool 中的话，在不影响数据一致性的前提下，InnoDB 引擎会将对数据的操作缓存在 将数据页从磁盘读入内存中涉及随机 IO 访问，这也是数据库里面成本最高的操作之一，而利用写缓存（Change Buffer）可以减少 IO 操作，从而提升数据库性能。 图中详细的描述了 Change Buffer 的功能，Change Buffer 中的数据最终还是会刷回到数据所在的原始数据页中，Change Buffer 数据应用到原始数据页，得到新的数据页的过程称之为 merge 过程中只会将 Change Buffer 中与原始数据页有关的数据应用到原始数据页，以下三种情况会发生 merge 操作： 1、原始数据页加载到 Buffer Pool 时。 page2 中插入数据，先将数据写入到写缓存（Change Buffer）中，再后台通过 merge 操作将插入的数据写入到数据页 page2 。
3.8K20发布于 2020-03-11 - 来自专栏新智元
【IO大会】谷歌解密打败李世石武器TPU，可将摩尔定律提速7年
AlphaGo 打败李世石的秘密武器 谷歌基础设施副总裁 Urs Holzle 在 I/O 发布会上告诉记者，过去一年中，谷歌在公司数据中心部署了“上万个”TPU，但没有透露确切的数字。 谷歌 Senior Fellow、美国工程院院士 Jeff Dean 在其博客中介绍，谷歌数据中心早在一年前就开始使用 TPU。 来源：cloudplatform.googleblog.com 谷歌公司内部使用一个名叫“PCI-E”的协议，谷歌数据中心的处理器硬盘上有一个插口，带 TPU 的插板可以插进去，只要插上这些芯片，就可以大幅度提高处理器性能 在博客中 Jouppi 写道，从“第一次测试”到量产只用了“不到 22 天”，其性能之好，“差不多把技术往前推进了 7 年（摩尔定律的3代时间）”。 根据谷歌的说法，TPU 的性能等于把摩尔定律加速了７年。
92760发布于 2018-03-22 - 来自专栏软件安装
Edge浏览器7大隐藏功能：下载提速、内存优化、积分兑换全攻略
Microsoft Edge作为Windows系统的默认浏览器，在日常使用中承载着大量的网页浏览任务。有很多用户对这款浏览器的认知仅停留在基础功能层面，对它内置的很多实用特性知道的不多。所以在这里分享一下。
1.3K10编辑于 2026-03-26 - 来自专栏智能相对论
Graviti获PreA轮融资，AI数据平台公司发展再提速
此轮融资后，Graviti发展再提速。 数据是这个时代的新能源 非结构化数据例如视频，图像等占九成企业全部数据量的55%以上。正如原油需要被提炼后才能用于制造产品，非结构化数据数据也需要通过对相应特征进行提取标注，才能直接用于模型训练。 Graviti希望实现从项目、人员到数据全面自动化管理，通过提供更加高效、透明的管理以及输出高质量数据的服务，进而加速数据在供需方之间的流通，为人工智能行业赋能。 对于小型且已经工作量饱和的数据团队而言，研究算法模型才是真正有意义的工作。在数据标注预算有限的前提下，数据标注需求如果不能有效及时的解决，将对AI应用的开发持续带来影响。 不仅仅只是数据标注 当下，相关领域公司发展迅速，多名应用层巨头崛起，对于数据和数据服务的需求旺盛；广泛的发展前景及强劲的可拓展性，使得与Graviti可以更好的服务应用层AI企业。
63010发布于 2019-12-12 《前端开发者必看：IndexedDB海量数据查询提速秘籍》
例如，在一个包含大量用户信息的数据库中，若要查找特定用户，通过为用户ID建立索引，就能快速定位到该用户的数据记录，而非逐行遍历整个数据集。但当数据量庞大时，索引的维护和查询效率会受到严峻考验。 对于查询操作，尽量使用只读事务，因为只读事务不会修改数据，数据库无需进行复杂的一致性检查和锁机制管理，能显著提高查询性能。例如在展示商品列表的页面，数据只需读取展示，使用只读事务可以更快地获取数据。 当查询特定时间段或类型的图片时，只需在相应的分片数据中查找，减少查询范围，提高查询速度。规范化数据结构能减少数据冗余，确保数据一致性，但在查询时可能需要进行多表关联，增加查询复杂度。 对于IndexedDB中的数据，将常用数据缓存到Service Worker中，即使在离线状态下，用户也能快速获取数据，同时减轻IndexedDB的查询压力。 随着数据的不断增删改，IndexedDB数据库可能会产生碎片，影响查询性能。定期进行碎片整理，类似于整理杂乱的文件柜，可重新组织数据存储结构，提高数据访问效率。
32810编辑于 2025-07-04- 来自专栏数据和云
SQL查询提速秘诀，避免锁死数据库的数据库代码
由于数据库领域仍相对不成熟，每个平台上的 SQL 开发人员都在苦苦挣扎，一次又一次犯同样的错误。当然，数据库厂商在取得一些进展，并继续在竭力处理较重大的问题。 不要盲目地重用代码 这个问题也很常见，我们很容易拷贝别人编写的代码，因为你知道它能获取所需的数据。 问题是，它常常获取过多你不需要的数据，而开发人员很少精简，因此到头来是一大堆数据。 因此，你处理的数据比实际需要的多得多，查询返回结果是个奇迹。你不仅处理过多不需要的数据，还夺走了其他进程的资源。 如果只需查看数据是否存在，就不要计数行 这种情况很常见，你需要查看数据存在于表格中，根据这番检查的结果，你要执行某个操作。 在你的数据变得太大之前做正确的事情。调优数据库永不嫌早。 实际上，我只是在我的其中一个生产数据库上运行这个例子，针对一个有 2.7 亿行的表。
2K30发布于 2018-07-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号