- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL轻量级文件存储提速查询实践
把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件，可以利用 SPL 语言的强大计算能力，跑出远超传统数据库的查询性能。 esProc SPL 很轻，直接嵌入应用就可以运行，在实现数据外置提速的同时，也不会让整个系统架构变得很复杂：这里准备了一套使用 SPL 外置数据提速查询的实践方法：第一篇 - 常规过滤及分组汇总第二篇 枚举字段条件过滤其中涉及的实例都是传统数据库很头疼的性能问题，比如 COUNT DISTINCT，外键 JOIN，大主子表关联（包括 EXISTS），枚举字段条件过滤（包括 IN）等，助您突破数据库查询性能瓶颈 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据
23510编辑于 2025-08-26 - 来自专栏应用计算
第二篇 -COUNT DISTINCT：SPL轻量级文件存储提速查询实践
但数据库无法保证存储的次序，很难实施这样的有序去重算法。esProc SPL 可以把数据导出后有序存储，实现这种高性能的有序去重计数。 数据外置时，要按照用户号有序存储，可以使用有序去重提高性能。 我们用 ETL 工具定义一个新的 Q2.etl 文件，重复前面的步骤，连接数据库 - 拖拽 events 表 - 编辑：这里按照客户号有序存储，可以使用有序去重提高性能。排序字段必须放在第一个。 例 2.3，去掉重复事件后，发生事件个数大于 5 的用户数量。同一用户，按照时间顺序连续的事件如果 event_type 相同就是重复事件。 是否可以用有序去重来提速？
24510编辑于 2025-09-12 - 来自专栏应用计算
第六篇 枚举字段条件过滤--SPL轻量级文件存储提速查询实践
name101"].contain(employee_name))4=file("ordersQ6.ctx").open().cursor@m(order_date;A3(employee_num))5= name101",…].contain(employee_name))4=file("ordersQ6.ctx").open().cursor@m(order_date;A3(employee_num))5= ordersQ6.ctx").open().cursor@m(order_date;A2.contain@b(employee_name))4=A3.groups(order_date;count(1))5> SQL 要使用子查询：select sum(shipping_fee)from orderswhere customer_id in ( select customer_id 是否可以用对位序列提速？
14510编辑于 2025-11-03 - 来自专栏应用计算
第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
这一篇介绍主键关联的提速。主表订单表和子表明细表的关联就是主键关联。SQL 中，这种关联仍用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 如果预先将主子表都按照主键有序存储，就可以使用归并算法实现关联。这种算法只需要对两个表依次遍历，不必借助外存缓存，可以大幅降低计算量和 IO 量。 先做数据准备，把历史数据从数据库导出为 CTX 文件。在 ETL 中定义 Q4.etl：修改两个表的名字，加上 Q4。 注意：两表要按照 order_id 连接，就按照这个字段有序存储。但不选中“用数据库排序”。生成 SPL 代码 18：A5和 A8 中用 #order_id 来声明 CTX 是对这个字段有序的。 是否可以用有序归并方法提速？
20110编辑于 2025-10-20 - 来自专栏数据分析
PostgreSQL并行查询：让特征计算提速5倍的方法
这些特征包括：用户最近30天的登录频次统计跨设备行为模式分析交易金额分位数计算高频访问IP聚类特征原始实现采用单机PostgreSQL 14.0，通过PL/pgSQL存储过程逐批处理。 更严峻的是，凌晨计算窗口期的CPU利用率长期低于15%，存储I/O等待占比高达60%，暴露出严重的资源闲置问题。 文件系统优化fs.file-max = 2097152 # 系统级文件句柄限制fs.nr_open = 1048576 # 进程级句柄限制# <30秒5分钟1分钟长尾查询检测worker内存使用<256MB512MB30秒防止OOM共享缓冲区竞争率<5%20%1分钟通过buffers_backend计算CPU上下文切换<10万/秒50万/秒10 .*"} > 300 for: 10m labels: severity: critical annotations: summary: "并行查询执行超过5分钟"
46930编辑于 2025-12-11 - 来自专栏应用计算
第一篇 - 常规过滤及分组汇总:SPL轻量级文件存储提速查询实践
我们以订单表为例实现 esProc SPL 数据外置，提速常规过滤及分组汇总计算。我们使用 SPL 的 ETL 工具来生成脚本，实现数据的转储。 打开工具 - 数据连接：点击连接后，数据库的表可以拖拽到工作区：工具 - 数据目录，设置数据文件存储的目录。工具 - 生成 SPLX 代码：导出后，记得这次新建的 etl 保存成 Q1.etl 文件。 A5 则对过滤后的结果做分组，语法形式和 SQL 不同，但仔细看会发现涉及的要素都是一样的：分号前的部分是分组键，相当于 SQL 的 GROUP BY 部分，分号后是聚合值，相当于 SQL 中 SELECT 接下来使用 CTX 游标过滤技术进一步提速：把过滤条件附加到游标上，SPL 先读出用于计算条件的字段值，如果条件不成立就放弃读取其他字段，条件成立才继续读出其它字段并创建这条记录。 需要注意的是，SPL 文件存储有其特定的适用场景。因为要导出数据，所以更适合计算不变的历史数据，其实这种场景就很多了。
18810编辑于 2025-09-05 - 来自专栏应用计算
第三篇 外键维表的关联：SPL轻量级文件存储提速查询实践
这样就可以利用不同关联的特征，采用不同的手段甚至不同的存储方式有效提速。关联的一种情况是外键关联。一个表的普通字段（外键）和另一个表的主键关联。比如订单表与客户表、运货商表都是外键关联。 下面，我们以订单表、客户表、城市表、州表和运货商表为例，介绍 esProc SPL 外置数据提速外键关联的方法。 5、定义维表值列名称 name。还要设置 ordersQ3 中的序号化字段：生成 SPL 代码 14：导出数据，转储成 BTX 或 CTX。 是否可以用序号关联的方法来提速？
22310编辑于 2025-09-23 - 来自专栏流浪猫的golang
golang mongoDB GridFS查询 存储 删除文件
GridFS 也是文件存储的一种方式，但是它是存储在MonoDB的集合中。 GridFS 用两个集合来存储一个文件：fs.files与fs.chunks。 GridFS是可以存储任何你想要存储的文件，不仅仅是那些超过16M文件，意思是什么文件都能存。 此外，如果您的文件全部小于16 MB bson文档大小限制，请考虑将文件手动存储在单个文档中，而不是使用gridfs。您可以使用bindata数据类型来存储二进制数据。 LENGTH int32 //md5 MD5 string //文件名 FILENAME string } func check(err error){
3.5K10发布于 2018-08-02 - 来自专栏White feathe 的博客
H5 localstorage存储文件
H5 localstorage存储文件 利用localStorage储存js文件，只有在第一次访问该页面的时候加载js文件，以后在访问的时候加载本地localStorage执行 操作步骤： 1. 创建公共文件config.js文件 2. 页面引用存储 3. 使用 接下来 config.js 文件附上： ;(function(global) { 'use strict'; //检查文件类型 var TYPE_RE = /\. xmlhttp = new XMLHttpRequest(); } else { // code for IE6, IE5 JS文件 <!
99230编辑于 2021-12-08 - 来自专栏Python爬虫逆向教程
Python爬虫之文件存储#5
爬虫专栏：http://t.csdnimg.cn/WfCSx 文件存储形式多种多样，比如可以保存成 TXT 纯文本形式，也可以保存为 JSON 格式、CSV 格式等，本节就来了解一下文本文件的存储方式。 TXT 文本存储 将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是这有个缺点，那就是不利于检索。 所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用 TXT 文本存储。本节中，我们就来看下如何利用 Python 保存 TXT 文本文件。 1. 运行结果如下： json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 CSV 文件存储 CSV，全称为 Comma-Separated Values，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。
1.5K10编辑于 2024-02-10 - 来自专栏韩曙亮的移动开发专栏
【Android 文件管理】分区存储 ( 创建与查询图片文件 )
文章目录 一、分区存储模式下使用 MediaStore 插入图片 二、分区存储模式下使用 MediaStore 查询图片 三、相关文档资料 Android 分区存储系列博客 : 【Android 文件管理 】应用可访问的存储空间 ( 存储空间分类 | 存储空间访问权限 | 分区存储 ) 【Android 文件管理】分区存储 ( 分区存储机制 和 文件索引数据 ) 【Android 文件管理】分区存储 ( MediaStore 文件操作 ) 一、分区存储模式下使用 MediaStore 插入图片 ---- 在上一篇博客 【Android 文件管理】分区存储 ( MediaStore 文件操作 ) 中 , Uri = $uri , 路径 = $path , 文件名称 = $name , 绝对路径 = $absolutePath") // 关闭游标 cursor.close() } 查询文件代码示例 进行操作 ; 三、相关文档资料 ---- Android 文件处理参考文档 : 数据和文件存储概览 : https://developer.android.google.cn/training/data-storage
2K20编辑于 2023-03-29 - 来自专栏应用计算
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。esProc SPL 可以把主子表的 EXISTS 转化为有序归并，从而提升计算性能。 下面通过订单表和订单明细表的例子，介绍这种情况的外置提速方法。先完成数据准备，可以直接使用第四篇生成的 CTX 文件。例 5.1 对包含 7 号产品的订单，按照客户号分组统计订单个数。 分组结果在 A5 中和订单表有序归并，再在 A5 中分组统计订单数量。 A5 对 A4 游标计数，就是想要的结果了。执行时间：0.2 秒例 5.3 找出明细不止一条的订单，要求订单不包含 9 号产品，按照日期分组统计订单数量。 是否可以用有序归并方法提速？
11010编辑于 2025-10-30 - 来自专栏互联网运维杂谈
文件系统fsck提速方案
在分布式文件系统（例如HDFS）中，当出现异常掉电、加电恢复后，通常存储系统会检测内部数据的一致性，检测分为两个层次 首先是单机文件系统的数据一致性检查 其次是使用了erasure coding编码的存储系统进行数据一致性校验 根据阿姆达尔定律，存储系统恢复的整体时间由串行部分最慢的节点决定。 在 ec 恢复的过程中，通常是多个节点，多个设备之间并行恢复，系统的瓶颈通常受限于第一阶段本地文件系统的 fsck 过程。 100-150MB/s 之间），因此提升文件系统的fsck速度就显得愈发重要，本文中以 ext4 文件系统为例，列举除了文件系统 fsck 提速的若干方案。 思路： 建议如果需要优化fscheck本身，下一步可以考虑和应用类型结合起来进行（例如找到应用关心的文件进行检查，不关心的直接跳过，对于hadoop hdfs之类的数据存储，目录和文件均有用，因此此方法不适合 ），并且在mkfs的时候，使用bigalloc和inline data的功能，大文件保证其连续性，减少元数据存储量，小文件可以直接合并入 inode，减少 seek 的程度，不过这种方案并未从根本上解决问题
2.2K10发布于 2019-11-19 - 来自专栏upuptop的专栏
5分钟_SpringBoot集成ES实现存储、查询
5分钟_SpringBoot集成ES实现存储、查询 当前文章使用ES版本为6.4.3,SpringBoot版本为：<font color= 用过JPA的朋友应该知道，springdata是通过解析方法名来实现查询数据库的。同样的这个快速开发包也是大大简化了Java使用es的流程。 可以通过kibana界面查看并搜索数据，也可以直接调用我们自己写的findAll接口进行查询。 text=浩 查询名字中或者desc中含有“浩”的数据 [在这里插入图片描述] 结语 这就是SpringBoot集成ES的基本步骤，相比较于自己引入ES的依赖要简单的很多。
4.8K10发布于 2020-06-12 - 来自专栏upuptop的专栏
5分钟_SpringBoot集成ES实现存储、查询
5分钟_SpringBoot集成ES实现存储、查询 当前文章使用ES版本为6.4.3,SpringBoot版本为：2.1.8.RELEASE spring-boot-starter-data-elasticsearch 用过JPA的朋友应该知道，springdata是通过解析方法名来实现查询数据库的。同样的这个快速开发包也是大大简化了Java使用es的流程。 可以通过kibana界面查看并搜索数据，也可以直接调用我们自己写的findAll接口进行查询。 text=浩[1] 查询名字中或者desc中含有“浩”的数据 结语 这就是SpringBoot集成ES的基本步骤，相比较于自己引入ES的依赖要简单的很多。如果对你有帮助，请分享出去吧。 text=%E6%B5%A9
1K20编辑于 2023-09-09 - 来自专栏深度学习与python
从 SQLite 到 DuckDB：查询快 5 倍，存储减少 80%
尽管 SQLite 表现不错，但我们仍然面临两个关键挑战： 随着时间的推移，SQLite 数据库文件体积会显著增大。 随着数据集的增长，聚合查询响应速度开始变慢。 SQLite 和 DuckDB 都可以满足这些要求，但我们发现 DuckDB 在执行分析查询时比 SQLite 快 3 到 5 倍，而且随着数据量的增加，这种优势更加明显。 在数据管理领域，实现这一目标的最新技术是矢量化或即时查询执行引擎。DuckDB 使用了列存储矢量化查询执行引擎。虽然查询仍为解释执行，但会一次性处理大量值（一个“向量”）。 矢量化查询执行在 OLAP 查询中表现出更好的性能。 SQLite 逐行处理数据，而 DuckDB 使用列存储矢量化执行引擎，同时处理大量值。这种处理方式特别适合我们的分析工作负载。 总 结 自从迁移到 DuckDB 以来： 读取查询至少快了 3 到 5 倍（这也让我们的仪表盘更快了） 数据库文件占用的存储空间减少了约 80% 应用包体积几乎翻倍（从 26MB 增加到 44MB
3K10编辑于 2025-03-27 - 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
SPL可以让文件拥有计算能力，用它的轻量级列存文件存储不变的历史数据，较小的投入就能实现高速查询。SPL引擎非常轻，部署后占用存储空间仅几百M，单机就可以运行，无须集群。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的 SPL常规计算与MYSQL对比（单位：秒）注：测试环境和方法参见 《如何用esProc将数据库表转储提速查询》SPL代码也很简单，比如大订单表的过滤和分组汇总：专业OLAP数据仓库利用列存压缩等技术能让常规运算中跑出较高性能 WHERE A.id=a AND B.id<>a GROUP BY id )ORDER BY cnt DESCLIMIT 20传统数据库跑得太慢，用户转而求助于 ClickHouse，结果用了 5 有查询、报表性能痛点的小伙伴赶快来报名参加吧！（前往乾学院首页右上角报名吧~）
23910编辑于 2025-05-23 - 来自专栏小七的各种胡思乱想
Bert不完全手册5. 推理提速？训练提速!内存压缩！Albert
但是从包含的信息量来看，词向量本身只包含上下文无关的信息，并不需要像隐藏层一样存储大量的上下文语义，所以相同维度的限制在词向量部分存在一定的参数冗余。 个人感觉只是AB，BA的构造方式可能有些过于局部了 [e5ba8a6f50c78abae00ce88786ed667f.png] 整体效果 Albert在以上三点改良之外，在训练中也进行了一些优化，例如使用了 LAMB optimizer来加速训练等等，Albert总共放出了以下几种参数的模型，和BERT之间的效果对比如下~ [e28150b7990f5691963fa463a3872f60.png] [e5c0fc454c8f3d73a1f83964ae63de78 虽然albert xlarge参数压缩到1/5，但是训练更慢，推理也更慢 超越Bert：Albert xxlarge虽然只有12层，但是4倍的隐藏层还是让它的表现全面超越了Bert large，参数压缩到 2/3，但是训练速度更更慢，以及超大隐藏层会导致计算中中间变量的存储过大，一般机子跑不动。。。
1.4K61编辑于 2022-05-15 - 来自专栏shysh95
文件存储
，最后把数据块再写回磁盘 文件的存储 文件的数据在磁盘上的存储方式有哪几种？ 连续空间存储方式 非连续空间存储方式 连续空间存储方式 连续空间存储使用前必须要知道文件的大小，这样文件系统才可以在磁盘上找到一块连续的空间分配给文件。文件头里需要指定起始块的位置和长度。 连续空间存储优点？ 文件数据紧密相连，一次磁盘寻道便可读出整个文件，读写效率高。 连续空间存储缺点？ 显式链表整个查询过程都是在内存中进行，因此检索速度快，而且大大减少了磁盘的访问次数。但是由于整张表都存放在内存中，所以不适合大磁盘。 索引方式的特点？ Unix中文件数据的存储方式？
4.6K30发布于 2021-10-26 - 来自专栏Spring相关
文件存储
文件存储 1.新建一个项目FilePersistenceTest 2.修改activity_main.xml: <?xml version="1.0" encoding="utf-8"? }catch(Exception e){ e.printStackTrace(); } Log.d(TAG, "读取到的文件的内容为
3.8K20发布于 2018-12-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号