- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL轻量级文件存储提速查询实践
把不再变化的历史数据存储成轻量级的 esProc SPL 列存文件，可以利用 SPL 语言的强大计算能力，跑出远超传统数据库的查询性能。 乾学院有例子数据 csv 文件和建表 SQL，模拟某公司线下订单和电子商务的部分数据。需要在 MYSQL 数据库中建表，并导入 csv 数据。 例子表结构是这样的：事件表 events，电商网站用户的操作事件，一千万行，包括字段：订单表 orders，存储线下订单数据，一千万行：订单名细表 details，存储线下订单明细数据，三千万行：客户表 customer，存储线下客户数据，数据量较小：城市表 city，存储线下客户所在城市数据，数据量较小：州表 state，存储线下客户所在州数据，数据量较小：运货商表 shipper，存储线下运货商数据
23510编辑于 2025-08-26 - 来自专栏洁癖是一只狗
FastDFS轻量级分布式存储文件系统
FastDFS是什么 FastDFS是使用c语言编写的开源高性能分布式文件系统 是由淘宝开发平台部资深架构师余庆开发，FastDFS孵化平台板块 他对文件进行管理，功能包括文件存储，文件同步，文件访问等 存储策略 为了支持大容量，存储节点采用分组的组织方式，存储系统由一个或多个组组成，组与组之间文件相互独立，所有组加起来就是存储系统的容量，一个组可以有一个或多个存储服务器组成，一个组下的存储服务器的文件都是相同的 ，storage将会分配一个存储目录，支持如下规则(在storage配置文件可以通过storage-path*,可以设置多个) 多个存储目录轮询 剩余空间最多优先 6.生成文件名 编码，转换为可以打印的字符串 7.选择两级目录 当选定存储目录之后，storage会为文件分配一个file id，每个存储目录下有两级256*256的子目录，storage会按文件名称进行两次hash, 路由到其中一个目录，然后将文件filedid为文件名存储在改子目录下 8.生成fileid 当文件存储到某个目录后，即认为文件存储成功，接下来就会为改文件生成一个文件id,文件id，有group，存储目录
1.5K10发布于 2020-06-15 - 来自专栏向治洪
iOS 轻量级存储
NSUserDefaults简介 在Android和ios都提供了本地轻量级数据存储，底层实现都是基于key-value的方式。 比如说我们要存储 用户名（NSString）:userName 密码（NSNumber）:userPassword 用户信息（NSDictionary）:userInfo 那么我们可以定义如下： NSString @"sex":@"male" }; BOOL isOn=YES; 接着我们使用NSUserDefaults开始对资料进行存储 forKey:@"info"]; [[NSUserDefaults standardUserDefaults] setBool:isOn forKey:@"isOn"]; //调用synchronize存储 initWithDictionary: [[NSUserDefaults standardUserDefaults]dictionaryRepresentation]]; NSUserDefaults只能存储一些简单的数据类型
1.5K80发布于 2018-01-26 - 来自专栏python3
python轻量级数据存储
python为开发者提供了一个轻量级的数据存储方式shelve，对于一些轻量数据，使用shelve是个比较不错的方式。对于shelve，可以看成是一个字典，它将数据以文件的形式存在本地。 1 import shelve 2 3 #shelve提供一个open方法，接受一个文件作为参数。 4 f=shelve.open('ceshi.text') #拿到一个shelve句柄，同时给shelve传入一个文件作为参数 5 6 #写入信息 7 f['info'] = {'name':
80830发布于 2020-01-20 - 来自专栏向治洪
React Native之轻量级存储AsyncStorage
AsyncStorage是一个简单的、异步的、持久化的以键值对形式进行数据存储的存储系统，对于App来说是全局性的。 示例 简单存储： setData(text){ AsyncStorage.setItem(AsyncStorageKey,text,()=>{ this.setState({ 在press方法中我们让count＋1，并且使用AsynStorage.setItem将选中的商品数据添加到App本地存储中。 这里之所以使用SP－为前缀，－SP为后缀，采用GUID为存储的键名的一部分，是为了区分其他数据，好处： 可以缺粉用户数据，例如username信息。 这样我们就把商品信息存储起来了。 我们在componentDidMount方法中作了一个处理，在用户第二次进入的时候，如果没有支付，依旧会告诉用户购物车中的商品数。
3.8K60发布于 2018-02-06 - 来自专栏向治洪
React Native之轻量级存储AsyncStorage
AsyncStorage是一个简单的、异步的、持久化的以键值对形式进行数据存储的存储系统，对于App来说是全局性的。 示例 简单存储： setData(text){ AsyncStorage.setItem(AsyncStorageKey,text,()=>{ this.setState({ 在press方法中我们让count＋1，并且使用AsynStorage.setItem将选中的商品数据添加到App本地存储中。 这里之所以使用SP－为前缀，－SP为后缀，采用GUID为存储的键名的一部分，是为了区分其他数据，好处： 可以缺粉用户数据，例如username信息。 这样我们就把商品信息存储起来了。 我们在componentDidMount方法中作了一个处理，在用户第二次进入的时候，如果没有支付，依旧会告诉用户购物车中的商品数。
3.3K60发布于 2018-01-26 - 来自专栏应用计算
第二篇 -COUNT DISTINCT：SPL轻量级文件存储提速查询实践
但数据库无法保证存储的次序，很难实施这样的有序去重算法。esProc SPL 可以把数据导出后有序存储，实现这种高性能的有序去重计数。 数据外置时，要按照用户号有序存储，可以使用有序去重提高性能。 我们用 ETL 工具定义一个新的 Q2.etl 文件，重复前面的步骤，连接数据库 - 拖拽 events 表 - 编辑：这里按照客户号有序存储，可以使用有序去重提高性能。排序字段必须放在第一个。
24210编辑于 2025-09-12 - 来自专栏shysh95
文件存储
，最后把数据块再写回磁盘 文件的存储 文件的数据在磁盘上的存储方式有哪几种？ 连续空间存储方式 非连续空间存储方式 连续空间存储方式 连续空间存储使用前必须要知道文件的大小，这样文件系统才可以在磁盘上找到一块连续的空间分配给文件。文件头里需要指定起始块的位置和长度。 连续空间存储优点？ 文件数据紧密相连，一次磁盘寻道便可读出整个文件，读写效率高。 连续空间存储缺点？ 索引方式优点： 文件的创建、增大、缩小很方便 不会有碎片问题 支持顺序读写和随机读写 索引方式缺点： 如果文件很小，一个块就可以存储所有数据，此时还需要额外分配一块磁盘空间来存储索引，造成了存储的开销。 Unix中文件数据的存储方式？
4.6K30发布于 2021-10-26 - 来自专栏Spring相关
文件存储
文件存储 1.新建一个项目FilePersistenceTest 2.修改activity_main.xml: <?xml version="1.0" encoding="utf-8"? }catch(Exception e){ e.printStackTrace(); } Log.d(TAG, "读取到的文件的内容为
3.8K20发布于 2018-12-18 - 来自专栏数据计算
数据外置提速革命：轻量级开源SPL如何用文件存储实现MPP级性能？
这些历史数据大多数情况下是不再变化的，如果能存成文件会更简单。但是文件本身没有计算能力，无法直接实施条件过滤、分组汇总等运算，更谈不上复杂的分析任务了。 SPL可以让文件拥有计算能力，用它的轻量级列存文件存储不变的历史数据，较小的投入就能实现高速查询。SPL引擎非常轻，部署后占用存储空间仅几百M，单机就可以运行，无须集群。 SPL还能嵌入前端应用中，只需要几个jar包和配置文件，就可以在应用内提供强计算能力。 实现数据外置提速的同时，也不会让系统架构变得很复杂：轻量的SPL，计算能力却非常强大，在列式存储、数据压缩、多线程并行等方面都做了深度优化，能让条件过滤、分组汇总这些常规运算的性能大幅提升，完全不输于专业的
23910编辑于 2025-05-23 - 来自专栏小工匠聊架构
数据存储之文件存储
概述 文件存取的核心就是输入流和输出流。 Android文件的操作模式 ? 文件的相关操作方法 ? e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } 文件存储位置 stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内部总的存储空间 totalBlocks = stat.getBlockCount(); return totalBlocks * blockSize; } /** * 获取手机内置存储剩余存储空间 stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内置存储总的存储空间
26.6K20发布于 2021-08-16 - 来自专栏Android开发
SharedPreferencesUtils（一个轻量级存储工具类）
用途：存放标记性数据和设置信息 功能： 1.保存字符串：saveString 2.返回字符串：getString 3.保存布尔：saveBoolean 4.返回布尔：getBoolean 5.保存int：saveInt 6.返回int：getInt 7.保存float：saveFloat 8.返回float：getFloat 9.查询某个key是否已经存在：contains
17310编辑于 2025-06-12 - 来自专栏应用计算
第六篇 枚举字段条件过滤--SPL轻量级文件存储提速查询实践
枚举字段的取值是有限几种值，针对枚举字段 f 的过滤条件写成 f =v1 or f=v2 or…或者 f !=v1 and f !=v2 and…，也可能写成 in 或者 not in。数据库要用 f 与 n 个值比较计算，数据表较大的时候比较次数会很多，性能就会比较差，而且 n 越大性能越差。
14310编辑于 2025-11-03 - 来自专栏应用计算
第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
如果预先将主子表都按照主键有序存储，就可以使用归并算法实现关联。这种算法只需要对两个表依次遍历，不必借助外存缓存，可以大幅降低计算量和 IO 量。 先做数据准备，把历史数据从数据库导出为 CTX 文件。在 ETL 中定义 Q4.etl：修改两个表的名字，加上 Q4。 注意：两表要按照 order_id 连接，就按照这个字段有序存储。但不选中“用数据库排序”。生成 SPL 代码 18：A5和 A8 中用 #order_id 来声明 CTX 是对这个字段有序的。
19710编辑于 2025-10-20 - 来自专栏DevOps
块存储，文件存储及对象存储 比较
文件存储： 通常NAS产品都是文件级存储,文件存储其实普通拿一台服务器/笔记本，只要装上合适的操作系统与软件，就可以架设FTP与NFS服务了，架上该类服务之后的服务器，就是文件存储的一种了。 操作对象是目录和文件，物理存储位置 是由 文件服务器对应的文件系统来决定的（比块存储多一个过程:判断参数文件 应该存储到哪个逻辑目录上。） 3. 文件存储，就是在文件系统一层对外提供服务，系统只用访问文件系统一级就可以，各个系统都可以根据接口取访问。 访问协议：文件存储，主要操作对象是文件和文件夹。 因为数据库需要存储裸盘映射给自己后，再根据自己的数据库文件系统来对了裸盘进行格式化，因此不能采用其他已经被格式化为某种文件系统的存储。此类更适合块存储。 2.对象存储的成本比普通的文件存储还是较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了作文件共享的时候，直接用文件存储的形式就好了，性价比高。
5.3K11编辑于 2024-03-29 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（一）
在计算机系统中，存储是指将数据保存在持久化介质上，以便以后访问和使用。不同类型的应用程序可能需要不同类型的存储，以满足其特定的需求。 文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。 这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。 其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。 存储提供者是一个NAS设备，使用“nfs-storage”存储类提供文件共享服务。
7.9K20编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（二）
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。 块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。 在块存储中，数据是以块的形式传输，并且每个块可以被独立地访问和管理。 块存储通常使用iSCSI（Internet Small Computer System Interface）协议将块设备连接到计算机系统。 存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。
7.3K10编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（三）
对象存储对象存储是一种分布式存储方式，将数据保存在对象中，每个对象都有唯一的标识符，可以通过该标识符访问对象。 对象存储通常使用REST API（Representational State Transfer Application Programming Interface）来访问和管理对象，因此可以通过公共互联网访问 对象存储通常用于需要海量存储的应用程序，例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供，该集群由多个存储节点组成，可以水平扩展以增加存储容量和吞吐量。 下面是一个使用Amazon S3提供对象存储的示例：apiVersion: v1kind: Podmetadata: name: example-podspec: containers: - 存储提供者是Amazon S3存储服务，使用“s3-storage”存储类提供对象存储服务。
7.2K10编辑于 2023-05-03 - 来自专栏小四的技术文章
浅谈文件存储
前言 今天分享一下文件存储的一些心得，在软件开发过程中，必然会涉及到文件存储，文件存储的方案有很多，市面上也出现了很多文件系统，我们需要根据自己的需求去选择选择存储方式和规格等等，例如是采用公有云存储还是私有云存储 场景 根据不同的公司的情况，软件的规模，生命周期，文件存储的自然也不同，我们主要来说一下一些解决方案。 私有云存储 对于政府项目，或者一些大型公司的项目，对于文件的安全和隐私比较注重，一般都会采用私有云文件存储，自己搭建文件系统，数据存储在自己的服务器上，它的好处是文件数据全部在自己的手上， 公有云储存 混合云存储 有一些场景可能需要用到混合云存储，有一些公司文件存储在自己的文件服务器上，但是如果出现一些需求，需要去调整大量的内外网环境，可能对某些业务产生一些安全隐患，并且产出不成正比，这时候可能就会选择将文件存储在公有云上 自建文件系统 如果我们需要自建文件系统，那么就需要衡量文件的存储量，如果有历史数据，那么就从历史数据去推算出每天/每月/每年的存储量，并估计出未来增长情况，如果没有，那么可能就需要从客户或者其他的一些指标去估计
4.3K30编辑于 2023-03-02 - 来自专栏Fish
android文件存储
为了输出数据，要把list中存储的写到一个txt文件里，就顺手学了一下 文件存储的方法，说是学，其实又是百度之后复制粘贴。 啊，下面是文件存储从代码，写得挺好的，收藏一下啦~ public void writeTxtToFile(String strcontent, String filePath, String fileName ) { //生成文件夹之后，再生成文件，不然会出错 makeFilePath(filePath, fileName); String strFilePath = } catch (Exception e) { Log.e("TestFile", "Error on write File:" + e); } } // 生成文件 } } catch (Exception e) { e.printStackTrace(); } return file; } // 生成文件夹
3.6K90发布于 2018-01-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号