- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached 3.容量大，可存储超过内存容量的数据。 ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 Figure 3 SessionDB总体架构和设计 整个架构(见Figure 3)由四个层次组成，最顶上的一个是当前活跃的ActiveMapTable，相当于LSM树的C0部件，Put/Delete操作发生且仅发生在 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB
2.5K100发布于 2018-02-05 - 来自专栏迁移内容
高性能MySQL(3)——创建高性能索引
1.4、其他索引类别 还有很多第三方的存储引擎使用不同类型的数据结构来存储索引。 三、高性能的索引策略 3.1、独立的列 索引列不能是表达式的一部分，也不能是函数的参数。 例如：LELECT COUNT(DISTINCT city)/COUNT() AS sel1, COUNT(DISTINCT LEFT(city, 3))/COUNT() AS sel2, …; 如果前缀的选择性接近 例如：key(col1, col2, col3)； MySQL5.0之后的版本引入了“索引合并”的策略，一定程度上可以使用表上的多个单列索引来定位表中的行； 索引合并策略有时候是一种优化后的结果，但实际上更说明表上的索引建得很糟糕 参考： 《高性能 MySQL 第三版》 聚簇索引和非聚簇索引 mysql-覆盖索引 创建高性能的索引
1.6K20编辑于 2022-12-01 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 S3事实标准 简单强大 存储机制(Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 [IP3] >> /etc/hosts" echo "host4 [IP4] >> /etc/hosts" #3.创建namespace #你也可以使用自定义的其他namespace
7.2K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 三、RocksDB的应用场景 由于其高性能和可靠性，RocksDB被广泛应用于多种场景中： 数据库系统：RocksDB可以作为底层存储引擎，支持关系型数据库或非关系型数据库系统。 RocksDB的应用使得TiKV能够在多CPU场景下高效运行，充分利用快速存储如SSD，并支持弹性扩展架构。这些特性使得TiDB能够在处理大规模数据时保持高性能和可扩展性。 这使得 Flink 能够在处理大规模数据流时保持高性能和可扩展性。 总之，RocksDB 作为 Flink 的状态后端提供了一种高效、可靠和可扩展的方式来管理应用程序的状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.3K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 Parquet：列式存储格式，适合大规模数据分析，支持压缩和高效查询。 3. 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
65910编辑于 2024-12-13 - 来自专栏stark张宇
Mysql高可用高性能存储应用系列3 - mysqld_multi配置主从集群
3)随着数据增加，I/O操作增多，单机出现瓶颈。 主从复制就是从服务器的主节点，复制到多个从节点，默认采用异步的方式。 主从复制原理 从库服务器会开启两个一部的独立线程，I/O线程和Sql进程。 mysqld.log # 其他目录（） # mkdir /usr/local/mysql-5.7.37/tmp # chown -R mysql.mysql /usr/local/mysql-5.7.37 3. DWITH_xxx_STORAGE_ENGINE：指定静态编译到mysql的存储引擎，MyISAM， MERGE，MEMBER以及CSV四种引擎默认即被编译至服务器，不需要特别指定。 DWITH_MYISAM_STORAGE_ENGINE=1 ：添加MYISAM存储引擎支持 DWITH_INNOBASE_STORAGE_ENGINE=1 ：添加INNOBASE存储引擎支持 DWITH_MEMORY_STORAGE_ENGINE =1 : 添加MEMORY存储引擎支持 DSYSCONFDIR：初始化参数文件目录 DMYSQL_DATADIR：数据文件目录 DMYSQL_TCP_PORT：服务端口号，默认3306 DMYSQL_UNIX_ADDR
66630编辑于 2023-03-30 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
3. 库存中没有的物品需要订购，这需要与供应商进行某种交互。 4. 关于哪些物品入库(并且可以立即发货)和哪些物品退订，需要通知相应的客户。 如果所有开发人员和应用程序都使用同一(试验和测试)存储过程，则所使用的代码都是相同的。这一点的延伸就是防止错误。需要执行的步骤越多，出错的可能性就越大。防止错误保证了数据的一致性。 3. 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.4K70发布于 2019-06-22 - 来自专栏数据和云
系列 | 高性能存储-MySQL数据库之存储过程揭秘
墨墨导读：本文介绍什么是存储过程？为什么要使用存储过程？如何使用存储过程？如何去使用存储过程以及怎么执行存储过程。 DBASK小程序已经开设“MySQL 数据库专栏”，欢迎大家关注！ 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程? 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.6K30发布于 2019-06-28 - 来自专栏C/C++基础
微服务设计原则——高性能：存储设计
读写分离架构有以下几个特点： （1）数据库服务为主从架构； （2）主节点负责写操作，从节点负责读操作； （3）主节点将数据复制到从节点； 基于读写分离思想，可以设计出多种主从架构，如主-主-从、主 以电商平台为例，将商品数据、订单数据、用户数据分别存储在不同的数据库上，如下图所示： 优点： （1）切分规则清晰，业务划分明确； （2）可以按照业务的类型、重要程度进行成本管理，扩展也方便； （3 3.动静分离 动静分离将经常更新的数据和更新频率低的数据进行分离。 数据存储地点的异构 据存储在分散的物理位置上，此类情况大多出现在大型机构中，如销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中。 参考文献 一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列
43210编辑于 2024-08-19 YashanDB高性能存储引擎原理解析
高性能的存储引擎作为数据库系统的核心组件，承担着数据的高效存储与访问任务。YashanDB作为新一代数据库产品，在存储引擎设计上采用了多种创新技术以满足不同业务场景的需求。 本文将基于YashanDB体系架构，从逻辑与物理存储结构、事务机制、并发控制、持久化策略等方面，系统性解析其高性能存储引擎的设计原理。 存储结构优化YashanDB支持多种存储结构以适应不同的数据访问模式和业务需求，主要包括HEAP（堆式存储）、BTREE（B树存储）、MCOL（可变列式存储）和SCOL（稳态列式存储）。 事务机制与并发控制YashanDB实现了高性能的事务处理能力，保障了ACID特性和多版本并发控制（MVCC），有效提高数据库并发效率和数据一致性：多版本并发控制（MVCC）：通过维护事务及数据的多个版本 结论YashanDB通过具有针对性的存储结构设计、多版本事务并发控制、完善的持久化机制及多样化的部署形态，建设了高性能、高可用的存储引擎体系。
26210编辑于 2025-08-19- 来自专栏存储内核技术交流
聊聊daos高性能分布式存储
，并且它能够支持大规模分布式存储。 但是随着新硬件3D-XPoint出现提供臂传统存储低几个数量级的低延迟，为机械盘设计的软件栈会成为这些新型存储很大的开销。 传统并行文件系统的软件栈中包括cache/distribute lock依旧可以在3D NAND/3D-XPoint存储设备上使用，并且能获得更高的性能。 libfabric是daos的最后一个部分，它主要负责高性能的网络，比如支持Omni-Path/IB等网络架构。 Daos数据存储策略 daos存储导出对象的形式提供key0-value或者key-array的api形式提供给用户访问。
4.1K20编辑于 2022-08-17 - 来自专栏用户5909132的专栏
腾讯云存储产品全线升级，满足更多高性能存储场景
12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴 文件存储元数据性能4倍提升，数据流动应对多业务诉求 随着高性能计算被应用于越来越多行业，高性能存储的需求也越来越大，过去，存储成本高和数据难管理，往往是企业面对的两大难题。 会上，来自腾讯云存储多款产品的负责人分享了各自场景下的实践理念，为企业进一步降本增效提供参考。 腾讯云文件存储CFS作为可拓展的共享文件存储服务，提供高性能、大容量、低成本的数据管理方案。 的高性能共享访问。 十微秒级云硬盘，高效、灵活、统一管理 而在块存储领域，腾讯云硬盘CBS通用性云硬盘能帮助用户实现50%成本优化，极速型云硬盘更是国内率先进入十微秒时代的超高性能存储产品。
1.3K20编辑于 2022-12-06 - 来自专栏程序人生 阅读快乐
高性能MySQL(第3版)
《高性能mysql(第3版)》是mysql 领域的经典之作，拥有广泛的影响力。 第3 版更新了大量的内容，不但涵盖了最新mysql 5.5版本的新特性，也讲述了关于固态盘、高可扩展性设计和云计算环境下的数据库相关的新内容，原有的基准测试和性能优化部分也做了大量的扩展和补充。 《高性能mysql(第3版)》不但适合数据库管理员（dba）阅读，也适合开发人员参考学习。不管是数据库新手还是专家，相信都能从本书有所收获。
1.1K20发布于 2018-10-10 - 来自专栏存储公众号：王知鱼
xiRAID：高性能块存储访问路径优化
那么，如何在云环境和虚拟化场景下，突破存储性能的限制，真正释放AI计算的潜力？本文将深入探讨这一核心问题，并介绍一种旨在解决这些挑战、提供高性能存储解决方案的技术。 总体目标： 开发并部署一种高性能的存储解决方案，该方案的核心是一个高效的块设备，能够克服虚拟化带来的性能损耗，特别是在与并行文件系统结合时，并能满足AI工作负载对随机和顺序访问的高性能需求。 目的： 在虚拟化环境下实现高性能存储数据路径。 核心功能： 支持创建具有RAID保护的存储卷。 能够将这些存储卷分配给虚拟机使用。 结论： xiRAID Opus 是一种通过用户空间优化和特定技术手段，旨在解决虚拟化环境下存储性能瓶颈的解决方案，并在实际测试中表现出优异的性能，尤其适用于需要高性能存储的场景。 RAID解决方案，旨在提供高性能和高可扩展性的存储服务。
45210编辑于 2025-05-23 - 来自专栏code人生
LevelDB：轻量级高性能键-值存储引擎
LevelDB是一种快速的键-值存储库，由Google开发，用于提供高性能的数据持久性存储。它通常被用作支持各种应用程序的底层数据库引擎，包括分布式数据库、区块链、分布式文件系统等。 LevelDB的用途 LevelDB适用于各种应用程序，尤其适用于需要高性能键-值存储的场景，例如： 1.分布式数据库： LevelDB可用作分布式数据库的存储引擎，用于存储和检索分布式系统中的数据。 2.区块链： 许多区块链项目使用LevelDB来存储区块链的交易数据和状态信息。3.分布式文件系统： 分布式文件系统可以使用LevelDB来维护文件和元数据的索引。 LevelDB的特点 LevelDB具有许多特点，使其成为流行的键-值存储引擎之一： 1.高性能： LevelDB被设计成高性能的键-值存储引擎，适用于各种负载和访问模式。 3.开源： LevelDB是一个开源项目，可以在许多不同的平台上使用，并且有大量的社区支持。4.数据持久性： LevelDB支持数据的持久性存储，确保数据不会丢失。
1.9K30编辑于 2023-10-19 - 来自专栏芋道源码1024
SpringBoot 搭建基于 minio 的高性能存储服务
下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 */ public void upload(MultipartFile file, String fileName) { // 使用putObject上传一个文件到存储桶中 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。 提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。 获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。 文章有帮助的话，在看，转发吧。
2.2K40编辑于 2022-03-04 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 YashanDB存储引擎架构YashanDB的存储引擎基于多层存储结构设计，采用三种部署形态：单机、分布式集群和共享集群。不同部署形态下的存储引擎架构均体现出高效性和灵活性。1. 共享集群部署在共享集群环境下，所有实例通过共享存储来实现数据的高效访问，利用全局缓存技术实现实例之间的数据交换。这种架构适用于对高可用、高扩展性要求高的关键交易场景。3. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。
14610编辑于 2025-08-27- 来自专栏技术杂记
Mysql 优化存储3
结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl
34320编辑于 2022-03-21 - 来自专栏Android开发指南
3.数据存储
在内部文件的读取 **内部存储(internal storeage) ram:运行时期的内存 (相当于电脑的内存) rom；存储的内存 (相当于电脑的硬盘) ，sd卡路径：storage/sdcard * 所有存储设备，都会被划分成若干个区块，每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量 一般的术语:手机自带的32G，指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后， 就可以开始向SharedPreferences文件中存储数据了，主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交，从而完成数据存储操作。
1.2K70发布于 2018-05-14 - 来自专栏python3
KVM专题（3）存储
KVM存储模式 基于文件系统的存储 dir:目录格式的存储 fs:磁盘分区存储 neyfs:网络共享文件存储 基于设备的存储 Disk：物理硬盘存储 Iscsi:iSCSITarget后端存储 logical : 存储池的基本概念 Libvirt可以以存储池的形式对存储进行统一管理、简化操作 对于虚拟机操作来说，存储池和卷并不是必须的 ? gpt格式 准备xml文件 <pool type='disk'> <name>guest_images3_fs</name> <source> <device path='/dev/sdc virsh pool-start guest_images<em>3</em>_fs :启动<em>存储</em>池 创建基于iscsi的<em>存储</em>池 在iscsi Target服务器上面安装target服务，并配置 /backstores/ <em>存储</em>卷 ?
1.3K10发布于 2020-01-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号