- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
的瓶颈，为消除粘性会话，支持应用无状态(Stateless)，我们SOA团队在今年发起了集中式会话服务器(Centralized SessionServer)项目，该项目的核心是一个我们独立设计和开发的高性能持久化的 ： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB Bloom Filer 4. 10 Things to Know about Memory Mapped File in Java 5. BerkeleyDB Java Edition 6.
2.5K100发布于 2018-02-05 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 如上图,当我使用4个节点创建分布式minio时,会使用默认的pvc创建存储.默认每个节点创建1个10G的存储(可以自定义修改) 客户端mc安装和使用 安装 wget https://dl.min.io mirror 给存储桶和文件夹做镜像。 find 基于参数查找文件。 diff 对两个文件夹或者存储桶比较差异。
7.2K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 三、RocksDB的应用场景 由于其高性能和可靠性，RocksDB被广泛应用于多种场景中： 数据库系统：RocksDB可以作为底层存储引擎，支持关系型数据库或非关系型数据库系统。 RocksDB的应用使得TiKV能够在多CPU场景下高效运行，充分利用快速存储如SSD，并支持弹性扩展架构。这些特性使得TiDB能够在处理大规模数据时保持高性能和可扩展性。 这使得 Flink 能够在处理大规模数据流时保持高性能和可扩展性。 总之，RocksDB 作为 Flink 的状态后端提供了一种高效、可靠和可扩展的方式来管理应用程序的状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.3K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 具体内容包括： 环境配置与依赖安装 数据存储技术选型 实现高性能数据存储 数据读取与处理 性能测试与优化 1. 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
66010编辑于 2024-12-13 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 你可能没有创建存储过程的安全访问权限。许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程?你依然可以使用：MySQL将编写存储过程的安全和访问与执行存储过程的安全和访问区分开来。这是好事情。即使你不能(或不想)编写自己的存储过程，也仍然可以在适当的时候执行别的存储过程。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.4K70发布于 2019-06-22 - 来自专栏数据和云
系列 | 高性能存储-MySQL数据库之存储过程揭秘
墨墨导读：本文介绍什么是存储过程？为什么要使用存储过程？如何使用存储过程？如何去使用存储过程以及怎么执行存储过程。 DBASK小程序已经开设“MySQL 数据库专栏”，欢迎大家关注！ 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程? 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.6K30发布于 2019-06-28 - 来自专栏C/C++基础
微服务设计原则——高性能：存储设计
在数据库和 KV 存储上也可以采取动态分离的方式。动静分离更像是一种垂直切分，将动态和静态的字段分别存储在不同的库表中，减小数据库锁的粒度，同时可以分配不同的数据库资源来合理提升利用率。 （2）信箱容量：一般来说查看 Feed 流（如微信朋友圈）不会不断地往下翻页查看，这时候应该限制信箱存储条目数，超出的条目从其他存储查询。 数据存储地点的异构 据存储在分散的物理位置上，此类情况大多出现在大型机构中，如销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中。 数据存储逻辑的异构 相同的数据按照不同的逻辑来存储，比如按照不同索引维度来存储同一份数据。 这里主要说的是按照不同的维度建立索引关系以加速查询。如京东、天猫等网上商城，一般按照订单号进行了分库分表。 参考文献 一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列
43210编辑于 2024-08-19 YashanDB高性能存储引擎原理解析
高性能的存储引擎作为数据库系统的核心组件，承担着数据的高效存储与访问任务。YashanDB作为新一代数据库产品，在存储引擎设计上采用了多种创新技术以满足不同业务场景的需求。 本文将基于YashanDB体系架构，从逻辑与物理存储结构、事务机制、并发控制、持久化策略等方面，系统性解析其高性能存储引擎的设计原理。 存储结构优化YashanDB支持多种存储结构以适应不同的数据访问模式和业务需求，主要包括HEAP（堆式存储）、BTREE（B树存储）、MCOL（可变列式存储）和SCOL（稳态列式存储）。 事务机制与并发控制YashanDB实现了高性能的事务处理能力，保障了ACID特性和多版本并发控制（MVCC），有效提高数据库并发效率和数据一致性：多版本并发控制（MVCC）：通过维护事务及数据的多个版本 结论YashanDB通过具有针对性的存储结构设计、多版本事务并发控制、完善的持久化机制及多样化的部署形态，建设了高性能、高可用的存储引擎体系。
26210编辑于 2025-08-19- 来自专栏存储内核技术交流
聊聊daos高性能分布式存储
，并且它能够支持大规模分布式存储。 但是随着新硬件3D-XPoint出现提供臂传统存储低几个数量级的低延迟，为机械盘设计的软件栈会成为这些新型存储很大的开销。 libfabric是daos的最后一个部分，它主要负责高性能的网络，比如支持Omni-Path/IB等网络架构。 daos server是一个多容错的daemon进程,它直接访问SCM和NVMe，所有的metadata和小io存储在SCM中,大IO存储在NVMe中。 Daos数据存储策略 daos存储导出对象的形式提供key0-value或者key-array的api形式提供给用户访问。
4.1K20编辑于 2022-08-17 - 来自专栏用户5909132的专栏
腾讯云存储产品全线升级，满足更多高性能存储场景
在架构上，腾讯云COS推出新一代同城多活存储系统，利用EC编码技术，将数据分块、分机房存储，将存储的可靠性提升了10倍，并通过新一代高可用机制，保障机房故障时，能够让读写请求正常执行，使得业务访问可用性提升了 10倍。 该“三级加速体系”采用分布式元数据管理技术，将元数据的操作性能提升了10倍，并通过海量强一致的缓存技术，提供Tbps级的海量吞吐，此外，其智能分层缓存架构，能够有效降低超50%对象存储带宽。 文件存储元数据性能4倍提升，数据流动应对多业务诉求 随着高性能计算被应用于越来越多行业，高性能存储的需求也越来越大，过去，存储成本高和数据难管理，往往是企业面对的两大难题。 的高性能共享访问。
1.3K20编辑于 2022-12-06 - 来自专栏存储公众号：王知鱼
xiRAID：高性能块存储访问路径优化
那么，如何在云环境和虚拟化场景下，突破存储性能的限制，真正释放AI计算的潜力？本文将深入探讨这一核心问题，并介绍一种旨在解决这些挑战、提供高性能存储解决方案的技术。 总体目标： 开发并部署一种高性能的存储解决方案，该方案的核心是一个高效的块设备，能够克服虚拟化带来的性能损耗，特别是在与并行文件系统结合时，并能满足AI工作负载对随机和顺序访问的高性能需求。 目的： 在虚拟化环境下实现高性能存储数据路径。 核心功能： 支持创建具有RAID保护的存储卷。 能够将这些存储卷分配给虚拟机使用。 结论： xiRAID Opus 是一种通过用户空间优化和特定技术手段，旨在解决虚拟化环境下存储性能瓶颈的解决方案，并在实际测试中表现出优异的性能，尤其适用于需要高性能存储的场景。 RAID解决方案，旨在提供高性能和高可扩展性的存储服务。
45210编辑于 2025-05-23 - 来自专栏code人生
LevelDB：轻量级高性能键-值存储引擎
LevelDB是一种快速的键-值存储库，由Google开发，用于提供高性能的数据持久性存储。它通常被用作支持各种应用程序的底层数据库引擎，包括分布式数据库、区块链、分布式文件系统等。 LevelDB的核心概念 键-值存储 LevelDB是一个键-值存储引擎，它允许你将数据存储为键值对的形式。每个键都是唯一的，与一个值相关联。 LevelDB的用途 LevelDB适用于各种应用程序，尤其适用于需要高性能键-值存储的场景，例如： 1.分布式数据库： LevelDB可用作分布式数据库的存储引擎，用于存储和检索分布式系统中的数据。 4.缓存： LevelDB可用作缓存层，用于存储频繁访问的数据，以减少对主存储的访问压力。5.日志记录系统： LevelDB的日志结构使其非常适合用于构建日志记录系统，以便快速记录和检索日志数据。 LevelDB的特点 LevelDB具有许多特点，使其成为流行的键-值存储引擎之一： 1.高性能： LevelDB被设计成高性能的键-值存储引擎，适用于各种负载和访问模式。
1.9K30编辑于 2023-10-19 - 来自专栏芋道源码1024
SpringBoot 搭建基于 minio 的高性能存储服务
每天 10:33 更新文章，每天掉亿点点头发... 下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 max-request-size: 10MB #minio配置 minio: access-key: AKIAIOSFODNN7EXAMPLE #key就是docker 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。
2.2K40编辑于 2022-03-04 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 YashanDB存储引擎架构YashanDB的存储引擎基于多层存储结构设计，采用三种部署形态：单机、分布式集群和共享集群。不同部署形态下的存储引擎架构均体现出高效性和灵活性。1. 存储结构YashanDB支持不同的存储结构，包括HEAP、BTREE、MCOL和SCOL。这些存储结构分别对应不同的应用场景，能够满足行存、列存及混合存储的需求，从而提升数据存取效率。2. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。
14610编辑于 2025-08-27- 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 如何将存储技术与人工智能、机器学习相结合，从数据存储、处理到智能分析，如何利用存储技术为AI应用提供高效、可扩展的基础，熊老师在演讲中提出了他的思考。 对存储产品主要有以下几个诉求，1）统一存储，一套存储能够支撑全流程处理，支持数据自由流动，避免等待数据、避免在不同的存储产品之间切换、避免来回拷贝数据；2）足够高性能，避免算力等待存储而导致浪费；3）内容审核 端到端，从IT全链路全栈维度上，腾讯云提供存储、计算、网络端到端大模型解决方案：存储层，以对象存储COS为底座的数据湖，加速层，数据加速器GooseFS系列，计算层，TACO面向GPU的加速套件，网络层
45110编辑于 2024-01-31 - 来自专栏Apache IoTDB
Druid ：高性能、列式的分布式数据存储
其中一个是阿里的数据库连接池，另一个是列式存储的分布式数据存储系统。我曾经一度认为是一个东西，本文介绍后一种Druid。 本文预计阅读时间 7分钟。 本文的druid是这个： ? 一个高性能、列式的分布式数据存储。 Druid 命名来自游戏中的德鲁伊角色，比如在Dota里德鲁伊有人和熊两种形态，还可以召唤小熊，不多说废话了。主要比喻面向各种场景都能适用。 Real-time 节点在内存中维护一个索引，随着日志数据的到达，会先加到内存索引中，并周期性的将索引和当前内存数据持久化到磁盘上，比如每 10 分钟持久化一次，或者每处理10000条数据持久化一次。 Segment 是 Druid 数据存储的基本单位。 Historical 节点： Real-time 节点整理好的 Segment，交给了底层存储。 其次，Segment 是列式存储的，每列可以选择编码和压缩方式。一般 String 类型选择字典编码。RLE 、BitMap等。 存储模型没什么特殊的地方，基本都是列式存储的特点。
2K30发布于 2020-09-27 - 来自专栏Java技术栈
Spring Boot + minio 实现高性能存储服务，So Easy~！
点击关注公众号，Java干货及时送达 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 官网地址： https://min.io/ 文档地址： https://docs.min.io/ 一. /java-client-quickstart-guide.html 下面介绍配置文件： spring: servlet: multipart: max-file-size: 10MB max-request-size: 10MB #minio配置 minio: access-key: AKIAIOSFODNN7EXAMPLE #key就是docker 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。
2.2K20编辑于 2022-09-07 - 来自专栏芋道源码1024
Spring Boot + minio 实现高性能存储服务，So Easy~！
每天 10:33 更新文章，每天掉亿点点头发... 下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 max-request-size: 10MB #minio配置 minio: access-key: AKIAIOSFODNN7EXAMPLE #key就是docker 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。
1.1K10编辑于 2022-09-23 - 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移，网关看起是一种方法，但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费，但实际上，相比于其它的数据迁移项目，它的步骤没有那么少。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能，以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时，请确定数据的存储方式。
2.7K60发布于 2018-03-02 使用DPU的高性能数据中心存储
今天我们通过OCP 2024峰会上，NVIDIA和Supermicro做的演讲《High Performance Data Center Storage Using DPUs》来看下DPU在存储领域的应用 这次演讲介绍了一种使用基于DPU 的 JBOF（Just a Bunch of Flash）来运行存储数据管理栈的Scale-out全闪存存储架构的serverless实现方案。 该解决方案适用于包括AI 训练在内的一系列高性能工作负载。 实现此设计的挑战包括：实现DPU 平台所需存储性能；JBOF、DPU 与存储栈的集成；数据路径处理功能的卸载支持；多种网络协议的支持。 下图是BlueField DPU在存储中的解决方案。它不仅被应用于JBOF中，而且在存储数据的整个路径上（前端或者客户端）都有应用。 演讲者发现，将一些AI数据或者workload移动到存储上对性能改进非常有益，尤其是在RAG场景下。
52611编辑于 2025-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号