- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached 4.有效利用内存，Heap内存占用量小，采用三级存储机制，只有近期插入的新鲜数据驻留在Heap内存中，大量次新鲜数据驻留在内存映射文件(Memory Mapped File)中，巨量老数据驻留在磁盘文件中 ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 内存映射文件[4]是一种介于纯内存和纯磁盘之间的存储机制，它的性能介于内存和磁盘之间，它的数据也是持久化的，宕机数据基本不丢失，同时它不受Heap GC影响。 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB
2.5K100发布于 2018-02-05 - 来自专栏stark张宇
Mysql高可用高性能存储应用系列4 - 分库分表、中间件
-----+---------------------+------+-----+------------+----------------+| user_id | int(4) | NO | | 0 | || user_logintime | int(4) | NO | 比如user_id进行取模进行分表，但是在后台管理数据的时候会遇到一个问题，数据聚合和保持一致性的问题，比如我们现在业务中的评论数据就很多，user_id 对 128进行取模，再后台管理的时候，把数据再存储在 值是非负的整数，值的范围构成一个圆环，值为2^32集群节点按照一定的规则求hash值，然后放在环中对数据K求hash值，然后放入环中，在按照顺时针方向找到最近的节点，保存到上面一致性Hash算法是怎么解决节点上的存储不均的情况呢 在节点上创建虚拟节点，让虚拟节点对应真实节点，让数据的存储尽量均衡，这样就解决了数据不均的情况。
1.3K91编辑于 2023-03-31 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。 如上图,当我使用4个节点创建分布式minio时,会使用默认的pvc创建存储.默认每个节点创建1个10G的存储(可以自定义修改) 客户端mc安装和使用 安装 wget https://dl.min.io 但这其中有1个最大的问题, 如果你使用的是nfs这种自建共享存储的话,就算minio起了4个节点,能保证数据安全.但是你的nfs磁盘确只有1个,万一的你的nfs宕机,磁盘损坏了,你的数据全都没有了.所以为了保证数据的安全性
7.2K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 三、RocksDB的应用场景 由于其高性能和可靠性，RocksDB被广泛应用于多种场景中： 数据库系统：RocksDB可以作为底层存储引擎，支持关系型数据库或非关系型数据库系统。 RocksDB的应用使得TiKV能够在多CPU场景下高效运行，充分利用快速存储如SSD，并支持弹性扩展架构。这些特性使得TiDB能够在处理大规模数据时保持高性能和可扩展性。 这使得 Flink 能够在处理大规模数据流时保持高性能和可扩展性。 总之，RocksDB 作为 Flink 的状态后端提供了一种高效、可靠和可扩展的方式来管理应用程序的状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.3K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 4. 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
65910编辑于 2024-12-13 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
4. 关于哪些物品入库(并且可以立即发货)和哪些物品退订，需要通知相应的客户。 这显然不是一个完整的例子，它甚至超出了本书中所用样例表的范围，但足以帮助表达我们的意思了。 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 你可能没有创建存储过程的安全访问权限。许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.4K70发布于 2019-06-22 - 来自专栏数据和云
系列 | 高性能存储-MySQL数据库之存储过程揭秘
墨墨导读：本文介绍什么是存储过程？为什么要使用存储过程？如何使用存储过程？如何去使用存储过程以及怎么执行存储过程。 DBASK小程序已经开设“MySQL 数据库专栏”，欢迎大家关注！ 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程? 2018DTCC , 数据库大会PPT 2018DTC，2018 DTC 大会 PPT ENMOBK，《Oracle性能优化与诊断案例》 DBALIFE ，“DBA 的一天”海报 DBA04 ，DBA 手记4
2.6K30发布于 2019-06-28 - 来自专栏C/C++基础
微服务设计原则——高性能：存储设计
4.冷热分离 冷热分离可以说是每个存储产品和海量业务的必备功能，MySQL、ElasticSearch 等都直接或间接支持冷热分离。 （2）信箱容量：一般来说查看 Feed 流（如微信朋友圈）不会不断地往下翻页查看，这时候应该限制信箱存储条目数，超出的条目从其他存储查询。 数据存储地点的异构 据存储在分散的物理位置上，此类情况大多出现在大型机构中，如销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中。 数据存储逻辑的异构 相同的数据按照不同的逻辑来存储，比如按照不同索引维度来存储同一份数据。 这里主要说的是按照不同的维度建立索引关系以加速查询。如京东、天猫等网上商城，一般按照订单号进行了分库分表。 参考文献 一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列
43210编辑于 2024-08-19 YashanDB高性能存储引擎原理解析
高性能的存储引擎作为数据库系统的核心组件，承担着数据的高效存储与访问任务。YashanDB作为新一代数据库产品，在存储引擎设计上采用了多种创新技术以满足不同业务场景的需求。 本文将基于YashanDB体系架构，从逻辑与物理存储结构、事务机制、并发控制、持久化策略等方面，系统性解析其高性能存储引擎的设计原理。 存储结构优化YashanDB支持多种存储结构以适应不同的数据访问模式和业务需求，主要包括HEAP（堆式存储）、BTREE（B树存储）、MCOL（可变列式存储）和SCOL（稳态列式存储）。 事务机制与并发控制YashanDB实现了高性能的事务处理能力，保障了ACID特性和多版本并发控制（MVCC），有效提高数据库并发效率和数据一致性：多版本并发控制（MVCC）：通过维护事务及数据的多个版本 结论YashanDB通过具有针对性的存储结构设计、多版本事务并发控制、完善的持久化机制及多样化的部署形态，建设了高性能、高可用的存储引擎体系。
26210编辑于 2025-08-19- 来自专栏存储内核技术交流
聊聊daos高性能分布式存储
，并且它能够支持大规模分布式存储。 但是随着新硬件3D-XPoint出现提供臂传统存储低几个数量级的低延迟，为机械盘设计的软件栈会成为这些新型存储很大的开销。 libfabric是daos的最后一个部分，它主要负责高性能的网络，比如支持Omni-Path/IB等网络架构。 daos server是一个多容错的daemon进程,它直接访问SCM和NVMe，所有的metadata和小io存储在SCM中,大IO存储在NVMe中。 Daos数据存储策略 daos存储导出对象的形式提供key0-value或者key-array的api形式提供给用户访问。
4.1K20编辑于 2022-08-17 - 来自专栏技术杂记
Mysql 优化存储4
一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说，能节省不少磁盘空间，并且对查询性能也有一定优化效果
41620编辑于 2022-03-21 - 来自专栏迁移内容
高性能MySQL(4)——查询性能优化
在应用层做关联，可以更容易的对数据库进行拆分，更容易做到高性能和可扩展。 查询本身效率也可能会有所提升。 可以减少冗余记录的查询。 ** 4). 如果没有通过ORDER BY子句显式地指定排序列，当查询使用GROUP BY 子句的时候，结果集会自动按照分组的列进行排序。 尽肯能的使用索引覆盖 4). 延迟关联 5). 有时候也可以将LIMIT查询转换为已知位置的查询，让MySQL通过范围扫描找到对应的结果。 6). 六、总结 如果把创建高性能应用程序比作是一个环环相扣的“难题”，除了前面介绍的schema. 索引和査询语句设计之外，査询优化应该是解开“难题”的最后一步了。 参考： 《高性能 MySQL 第三版》
1.8K10编辑于 2022-12-01 - 来自专栏用户5909132的专栏
腾讯云存储产品全线升级，满足更多高性能存储场景
12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴 文件存储元数据性能4倍提升，数据流动应对多业务诉求 随着高性能计算被应用于越来越多行业，高性能存储的需求也越来越大，过去，存储成本高和数据难管理，往往是企业面对的两大难题。 会上，来自腾讯云存储多款产品的负责人分享了各自场景下的实践理念，为企业进一步降本增效提供参考。 腾讯云文件存储CFS作为可拓展的共享文件存储服务，提供高性能、大容量、低成本的数据管理方案。 的高性能共享访问。 腾讯云存储高级产品经理何婧介绍称，腾讯云硬盘CBS在国内首创了容量和性能分开配置，其最大支持32TB存储容量和4GB/s带宽性能，帮助用户更好地按需配置资源；在数据备份方面，其支持基于云上的云原生数据备份
1.3K20编辑于 2022-12-06 - 来自专栏存储公众号：王知鱼
xiRAID：高性能块存储访问路径优化
总体目标： 开发并部署一种高性能的存储解决方案，该方案的核心是一个高效的块设备，能够克服虚拟化带来的性能损耗，特别是在与并行文件系统结合时，并能满足AI工作负载对随机和顺序访问的高性能需求。 目的： 在虚拟化环境下实现高性能存储数据路径。 核心功能： 支持创建具有RAID保护的存储卷。 能够将这些存储卷分配给虚拟机使用。 性能实测结果 (与理论 RAID5 对比)： 图片提供了一个性能对比表格，展示了 xiRAID 在各种I/O模式下（4K随机读写、顺序读写）接近或达到 2x RAID5 理论性能，并列出了相应的效率百分比 RAID解决方案，旨在提供高性能和高可扩展性的存储服务。 测试环境 - 操作系统 Rocky Linux 9, 使用 long-term (lt) 内核版本 6.10 性能测试工具 FIO (Flexible I/O Tester)，版本 3.36 基准测试负载 4K
45210编辑于 2025-05-23 - 来自专栏code人生
LevelDB：轻量级高性能键-值存储引擎
LevelDB是一种快速的键-值存储库，由Google开发，用于提供高性能的数据持久性存储。它通常被用作支持各种应用程序的底层数据库引擎，包括分布式数据库、区块链、分布式文件系统等。 LevelDB的用途 LevelDB适用于各种应用程序，尤其适用于需要高性能键-值存储的场景，例如： 1.分布式数据库： LevelDB可用作分布式数据库的存储引擎，用于存储和检索分布式系统中的数据。 4.缓存： LevelDB可用作缓存层，用于存储频繁访问的数据，以减少对主存储的访问压力。5.日志记录系统： LevelDB的日志结构使其非常适合用于构建日志记录系统，以便快速记录和检索日志数据。 LevelDB的特点 LevelDB具有许多特点，使其成为流行的键-值存储引擎之一： 1.高性能： LevelDB被设计成高性能的键-值存储引擎，适用于各种负载和访问模式。 4.数据持久性： LevelDB支持数据的持久性存储，确保数据不会丢失。5.并发支持： LevelDB支持多线程并发读取，但需要额外的同步机制来支持并发写入。
1.9K30编辑于 2023-10-19 - 来自专栏芋道源码1024
SpringBoot 搭建基于 minio 的高性能存储服务
下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 */ public void upload(MultipartFile file, String fileName) { // 使用putObject上传一个文件到存储桶中 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。 提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。 获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。 文章有帮助的话，在看，转发吧。
2.2K40编辑于 2022-03-04 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 YashanDB存储引擎架构YashanDB的存储引擎基于多层存储结构设计，采用三种部署形态：单机、分布式集群和共享集群。不同部署形态下的存储引擎架构均体现出高效性和灵活性。1. 存储结构YashanDB支持不同的存储结构，包括HEAP、BTREE、MCOL和SCOL。这些存储结构分别对应不同的应用场景，能够满足行存、列存及混合存储的需求，从而提升数据存取效率。2. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。
14610编辑于 2025-08-27- 来自专栏萝卜要加油
Go高性能编程EP4: 反射
) b.ResetTimer() for i := 0; i < b.N; i++ { value.FieldByName("Net").SetString("tcp4" list 6: reflect/value.go[4] func (v Value) FieldByName(name string) Value { v.mustBe(Struct) return } return t.FieldByNameFunc(func(s string)bool { return s == name }) } 在反射的内部，字段是按顺序存储的 如何提高性能 尽量避免使用reflect 使用反射赋值，效率非常低下，如果有替代方案，尽可能避免使用反射，特别是会被反复调用的热点代码。 [4]reflect/value.go: https://go.googlesource.com/go/blob/82c371a307116450e9ab4dbce1853da3e69f4061/src
22010编辑于 2025-03-07 - 来自专栏云深之无迹
STM32F4-高性能家族
F4还是垫底 这是高性能的家族 我们的F103是主流MCU F401系列 F411系列 最小的就是这样子WLCSP的封装，不过是F411里面的最小 STM32F4系列的入门级微控制器！ DMIPS，尺寸最小、成本最低的解决方案，具有卓越的功率效率(Dynamic Efficiency™) STM32F401 –尺寸不到3 x 3mm，具有USB OTG2.0FS和SDIO接口 这就是高性能里面最小的封装 STM32F412– 高RAM和闪存容量，USB接口，增强型外设集，包括灵活的外部静态存储器控制器，具有用于LCD和外部存储器控制的高达16位的数据总线，双模四通道SPI、CAN、DFSDM和TRNG。 淘宝里面最多的就是这个F411了 Apple Watch充电器的里面也有MCU 不过是L4的，记错了 我也不知道人家怎么选型的，可能是使用了USB 很紧 TI TPS51604双MOS管驱动器，这颗芯片在之前的充电线中也有使用
45900编辑于 2025-02-05 - 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 如何将存储技术与人工智能、机器学习相结合，从数据存储、处理到智能分析，如何利用存储技术为AI应用提供高效、可扩展的基础，熊老师在演讲中提出了他的思考。 站在业务角度，把整个大模型分为以下几个主要阶段，1）数据注入，方式有多种，来满足大模型需要各种语料的注入；2）数据预处理，常见的批注，结构化的处理；3）训练和精调，一轮训练跑下来是比较费成本；4）推理， 对存储产品主要有以下几个诉求，1）统一存储，一套存储能够支撑全流程处理，支持数据自由流动，避免等待数据、避免在不同的存储产品之间切换、避免来回拷贝数据；2）足够高性能，避免算力等待存储而导致浪费；3）内容审核
45110编辑于 2024-01-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号