- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 5.线程安全，支持多线程并发和非阻塞(non-blocking)式读写。 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB Bloom Filer 4. 10 Things to Know about Memory Mapped File in Java 5. BerkeleyDB Java Edition 6.
2.5K100发布于 2018-02-05 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 ://192.168.1.13/export3 http://192.168.1.14/export4 \ http://192.168.1.15/export5 wget https://download.osichina.net/tools/k8s/yaml/minio/minio-distributed-service.yaml #5.
7.2K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 三、RocksDB的应用场景 由于其高性能和可靠性，RocksDB被广泛应用于多种场景中： 数据库系统：RocksDB可以作为底层存储引擎，支持关系型数据库或非关系型数据库系统。 RocksDB的应用使得TiKV能够在多CPU场景下高效运行，充分利用快速存储如SSD，并支持弹性扩展架构。这些特性使得TiDB能够在处理大规模数据时保持高性能和可扩展性。 这使得 Flink 能够在处理大规模数据流时保持高性能和可扩展性。 总之，RocksDB 作为 Flink 的状态后端提供了一种高效、可靠和可扩展的方式来管理应用程序的状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.3K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 总结 通过本文的介绍，我们展示了如何使用Python实现高性能的数据存储。利用HDF5和Parquet等高效数据存储格式，我们可以显著提升数据的读写速度和存储效率。 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
65910编辑于 2024-12-13 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 你可能没有创建存储过程的安全访问权限。许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程?你依然可以使用：MySQL将编写存储过程的安全和访问与执行存储过程的安全和访问区分开来。这是好事情。即使你不能(或不想)编写自己的存储过程，也仍然可以在适当的时候执行别的存储过程。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.4K70发布于 2019-06-22 - 来自专栏数据和云
系列 | 高性能存储-MySQL数据库之存储过程揭秘
墨墨导读：本文介绍什么是存储过程？为什么要使用存储过程？如何使用存储过程？如何去使用存储过程以及怎么执行存储过程。 DBASK小程序已经开设“MySQL 数据库专栏”，欢迎大家关注！ 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程? 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.6K30发布于 2019-06-28 - 来自专栏C/C++基础
微服务设计原则——高性能：存储设计
将热数据放到性能更好的存储设备上，冷数据下沉到廉价的磁盘，从而节约成本。 5.重写轻读 基本思路就是写入数据时多写点（冗余写），降低读的压力。 （2）信箱容量：一般来说查看 Feed 流（如微信朋友圈）不会不断地往下翻页查看，这时候应该限制信箱存储条目数，超出的条目从其他存储查询。 数据存储地点的异构 据存储在分散的物理位置上，此类情况大多出现在大型机构中，如销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中。 数据存储逻辑的异构 相同的数据按照不同的逻辑来存储，比如按照不同索引维度来存储同一份数据。 这里主要说的是按照不同的维度建立索引关系以加速查询。如京东、天猫等网上商城，一般按照订单号进行了分库分表。 参考文献 一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列
43210编辑于 2024-08-19 YashanDB高性能存储引擎原理解析
高性能的存储引擎作为数据库系统的核心组件，承担着数据的高效存储与访问任务。YashanDB作为新一代数据库产品，在存储引擎设计上采用了多种创新技术以满足不同业务场景的需求。 本文将基于YashanDB体系架构，从逻辑与物理存储结构、事务机制、并发控制、持久化策略等方面，系统性解析其高性能存储引擎的设计原理。 存储结构优化YashanDB支持多种存储结构以适应不同的数据访问模式和业务需求，主要包括HEAP（堆式存储）、BTREE（B树存储）、MCOL（可变列式存储）和SCOL（稳态列式存储）。 事务机制与并发控制YashanDB实现了高性能的事务处理能力，保障了ACID特性和多版本并发控制（MVCC），有效提高数据库并发效率和数据一致性：多版本并发控制（MVCC）：通过维护事务及数据的多个版本 结论YashanDB通过具有针对性的存储结构设计、多版本事务并发控制、完善的持久化机制及多样化的部署形态，建设了高性能、高可用的存储引擎体系。
26210编辑于 2025-08-19- 来自专栏存储内核技术交流
聊聊daos高性能分布式存储
，并且它能够支持大规模分布式存储。 但是随着新硬件3D-XPoint出现提供臂传统存储低几个数量级的低延迟，为机械盘设计的软件栈会成为这些新型存储很大的开销。 libfabric是daos的最后一个部分，它主要负责高性能的网络，比如支持Omni-Path/IB等网络架构。 daos server是一个多容错的daemon进程,它直接访问SCM和NVMe，所有的metadata和小io存储在SCM中,大IO存储在NVMe中。 Daos数据存储策略 daos存储导出对象的形式提供key0-value或者key-array的api形式提供给用户访问。
4.1K20编辑于 2022-08-17 - 来自专栏全栈程序员必看
HTML 5 Web 存储
大家好，又见面了，我是全栈君 HTML5 提供了两种在客户端存储数据的新方法： localStorage – 没有时间限制的数据存储 sessionStorage – 针对一个 session 的数据存储 html5 web storage的浏览器支持判断 要判断浏览器是否支持localStorage可以使用下面的代码： if(window.localStorage){ alert(“浏览支持localStorage localStorage和sessionStorage都具有相同的操作方法，例如setItem、getItem和removeItem等 localStorage和sessionStorage的方法 setItem存储 value http://hovertree.com/menu/html5/ 用途：将value存储到key字段 用法：.setItem( key, value) 代码示例：sessionStorage.setItem (“key”, “value”); localStorage.setItem(“site”, “xiao”); getItem获取value 用途：获取指定key本地存储的值 用法：.getItem
67610编辑于 2022-07-15 - 来自专栏用户5909132的专栏
腾讯云存储产品全线升级，满足更多高性能存储场景
12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴 文件存储元数据性能4倍提升，数据流动应对多业务诉求 随着高性能计算被应用于越来越多行业，高性能存储的需求也越来越大，过去，存储成本高和数据难管理，往往是企业面对的两大难题。 会上，来自腾讯云存储多款产品的负责人分享了各自场景下的实践理念，为企业进一步降本增效提供参考。 腾讯云文件存储CFS作为可拓展的共享文件存储服务，提供高性能、大容量、低成本的数据管理方案。 的高性能共享访问。 十微秒级云硬盘，高效、灵活、统一管理 而在块存储领域，腾讯云硬盘CBS通用性云硬盘能帮助用户实现50%成本优化，极速型云硬盘更是国内率先进入十微秒时代的超高性能存储产品。
1.3K20编辑于 2022-12-06 - 来自专栏我在本科期间写的文章
5 存储器
5 存储器 存储器类型 随机访问存储器 (RAM): 特点: 可读、可写，断电时数据会丢失。 存储器容量计算 公式: \text{存储器容量} = 2^{\text{地址数}}\times\text{存储单元的位数} 存储单元的"字长"等同于I/O数据线的位数。 每个地址的存储字长为8位，即1 Byte。所以总存储容量为 65536 \times 1B = 65536B = 64KB 。 存储器扩展方法 位扩展：增加I/O数以扩展存储字长。 字扩展：增加存储字的数量，通常通过片选信号进行地址选择，扩展地址范围。 例: 使用多个2K×8的存储器扩展为8K×8的系统。 分析: 需要使用4片2K×8的存储器。 例如，如果CPU地址总线为16位，存储芯片容量为8KB，使用全译码可以寻址到64KB的存储器。 部分译码法: 只对部分高位地址进行译码，生成片选信号。
87410编辑于 2024-09-23 - 来自专栏存储公众号：王知鱼
xiRAID：高性能块存储访问路径优化
总体目标： 开发并部署一种高性能的存储解决方案，该方案的核心是一个高效的块设备，能够克服虚拟化带来的性能损耗，特别是在与并行文件系统结合时，并能满足AI工作负载对随机和顺序访问的高性能需求。 目的： 在虚拟化环境下实现高性能存储数据路径。 核心功能： 支持创建具有RAID保护的存储卷。 能够将这些存储卷分配给虚拟机使用。 性能实测结果 (与理论 RAID5 对比)： 图片提供了一个性能对比表格，展示了 xiRAID 在各种I/O模式下（4K随机读写、顺序读写）接近或达到 2x RAID5 理论性能，并列出了相应的效率百分比 RAID解决方案，旨在提供高性能和高可扩展性的存储服务。 项目 (Item) 描述/详情 (Description/Details) 比较目标 对比 xiRAID Opus RAID 5 和 MDRAID RAID 0 两种存储技术的性能。
45210编辑于 2025-05-23 - 来自专栏code人生
LevelDB：轻量级高性能键-值存储引擎
LevelDB是一种快速的键-值存储库，由Google开发，用于提供高性能的数据持久性存储。它通常被用作支持各种应用程序的底层数据库引擎，包括分布式数据库、区块链、分布式文件系统等。 LevelDB的用途 LevelDB适用于各种应用程序，尤其适用于需要高性能键-值存储的场景，例如： 1.分布式数据库： LevelDB可用作分布式数据库的存储引擎，用于存储和检索分布式系统中的数据。 4.缓存： LevelDB可用作缓存层，用于存储频繁访问的数据，以减少对主存储的访问压力。5.日志记录系统： LevelDB的日志结构使其非常适合用于构建日志记录系统，以便快速记录和检索日志数据。 LevelDB的特点 LevelDB具有许多特点，使其成为流行的键-值存储引擎之一： 1.高性能： LevelDB被设计成高性能的键-值存储引擎，适用于各种负载和访问模式。 4.数据持久性： LevelDB支持数据的持久性存储，确保数据不会丢失。5.并发支持： LevelDB支持多线程并发读取，但需要额外的同步机制来支持并发写入。
1.9K30编辑于 2023-10-19 - 来自专栏芋道源码1024
SpringBoot 搭建基于 minio 的高性能存储服务
下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 } return null; } /** * @description: 获取上传文件的url * @dateTime: 2021/5/ (); } return null; } /** * @description: 上传文件 * @dateTime: 2021/5/ 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。
2.2K40编辑于 2022-03-04 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 YashanDB存储引擎架构YashanDB的存储引擎基于多层存储结构设计，采用三种部署形态：单机、分布式集群和共享集群。不同部署形态下的存储引擎架构均体现出高效性和灵活性。1. 存储结构YashanDB支持不同的存储结构，包括HEAP、BTREE、MCOL和SCOL。这些存储结构分别对应不同的应用场景，能够满足行存、列存及混合存储的需求，从而提升数据存取效率。2. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。
14610编辑于 2025-08-275 分钟了解 kafka 高性能基础
Kafka 的高性能主要依赖因素 批量处理 生产者通过批量压缩后再批量发送的方式，将一批消息作为一个整体（“批消息”）提交给 broker 处理。 顺序读写提升磁盘 IO 性能 Kafka 充分利用磁盘顺序读写性能较好的特性来设计存储结构，它把从 Producer 收到的消息，顺序写入对应的 log 文件中，一个文件写满了，就开启一个新的文件顺序写下去 • 4、数据从磁盘加载到操作系统缓存 • 5、数据从操作系统缓存复制到 Kafka 应用程序 • 6、Kafka 应用程序将数据复制到套接字缓冲区 • 7、数据从套接字缓冲区复制到网络卡 • 8、网络卡将数据发送给消费者 • 4、数据从磁盘加载到操作系统缓存 • 5、操作系统缓存通过 sendfile() 命令直接将数据复制到网络卡 • 6、网络卡将数据发送给消费者 零拷贝是一种节省应用程序上下文和内核上下文之间多次数据复制的方法
19600编辑于 2025-06-09- 来自专栏个人编程笔记
H5-web存储
浏览量 1 首先我们来思考几个问题： 1.什么是web存储？ 2.h5引入web存储的原因？ 3.web存储的方式有哪些？ 使用html5在本地存储用户的浏览数据，之前采用的cookie的形式，但是cookie存储的数据量少而且效率底，进而引入了web存储，客户端存储数据的方式有两种：localStorage，永久性存储，除非自己删除 />"+localStorage.key(2); }else{ document.getElementById("result").innerHTML="对不起，您的浏览器不支持 web 存储 sessionStorage 关于sessionStorage和localStorage使用api是相同的，只不过它是临时存储，关闭浏览器就会自动清除。 计数的例子： <!
39010编辑于 2023-03-03 HTML5 Web 存储
HTML5 web 存储，一个比 cookie 更好的本地存储方式。 什么是 HTML5 Web 存储? 使用HTML5可以在本地存储用户的浏览数据。 早些时候,本地存储使用的是 cookie。 但是Web 存储需要更加的安全与快速. 这些数据不会被保存在服务器上，但是这些数据只用于用户请求网站数据上.它也可以存储大量的数据，而不影响网站的性能. 注意: Internet Explorer 7 及更早IE版本不支持web 存储. localStorage 和 sessionStorage 客户端存储数据的两个对象为： localStorage 不支持 web 存储。 } localStorage 对象 localStorage 对象存储的数据没有时间限制。第二天、第二周或下一年之后，数据依然可用。 ，更多情况下我们存储的数据会更复杂。
21710编辑于 2025-12-16- 来自专栏乱码李
HTML5 前端存储
html5 中的 Web Storage 包括了两种存储方式：sessionStorage和localStorage。 因此 sessionStorage 不是一种持久化的本地存储，仅仅是会话级别的存储。 而 localStorage 用于持久化的本地存储，除非主动删除数据，否则数据是永远不会过期的。 Firefox (Gecko) Internet Explorer Opera Safari (WebKit) localStorage 4 3.5 8 10.50 4 sessionStorage 5 localStorage 主要存储一些比较多的本地数据，如 HTML5 小游戏里面生成的数据。 因为只要打开控制台，你就随意修改它们的值，所以千万不要用它们存储你系统中的敏感数据。
95910发布于 2021-11-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号