- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
高性能KeyValue存储引擎SessionDB
的瓶颈，为消除粘性会话，支持应用无状态(Stateless)，我们SOA团队在今年发起了集中式会话服务器(Centralized SessionServer)项目，该项目的核心是一个我们独立设计和开发的高性能持久化的 ： 1.高读写性能，写入性能接近O(1)内存访问，读取性能最差平均O(1)次磁盘操作，适合高性能会话数据的存取，同样也适合其它缓存类数据的存取； 2.数据持久化，所有数据都存储在磁盘文件中，没有Memcached 3.容量大，可存储超过内存容量的数据。 ，三级存储机制确保高性能读写，且Heap GC对整体读写性能影响不大。 结论 为满足实际项目需要，我们设计和开发了一个高性能的基于LSM算法的Key/Value存储引擎SessionDB，我们在LSM算法(特别是参考Google LevelDB设计)的基础上，对SessionDB
2.5K100发布于 2018-02-05 - 来自专栏运维笔记
minio 高性能 Kubernetes 原生对象存储
minio 高性能 Kubernetes 原生对象存储 minio 高性能 Kubernetes 原生对象存储 特点 安装 单机 分布式 客户端mc安装和使用 minio在K8S的优化实践 MinIO 特点 高性能 minio是世界上最快的对象存储(官网说的: https://min.io/) 弹性扩容 很方便对集群进行弹性扩容 天生的云原生服务 开源免费,最适合企业化定制 例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。 ,secretKey=0aIRBu9KU7gAN0luoX8uBE1eKWNPDgMnkVqbPC,service.type=NodePort,service.nodePort=25557 googleapis 0aIRBu9KU7gAN0luoX8uBE1eKWNPDgMnkVqbPC --api s3v4 #查看minio bucket mc ls minio #创建bucket
7.2K21发布于 2020-05-12 - 来自专栏数据核心
RocksDB：高性能键值存储引擎初探
一、RocksDB的核心特性 高性能：RocksDB针对高速存储设备进行了优化，它利用了一系列的技术手段，如多线程紧凑写、数据压缩和延迟删除等，以实现高性能的读写操作。 三、RocksDB的应用场景 由于其高性能和可靠性，RocksDB被广泛应用于多种场景中： 数据库系统：RocksDB可以作为底层存储引擎，支持关系型数据库或非关系型数据库系统。 RocksDB的应用使得TiKV能够在多CPU场景下高效运行，充分利用快速存储如SSD，并支持弹性扩展架构。这些特性使得TiDB能够在处理大规模数据时保持高性能和可扩展性。 这使得 Flink 能够在处理大规模数据流时保持高性能和可扩展性。 总之，RocksDB 作为 Flink 的状态后端提供了一种高效、可靠和可扩展的方式来管理应用程序的状态。 这使得 Flink 能够在处理大规模数据流时保持高性能，并提供强大的容错和恢复能力。 四、总结与展望 RocksDB作为一个高性能的键值存储引擎，在大数据和分布式系统领域发挥着越来越重要的作用。
2.3K10编辑于 2024-03-21 - 来自专栏数据结构和算法
使用Python实现高性能数据存储
本文将详细介绍如何使用Python实现高性能数据存储，并通过具体代码示例展示其实现过程。 项目概述 本项目旨在使用Python构建一个高性能的数据存储系统，涵盖数据存储、读取、压缩和优化等步骤。 具体内容包括： 环境配置与依赖安装 数据存储技术选型 实现高性能数据存储 数据读取与处理 性能测试与优化 1. 数据存储技术选型 为了实现高性能数据存储，我们选择使用以下几种技术： HDF5：适用于存储大量数值数据，支持压缩和分块存储。 实现高性能数据存储 3.1 使用HDF5进行数据存储 HDF5是一种用于数值数据存储和处理的文件格式，具有高效、灵活和支持压缩等特点。 希望本文能为读者提供有价值的参考，帮助实现高性能数据存储系统的开发和应用。 如果有任何问题或需要进一步讨论，欢迎交流探讨。让我们共同推动高性能数据存储技术的发展，为数据驱动的决策提供更多支持。
65910编辑于 2024-12-13 - 来自专栏数据库新发现
系列 | 高性能存储-MySQL数据库之存储过程揭秘
通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 4. 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 5. 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 你可能没有创建存储过程的安全访问权限。许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程?你依然可以使用：MySQL将编写存储过程的安全和访问与执行存储过程的安全和访问区分开来。这是好事情。即使你不能(或不想)编写自己的存储过程，也仍然可以在适当的时候执行别的存储过程。 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.4K70发布于 2019-06-22 - 来自专栏数据和云
系列 | 高性能存储-MySQL数据库之存储过程揭秘
墨墨导读：本文介绍什么是存储过程？为什么要使用存储过程？如何使用存储过程？如何去使用存储过程以及怎么执行存储过程。 DBASK小程序已经开设“MySQL 数据库专栏”，欢迎大家关注！ 通过存储过程限制对基础数据的访问减少了数据讹误(无意识的或别的原因所导致的数据讹误)的机会。 提高性能。因为使用存储过程比使用单独的 SQL语句要快。 存在一些只能用在单个请求中的MySQL元素和特性，存储过程可以使用它们来编写功能更强更灵活的代码(在下一章的例子中可以看到。) 换句话说，使用存储过程有 3个主要的好处，即简单、安全、高性能。 许多数据库管理员限制存储过程的创建权限，允许用户使用存储过程，但不允许他们创建存储过程。 尽管有这些缺陷，存储过程还是非常有用的，并且应该尽可能地使用。 不能编写存储过程? 如何去使用存储过程 ---- 使用存储过程需要知道如何执行(运行)它们。存储过程的执行远比其定义更经常遇到，因此，我们将从执行存储过程开始介绍。然后再介绍创建和使用存储过程。
2.6K30发布于 2019-06-28 - 来自专栏C/C++基础
微服务设计原则——高性能：存储设计
在数据库和 KV 存储上也可以采取动态分离的方式。动静分离更像是一种垂直切分，将动态和静态的字段分别存储在不同的库表中，减小数据库锁的粒度，同时可以分配不同的数据库资源来合理提升利用率。 （2）信箱容量：一般来说查看 Feed 流（如微信朋友圈）不会不断地往下翻页查看，这时候应该限制信箱存储条目数，超出的条目从其他存储查询。 数据存储地点的异构 据存储在分散的物理位置上，此类情况大多出现在大型机构中，如销售数据分别存储在北京、上海、日本、韩国等多个分支机构的本地销售系统中。 数据存储逻辑的异构 相同的数据按照不同的逻辑来存储，比如按照不同索引维度来存储同一份数据。 这里主要说的是按照不同的维度建立索引关系以加速查询。如京东、天猫等网上商城，一般按照订单号进行了分库分表。 参考文献 一文搞懂后台高性能服务器设计的常见套路, BAT 高频面试系列
43210编辑于 2024-08-19 YashanDB高性能存储引擎原理解析
高性能的存储引擎作为数据库系统的核心组件，承担着数据的高效存储与访问任务。YashanDB作为新一代数据库产品，在存储引擎设计上采用了多种创新技术以满足不同业务场景的需求。 本文将基于YashanDB体系架构，从逻辑与物理存储结构、事务机制、并发控制、持久化策略等方面，系统性解析其高性能存储引擎的设计原理。 存储结构优化YashanDB支持多种存储结构以适应不同的数据访问模式和业务需求，主要包括HEAP（堆式存储）、BTREE（B树存储）、MCOL（可变列式存储）和SCOL（稳态列式存储）。 事务机制与并发控制YashanDB实现了高性能的事务处理能力，保障了ACID特性和多版本并发控制（MVCC），有效提高数据库并发效率和数据一致性：多版本并发控制（MVCC）：通过维护事务及数据的多个版本 结论YashanDB通过具有针对性的存储结构设计、多版本事务并发控制、完善的持久化机制及多样化的部署形态，建设了高性能、高可用的存储引擎体系。
26210编辑于 2025-08-19- 来自专栏存储内核技术交流
聊聊daos高性能分布式存储
，并且它能够支持大规模分布式存储。 但是随着新硬件3D-XPoint出现提供臂传统存储低几个数量级的低延迟，为机械盘设计的软件栈会成为这些新型存储很大的开销。 libfabric是daos的最后一个部分，它主要负责高性能的网络，比如支持Omni-Path/IB等网络架构。 daos server是一个多容错的daemon进程,它直接访问SCM和NVMe，所有的metadata和小io存储在SCM中,大IO存储在NVMe中。 Daos数据存储策略 daos存储导出对象的形式提供key0-value或者key-array的api形式提供给用户访问。
4.1K20编辑于 2022-08-17 - 来自专栏用户5909132的专栏
腾讯云存储产品全线升级，满足更多高性能存储场景
12月1日，在2022腾讯全球数字生态大会存储专场上，腾讯云发布了多款云存储产品能力上新，并对分布式存储、高性能存储、日志大数据、云原生数据湖等产品的应用实践进行了分享，为广大企业实现数字化转型和业务创新提供参考借鉴 文件存储元数据性能4倍提升，数据流动应对多业务诉求 随着高性能计算被应用于越来越多行业，高性能存储的需求也越来越大，过去，存储成本高和数据难管理，往往是企业面对的两大难题。 会上，来自腾讯云存储多款产品的负责人分享了各自场景下的实践理念，为企业进一步降本增效提供参考。 腾讯云文件存储CFS作为可拓展的共享文件存储服务，提供高性能、大容量、低成本的数据管理方案。 的高性能共享访问。 十微秒级云硬盘，高效、灵活、统一管理 而在块存储领域，腾讯云硬盘CBS通用性云硬盘能帮助用户实现50%成本优化，极速型云硬盘更是国内率先进入十微秒时代的超高性能存储产品。
1.3K20编辑于 2022-12-06 - 来自专栏存储公众号：王知鱼
xiRAID：高性能块存储访问路径优化
那么，如何在云环境和虚拟化场景下，突破存储性能的限制，真正释放AI计算的潜力？本文将深入探讨这一核心问题，并介绍一种旨在解决这些挑战、提供高性能存储解决方案的技术。 总体目标： 开发并部署一种高性能的存储解决方案，该方案的核心是一个高效的块设备，能够克服虚拟化带来的性能损耗，特别是在与并行文件系统结合时，并能满足AI工作负载对随机和顺序访问的高性能需求。 目的： 在虚拟化环境下实现高性能存储数据路径。 核心功能： 支持创建具有RAID保护的存储卷。 能够将这些存储卷分配给虚拟机使用。 RAID解决方案，旨在提供高性能和高可扩展性的存储服务。 24块盘) MDRAID RAID 0: 24块盘 测试环境 - 虚拟机 单虚拟机配置: 32个虚拟CPU (VCPUs), 32GB内存 (RAM) 测试环境 - 操作系统 Rocky Linux 9,
45210编辑于 2025-05-23 - 来自专栏code人生
LevelDB：轻量级高性能键-值存储引擎
LevelDB是一种快速的键-值存储库，由Google开发，用于提供高性能的数据持久性存储。它通常被用作支持各种应用程序的底层数据库引擎，包括分布式数据库、区块链、分布式文件系统等。 LevelDB的核心概念 键-值存储 LevelDB是一个键-值存储引擎，它允许你将数据存储为键值对的形式。每个键都是唯一的，与一个值相关联。 LevelDB的用途 LevelDB适用于各种应用程序，尤其适用于需要高性能键-值存储的场景，例如： 1.分布式数据库： LevelDB可用作分布式数据库的存储引擎，用于存储和检索分布式系统中的数据。 4.缓存： LevelDB可用作缓存层，用于存储频繁访问的数据，以减少对主存储的访问压力。5.日志记录系统： LevelDB的日志结构使其非常适合用于构建日志记录系统，以便快速记录和检索日志数据。 LevelDB的特点 LevelDB具有许多特点，使其成为流行的键-值存储引擎之一： 1.高性能： LevelDB被设计成高性能的键-值存储引擎，适用于各种负载和访问模式。
1.9K30编辑于 2023-10-19 - 来自专栏芋道源码1024
SpringBoot 搭建基于 minio 的高性能存储服务
下面开始搭建springboot 环境 ---- 什么是minio 引用官网： MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储。它与Amazon S3云存储服务兼容。 使用MinIO构建用于机器学习，分析和应用程序数据工作负载的高性能基础架构。 */ public void upload(MultipartFile file, String fileName) { // 使用putObject上传一个文件到存储桶中 以上就是使用springboot搭建基于minio的高性能存储服务的全部步骤了。
2.2K40编辑于 2022-03-04 YashanDB数据库高性能存储引擎设计
YashanDB作为一款新兴的数据库解决方案，致力于在高性能存储引擎的设计上解决这些行业挑战。 本篇文章将对YashanDB的高性能存储引擎设计进行深入探讨，帮助读者理解其架构及优势，并提供可操作的技术建议。 YashanDB存储引擎架构YashanDB的存储引擎基于多层存储结构设计，采用三种部署形态：单机、分布式集群和共享集群。不同部署形态下的存储引擎架构均体现出高效性和灵活性。1. 存储结构YashanDB支持不同的存储结构，包括HEAP、BTREE、MCOL和SCOL。这些存储结构分别对应不同的应用场景，能够满足行存、列存及混合存储的需求，从而提升数据存取效率。2. 结论YashanDB的高性能存储引擎设计通过多层存储结构和高效的事务管理机制，能够有效应对现代数据库面临的性能瓶颈和数据一致性问题。
14610编辑于 2025-08-27- 来自专栏JAVA高级架构
9种高性能可用高并发的技术架构
应用层具体负责业务和视图的展示;服务层为应用层提供服务支持;数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。 分布式意味着可以使用更多的计算机完同样的工作，计算机越多，CPU、内存、存储资源就越多，能过处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。 分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据库需要分布式存储。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
720110发布于 2018-04-19 - 来自专栏企鹅号快讯
9种高性能可用高并发的技术架构
应用层具体负责业务和视图的展示;服务层为应用层提供服务支持;数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。 分布式意味着可以使用更多的计算机完同样的工作，计算机越多，CPU、内存、存储资源就越多，能过处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。 在网站应用中，常用的分布式方案有一下几种. 分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据库需要分布式存储。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
66981发布于 2018-02-26 - 来自专栏云社区全球资讯抢先看
9种高性能可用高并发的技术架构
应用层具体负责业务和视图的展示;服务层为应用层提供服务支持;数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。 分布式意味着可以使用更多的计算机完同样的工作，计算机越多，CPU、内存、存储资源就越多，能过处理的并发访问和数据量就越大，进而能够为更多的用户提供服务。 在网站应用中，常用的分布式方案有一下几种. 分布式数据和存储：大型网站需要处理以P为单位的海量数据，单台计算机无法提供如此大的存储空间，这些数据库需要分布式存储。 9、缓存 缓存目的就是减轻服务器的计算，使数据直接返回给用户。在现在的软件设计中，缓存已经无处不在。具体实现有CDN、反向代理、本地缓存、分布式缓存等。
2.2K00发布于 2017-12-25 - 来自专栏Python绿色通道
Scrapy实战9: Item+Pipeline数据存储
今天是爬虫系列第9篇，上一篇Scrapy系统爬取伯乐在线中我们已经利用Scrapy获取到了伯乐在线网站所有文章的基本数据，但我们没有做存储操作，本篇，我们就好好讲讲怎么利用Scrapy框架知识进行存储- 'url'] = response.url # 将item传递到Pipeline中 yield article_item 至此Item相关代码功能就写好了，后面我们对在Pipeline中进行实际数据存储操作 Debug测试 果然，Debug后Item传入了Pipeline，后面我们可以处理数据、存储数据。 (6)在Pipeline 中进行数据存储操作（MySql） 创建表格 CREATE TABLE `bole_db`. 运行结果 我仅仅运行了1分钟，就爬下来并存储了1000条数据，而且没有被反爬掉，这个效率，让我知道，学习Scrapy没得错，可以看出Scrapy框架的强大。 四、 【完】
1.6K20发布于 2020-02-12 SD NAND存储功能描述（9）切换功能
SD NAND存储功能描述（9）切换功能开关功能状态开关功能状态是返回的数据块，其中包含功能和当前消耗信息。块长度预定义为512位，不需要使用SET_BLK_LEN命令。状态数据结构如下表所示。
29210编辑于 2024-07-03- 来自专栏腾讯云存储
高性能存储与大模型融合创新相关研究
在2023年中国数据与存储峰会“AIGC+存储融合发展论坛”上，腾讯云存储高级产品经理熊建刚老师发表主题演讲，就高性能存储和大模型融合创新相关研究展开探讨，以及腾讯云存储的实践案例。 熊老师耕耘存储20年，在腾讯云从事云存储领域的高性能存储以及与大模型融合创新方面的研究工作，致力于推动云技术和人工智能的创新与发展。 如何将存储技术与人工智能、机器学习相结合，从数据存储、处理到智能分析，如何利用存储技术为AI应用提供高效、可扩展的基础，熊老师在演讲中提出了他的思考。 对存储产品主要有以下几个诉求，1）统一存储，一套存储能够支撑全流程处理，支持数据自由流动，避免等待数据、避免在不同的存储产品之间切换、避免来回拷贝数据；2）足够高性能，避免算力等待存储而导致浪费；3）内容审核 端到端，从IT全链路全栈维度上，腾讯云提供存储、计算、网络端到端大模型解决方案：存储层，以对象存储COS为底座的数据湖，加速层，数据加速器GooseFS系列，计算层，TACO面向GPU的加速套件，网络层
45110编辑于 2024-01-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号