- 综合排序
- 最热优先
- 最新优先
- 来自专栏帅云霓的技术小屋
云存储硬核技术内幕——(10)
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。 Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。 出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。 这种冗余技术叫做RAID-0。 但是，RAID-0有一个致命缺陷：在用新的硬盘替换掉损坏的硬盘的时候，需要将好的那块硬盘内容完全复制一份到新的硬盘，这个过程叫重构，将持续几个小时。 因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
94020编辑于 2022-08-04 MyEMS 开源能源管理系统：重构能源秩序的技术密码
一、技术内核：从 “被动响应” 到 “主动进化” 的架构革命MyEMS 的底层突破，在于构建了一套能与能源系统共同进化的技术骨架，这种 “生长性” 使其区别于传统的工具型系统。 三、生态重塑：开源模式如何改写能源治理规则？MyEMS 的终极意义，或许不在于技术参数的领先，而在于其推动能源治理从 “少数人主导” 转向 “多方共建”，这种治理模式的革新将释放更大的系统价值。 中小企业的技术平权正在加速实现。 这种 “产学研用” 的无缝衔接，使 MyEMS 的技术迭代速度是闭源系统的 3-5 倍。能源数据的价值重估成为可能。由于开源系统的数据格式透明，企业可安全地与第三方共享脱敏数据以获取增值服务。 其真正的力量，不在于解决某个具体的能耗问题，而在于提供了一套开放的技术语言，让每个参与者都能在能源转型中书写自己的代码。
31900编辑于 2025-07-30MyEMS 开源能源管理系统：技术架构驱动的能源管理革新
这套架构不仅赋予了系统强大的功能扩展性，更保障了能源数据在采集、传输、存储和分析全流程的高效与稳定，为企业能源精细化管理提供了坚实的技术支撑。 数据存储层：是系统的数据中枢，负责能源数据的持久化存储。MyEMS 采用混合存储架构，结合了关系型数据库和时序数据库的优势。 关系型数据库（如 PostgreSQL）主要用于存储系统配置信息、用户权限数据、设备台账等结构化数据，确保数据的事务一致性和完整性；时序数据库（如 InfluxDB、TimescaleDB）则专门用于存储海量的时序能源数据 ，这类数据库针对时间序列数据的高写入、高查询特性进行了优化，能够高效存储和快速查询历史能源数据，满足企业长期能源分析的需求。 数据存储层将探索分布式时序数据库和区块链技术的结合，提高数据的不可篡改性和溯源能力，为能源交易和碳排放核算提供可信数据支持。
32810编辑于 2025-08-13- 来自专栏ccylovehs
前端存储技术
前言 后端常用数据库做数据存储，譬如MySql、MongoDB，缓存技术存储数据，如Redis、Memcached； 前端存储数据目前常用的是Cookie、Storage、IndexedDB Cookie 分类 Cookie总是保存在客户端中（早期Java中经常会将Cookie与Session作为存储技术进行比较，Session是将数据保存在服务器端，大量的数据存储会增加服务器的负担），按在客户端中的存储位置 、修改或删除存储的数据项。 现有的浏览器数据储存方案，都不适合储存大量数据：Cookie 的大小不超过 4KB，且每次请求都会发送回服务器；LocalStorage 在 2.5MB 到 10MB 之间（各家浏览器不同），而且不提供搜索功能 后记 浏览器存储技术目前流行的基本就上面介绍的三种，之前出现的webSql由于用方言SQLlite导致无法统一，也就是说这是一个废弃的标准。
2.2K40发布于 2019-02-25 - 来自专栏网络技术联盟站
完全图解RAID存储技术：RAID 0、1、5、6、10、50、60
什么是RAID存储？独立磁盘冗余阵列（RAID）是一种存储技术，通过将两个或多个硬盘驱动器（HDD）或固态硬盘（SSD）合并成一个协调的存储单元或阵列，从而创建数据丢失的故障安全机制。 如果对于读写性能要求较高，但容错能力不是首要考虑因素，可以选择RAID 0或RAID 10。RAID的演进随着时间的推移，RAID存储技术不断演进和改进。 SSD的低延迟和高吞吐量使得RAID存储能够更好地满足高性能计算和数据密集型应用的需求。RAID存储的未来RAID存储技术在过去几十年中取得了巨大的进步，为数据存储提供了更高的可靠性和性能。 然而，随着大数据、云计算和人工智能等技术的快速发展，对存储系统的需求也在不断增长和变化。未来的RAID存储将面临更大的挑战和机遇。 新的技术和创新将推动RAID存储在容错能力、性能、扩展性和成本效益方面的进一步发展。例如，分布式RAID、混合存储技术和软件定义存储等新兴技术将在未来的RAID存储中发挥重要作用。本文完！
80.1K2026编辑于 2023-07-22 - 来自专栏网络技术联盟站
完全图解RAID存储技术：RAID 0、1、5、6、10、50、60
什么是RAID存储？ 独立磁盘冗余阵列（RAID）是一种存储技术，通过将两个或多个硬盘驱动器（HDD）或固态硬盘（SSD）合并成一个协调的存储单元或阵列，从而创建数据丢失的故障安全机制。 如果对于读写性能要求较高，但容错能力不是首要考虑因素，可以选择RAID 0或RAID 10。 RAID的演进 随着时间的推移，RAID存储技术不断演进和改进。 SSD的低延迟和高吞吐量使得RAID存储能够更好地满足高性能计算和数据密集型应用的需求。 RAID存储的未来 RAID存储技术在过去几十年中取得了巨大的进步，为数据存储提供了更高的可靠性和性能。 然而，随着大数据、云计算和人工智能等技术的快速发展，对存储系统的需求也在不断增长和变化。 未来的RAID存储将面临更大的挑战和机遇。 新的技术和创新将推动RAID存储在容错能力、性能、扩展性和成本效益方面的进一步发展。例如，分布式RAID、混合存储技术和软件定义存储等新兴技术将在未来的RAID存储中发挥重要作用。 本文完！
22.5K32编辑于 2023-09-05 - 来自专栏科技云报道
未来10年的存储创新，就被这个技术承包了
2014年，第一批NVMe技术方案还只是服务器上的一个驱动而已，这个驱动负责处理存储访问操作。 如今，许多超大规模数据中心，做高性能计算解决方案的厂商都在节点上测试NVMe。 降低存储网络复杂度带来的好处非常明显，它有助于打造更大规模存储集群，用更少的资源做更多的事儿。 未来，随着NVMe over fabrics成本大幅降低，NVMe将在技术方案和市场上释放更大的能量。 虽说NVMe的成本会降低，前景一片大好，不过真正想把一个新技术推向市场，起码市场上得有好几个同类方案。大家一起来教育市场，然后才有向传统存储体系架构发起挑战的资格。 集群存储的另一种做法是，在每一个主机上都复制一份数据集。这种做法，首先资源开销非常巨大，为了让每份数据都保持一致，所以主机互联的技术经常需要传输大量的指令，效率非常低下，集中共享的存储非常有必要。 人工智能技术的发展，对于那些做算法回溯测试，还有做医学成像、地理信息系统(GIS)的行业带来了很大帮助。 但是由于训练时候需要处理大量图像，这对于存储带来很大挑战，人工智能的能力受到了限制。
40330编辑于 2022-04-15 - 来自专栏全栈程序员必看
采用虚拟存储技术_虚拟存储管理
虚拟存储技术（VIRTUAL MEMORY） 所谓的虚拟存储技术是指：当进程运行时，先将其一部分装入内存，另一部分暂留在磁盘，当要执行的指令或访问的数据不存在内存中时，由操作系统自动完成将它们从磁盘调入内存的工作 ---- 存储器的层次结构 ---- 虚存 与 存储体系 把内存和磁盘有机地结合起来使用，从而得到一个容量很大的“内存”，即虚存。 ，防止地址越界 注意： 上图中的基地址寄存器和界限寄存器操作系统通过特殊的特权指令加载 确保进程的操作合法 ---- 虚拟页式（PAGING） **虚拟存储技术 + 页式存储管理方案 －> 虚拟页式存储管理系统 主要包括：1. 根据进程运行需要，动态装入其他页面 当内存空间已满，而有需要装入新的页面时，则根据某种算法置换内存中的某个页面，以便装入新的页面 其实就是以CPU时间和磁盘空间换取昂贵的内存空间，这是操作系统中的资源转换技术
1.8K10编辑于 2022-11-09 - 来自专栏周末程序猿
技术总结|Bitcask存储
Bitcask的存储介绍 对于大多数存储系统中，其中读的性能一般都会成为瓶颈，以数据库为例，关系型数据库的底层存储为了解决快速查找的问题，一般采用BTree等，这种支持顺序扫描，当然为了快速查找也可以使用 ssd这种顺序存储的硬件，因此bitcask有一下特点： （1）所有的key都存储于内存中，所有的value都存储于磁盘中； （2）以追加的方式写入磁盘，即写操作是有序的，这样可以减少磁盘的寻道时间，是一种高吞吐量的写入方案 数据文件存储原始的kv数据，索引文件存储各个数据的索引位置，在启动时加载到内存中，hint file为了提高构建索引文件的速度使用的文件。 存储结构图如下： 说明： 1 -> 加载到内存的文件； 2 -> 存储在磁盘上的文件； 3 -> 存储在磁盘文件上的格式； 4 -> hint的文件格式； data文件的存储格式： crc32(4byte 扩展： （1）完整的基于bitcask的kv存储具体的可以参考豆瓣的BeansDB开源代码； （2）leveldb也采用类似bitcask的存储方案，其中性能对比如下： 机器： CPU : Intel
1.1K10编辑于 2023-04-17 - 来自专栏PPV课数据科学社区
【技术】HDFS存储原理
根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。 一、角色出演 如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；与DN交互进行数据读写。 负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。 二、写入数据 1、发送写数据请求 HDFS中的存储单元是block。文件通常被分成64或128M一块的数据块进行存储。 与普通文件系统不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。
1.9K50发布于 2018-04-25 - 来自专栏存储知识
存储技术架构总览
这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。 物理层： 顾名思义，就是用来存储数据的各种设备。 从存储介质的维度进行分类，存储系统可分为磁盘存储、全闪存储、混闪存储、磁带库、光盘库等。 目前主流协议有很多，但大体可分为文件存储、块存储、对象存储三种。 文件存储：文件存储的目标用户是自然人。根据不同的应用要求，有不同类型的文件，每个文件一个易于理解和记住的名称。 但是，在网络存储中，基础数据不是存储在本地存储介质中，而是存储在另一台服务器上，不同的客户端可以以类似于文件系统的方式访问此服务器上的文件。这种系统被称为网络文件系统。 以上分类仅是笔者的一家之言，读者不必将其理解为计算机网络那样层次分明的结构，实际上各类型数据存储技术仍在不断的完善和创新，以适应日益增长和不断变化的数据存储需求，形成了多层级、广泛覆盖的产品体系结构，本文更多意义上是提供了一个从不同视角去对众多存储系统进行分类的方法
1.7K20发布于 2021-11-03 - 来自专栏sofu456
存储相关技术点
存储分类 存储性能由高到低，如下 块存储，不带文件系统的裸磁盘，不能共享 对象存储，功能UUID访问，所有文件通过UUID平级的访问（构建类似hash表的存储），提高访问效率，能共享 文件存储，带文件系统的磁盘 ，能共享 minio 对象存储服务，https://gitee.com/mirrors/minio.git go mod tidy go build main.go -o minio.exe mkdir
48220编辑于 2022-09-23 - 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 从厂商特别关心的问题，例如，名誉或服务水平协议，到技术问题，如安全和兼容性，在做出决定之前，这些技巧将贯穿你的整个考虑周期。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 应用程序集成让EFSS实现了另一个增长：微软应用和Salesforce都是未来的技术代表。只发对EFSS有需求，这一市场消失的机率就会很小。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。
2.7K60发布于 2018-03-02 - 来自专栏腾讯云区块链
国家区块链技术（能源领域）创新中心成立
本次论坛上，国家区块链技术（能源领域）创新中心正式揭牌成立。这是国家区块链技术创新中心正式投入运行后，在国民经济关键领域布局的首个国家级行业创新中心。 揭牌仪式现场，中国华电集团物资有限公司党委书记、董事长毛科介绍，作为一家特大型能源领域中央企业，华电集团全球发电装机规模1.91亿千瓦，涉及供应商10万余家。 毛科表示，区块链技术是发展数字经济的重要基础设施，近年来华电集团依托“长安链”，持续探索区块链技术与能源行业场景的融合应用，建成“物资采购链”，加密技术达到国际领先水平，为超过10万家供应商提供便捷高效 “如今，我们牵头建设国家区块链技术（能源领域）创新中心，要全面发力能源行业数字化应用，完善升级数字化底座，为国家能源领域数字化转型提供强力支撑。”毛科说。 在综合性人才引育和成果转化方面，中心将培养集聚一批通晓自主创新区块链底层技术、熟识能源领域业务应用需求的高水平复合型人才，开展关键技术攻关，聚合行业区块链应用生态，带动能源行业的创新应用发展，实现能源产业数字化升级转型
67120编辑于 2023-07-25 - 来自专栏Android干货
安卓开发_数据存储技术_内部存储
安卓内部存储就是将信息保存在一个文件中放入手机内部一个特定的目录下，特别要注意，这里的内部存储不是内存存储。内部存储是系统中一个很特殊的位置。 gravity="center_horizontal" 7 > 8 <LinearLayout 9 android:layout_width="match_parent" 10 6 import java.io.IOException; 7 import java.util.Arrays; 8 9 import android.app.Activity; 10 ------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术_SharedPreferences 类 安卓开发_数据存储技术_外部存储
1.7K50发布于 2018-05-18 - 来自专栏区块链开发公司
区块链技术公司谈区块链与能源
区块链所做的是利用去中心化的分布式账本技术，通过智能合约、共识机制、加密算法等，在商业信任、价值传递、交易清结算等多维度解构现有的能源生产和消费模式，并搭建新的能源商业体系的底层构架。 第一，未来能源互联网中各节点都可以成为独立的产销者（prosumer），以去中心化形式互相交换能源流、信息流、价值流，同时各主体平等分散决策，区块链技术去中心化的属性可以匹配该结构，实现所有节点权利义务对等 第二，区块链技术不可篡改的特征使得多元化的能源市场中无需第三方的信任机制即可实现信任点对点的价值传递。 一方面，区块链技术服务于能源资产的生产开发，因为无论对于能源资产的资产证券化，还是对于绿色能源的碳资产开发，都可以通过区块链技术进行资产登记、溯源、流转，既可以大幅提升效率，同时又降低交易成本。 另一方面，在能源消费端，电动汽车的充放电、分布式能源的就近交易也可以通过区块链底层技术来开发相关应用。此外，区块链技术在储能、需求侧相应、LNG方面的探索应用的进展也较为积极。
6.5K30发布于 2018-08-21 - 来自专栏Android干货
安卓开发_数据存储技术_外部存储
安卓外部存储，即将数据存储在sdcard中，当然存储的前提是手机或者模拟器先具有sdcard目录 然而上一句话还是有歧义的。 事实上所有的安卓设备都有外部存储和内部存储，这两个名称来源于安卓的早期设备，那个时候的设备内部存储确实是固定的，而外部存储确实是可以像U盘一样移动的。 所以不管安卓手机是否有可移动的sdcard，他们总是有外部存储和内部存储。最关键的是，我们都是通过相同的api来访问可移动的sdcard或者手机自带的存储（外部存储）。 -------------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术 _内部存储 安卓开发_数据存储技术_SharedPreferences类 安卓开发_数据存储技术_sqlite
2.4K80发布于 2018-05-18 - 来自专栏全栈程序员必看
操作系统虚拟存储技术_虚拟存储
虚拟存储管理 在前面总结了集中存储管理的刚上，要求作业的逻辑地址空间连续的存放主存储器 的某个区域中。当主存储器中没有足够大的区域是，则作业是无法装入的，或必须移动 某些作业后才能装入。 不仅如此，还可采用虚拟存储管理技术，实现在较小的主存空间里运行较 大的作业。 虚拟存储管理：实现较小主存空间运行较大的作业。 分页式存储器的逻辑地址由两部分组成： 例如：地址总长15，其中页号5，页内地址10——得出逻辑地址32 就是2的5次方得32，其中编号是从0—31；每页2的十次方为1024，编号从0—1023 比如：主存储器200 ，高速缓冲存储器40（运行90%），如果没有高速缓冲存储器： 200+200=400 有了高速缓冲存储器的话：（200+40）*90%+（200+200)*10%=256 3、虚拟存储器容量有计算机的地址结构和辅助存储器容量决定。 4、实质上是为扩大主存容量而采用的一种管理技巧。 允许用户逻辑 > 主存储器绝址空间。
1.6K20编辑于 2022-11-09 云渲染技术在能源行业数字孪生实践的技术指南
摘要： 本文旨在通过技术解析、操作指南和增强方案三个维度，详细阐述云渲染技术在能源行业数字孪生中的应用价值、实施步骤和优化方案。全文以腾讯云产品为支撑，展示云渲染技术在实际业务场景中的优势和效果。 在能源行业的数字孪生中，云渲染技术可以模拟复杂的能源系统，实现实时监控和优化。 数据安全：能源行业数据敏感，需要确保数据传输和存储的安全性。 成本控制：长时间运行的云渲染服务可能导致高昂的费用。 ，模拟了风力发电场的运行状态，通过实时数据反馈优化了发电效率，提升了10%的能效。 通过本文的技术指南，读者可以深入了解云渲染技术在能源行业数字孪生中的应用，并掌握如何利用腾讯云产品实现高效、安全且成本可控的云渲染服务。
35010编辑于 2025-07-29应对未来能源挑战的五大技术路径
随着社会对技术的依赖日益加深，从消费电子产品到公共和私营部门的大型基础设施，全球能源需求持续增长。某中心正致力于满足客户和业务的未来能源需求，同时坚持其到2040年实现净零碳排放的气候承诺。 此外，某中心设立的20亿美元气候承诺基金正在投资下一代新兴低碳能源技术，包括绿色氨、可再生运输燃料、便携式电池存储以及其他能够满足业务未来能源需求并助力向低碳经济转型的创新技术。 为了帮助解决这个问题，相关团队正在与联邦和州级的能源监管机构及其他官员接触，以支持电网现代化、消除许可障碍并部署增强电网的技术。 通过优化数据中心设计、投资专用芯片以及创新冷却技术，可以实现这种程度的影响。例如，已采取措施设计数据中心，利用自然气流来降低服务器温度，因为服务器在使用过程中会发热。这使得在可能的情况下减少空调使用。 同时，通过将服务器的使用寿命从五年延长到六年，也在延长技术的使用周期。将可持续发展实践融入建筑设计和施工正致力于设计支持向净零碳过渡的企业建筑，包括使用低碳混凝土和电气化暖通空调系统建造新建筑。
12510编辑于 2026-01-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号