- 综合排序
- 最热优先
- 最新优先
- 来自专栏cloudskyme
虚拟化技术（2）——存储虚拟化
存储虚拟化技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统的集中、统一、方便的管理。 与传统存储的比较 与传统存储相比，虚拟化存储的优点主要体现在：磁盘利用率高，传统存储技术的磁盘利用率一般只有30－70%，而采用虚拟化技术后的磁盘利用率高达70－90%；存储灵活，可以适应不同厂商、不同类别的异构存储平台 特征：带内/对称存储虚拟化技术采用x86软件或专有硬件以及软件存储系统，看起来就像是始于存储设备，终于主服务器。这是最常见的存储虚拟化形式。 注意事项：逐渐被独立路径存储虚拟化技术取代。 寻找：在带内和独立路径技术之外，寻找稳定、适应能力强的供应商和解决方案。 实例：LSI StoreAge 分离路径存储虚拟化技术 分离路径存储虚拟化技术综合了带内和带外技术的优点： 特征：分离路径存储虚拟化技术在与软件绑定的开关或者产品中采用存储服务模块或者适应器。
7.9K60发布于 2018-03-20 - 来自专栏用户8186044的专栏
能源领域相关指标2：能源消耗总量【实际应用】
1.能源消费总量是反映一个地区能源消费水平、构成和增长速度。 注：在"双碳"背景下，能源消费总量指标应用相对能源生产总量指标价值和意义更大更重要。 2.单纯指标应用：可视化场景应用中，单独展示某地区某年能源消费总量历史数据比单独展示能源生产总量更有价值，毕竟国家对各地方能耗双控、碳排放双控是有相应的考核指标的，每年的能源消费总量及强度是硬性指标。 图2：能源消费总量变化趋势示例图 2）历史及预测数据应用：图2展示了某地区近13年能源消费总量变化趋势。 图2展示的2010年-2022年能源消费总量，2010年-2020年数据为实际数据，2021年、2022年数据为预测数据，分别用不同颜色进行标识，方便用户观看和理解。 如果横轴是一年中1月-12月能源消费总量数据，该增速可以做成“能源消费总量月度环比增速”、“能源消费总量月度同比增速”、“能源消费总量月度累计值环比增速”、“能源消费总量月度累计值同比增速”。
1.1K20编辑于 2022-11-28 MyEMS 开源能源管理系统：重构能源秩序的技术密码
一、技术内核：从 “被动响应” 到 “主动进化” 的架构革命MyEMS 的底层突破，在于构建了一套能与能源系统共同进化的技术骨架，这种 “生长性” 使其区别于传统的工具型系统。 某商场在接到电网 “错峰通知” 后，MyEMS 在 15 分钟内完成策略制定：关闭非必要照明、将空调温度调高 2℃、启动备用储能，减少高峰负荷 300kW，获得补贴 1.2 万元 / 次。 三、生态重塑：开源模式如何改写能源治理规则？MyEMS 的终极意义，或许不在于技术参数的领先，而在于其推动能源治理从 “少数人主导” 转向 “多方共建”，这种治理模式的革新将释放更大的系统价值。 中小企业的技术平权正在加速实现。 其真正的力量，不在于解决某个具体的能耗问题，而在于提供了一套开放的技术语言，让每个参与者都能在能源转型中书写自己的代码。
31900编辑于 2025-07-30MyEMS 开源能源管理系统：技术架构驱动的能源管理革新
这套架构不仅赋予了系统强大的功能扩展性，更保障了能源数据在采集、传输、存储和分析全流程的高效与稳定，为企业能源精细化管理提供了坚实的技术支撑。 数据存储层：是系统的数据中枢，负责能源数据的持久化存储。MyEMS 采用混合存储架构，结合了关系型数据库和时序数据库的优势。 关系型数据库（如 PostgreSQL）主要用于存储系统配置信息、用户权限数据、设备台账等结构化数据，确保数据的事务一致性和完整性；时序数据库（如 InfluxDB、TimescaleDB）则专门用于存储海量的时序能源数据 ，这类数据库针对时间序列数据的高写入、高查询特性进行了优化，能够高效存储和快速查询历史能源数据，满足企业长期能源分析的需求。 数据存储层将探索分布式时序数据库和区块链技术的结合，提高数据的不可篡改性和溯源能力，为能源交易和碳排放核算提供可信数据支持。
32810编辑于 2025-08-13- 来自专栏ccylovehs
前端存储技术
前言 后端常用数据库做数据存储，譬如MySql、MongoDB，缓存技术存储数据，如Redis、Memcached； 前端存储数据目前常用的是Cookie、Storage、IndexedDB Cookie 分类 Cookie总是保存在客户端中（早期Java中经常会将Cookie与Session作为存储技术进行比较，Session是将数据保存在服务器端，大量的数据存储会增加服务器的负担），按在客户端中的存储位置 value) return defaultValue; return value[2]; } function setCookie(cname, cvalue, day, 、修改或删除存储的数据项。 后记 浏览器存储技术目前流行的基本就上面介绍的三种，之前出现的webSql由于用方言SQLlite导致无法统一，也就是说这是一个废弃的标准。
2.2K40发布于 2019-02-25 - 来自专栏全栈程序员必看
采用虚拟存储技术_虚拟存储管理
虚拟存储技术（VIRTUAL MEMORY） 所谓的虚拟存储技术是指：当进程运行时，先将其一部分装入内存，另一部分暂留在磁盘，当要执行的指令或访问的数据不存在内存中时，由操作系统自动完成将它们从磁盘调入内存的工作 ，防止地址越界 注意： 上图中的基地址寄存器和界限寄存器操作系统通过特殊的特权指令加载 确保进程的操作合法 ---- 虚拟页式（PAGING） **虚拟存储技术 + 页式存储管理方案 请求调页（demand paging） 2. 根据进程运行需要，动态装入其他页面 当内存空间已满，而有需要装入新的页面时，则根据某种算法置换内存中的某个页面，以便装入新的页面 其实就是以CPU时间和磁盘空间换取昂贵的内存空间，这是操作系统中的资源转换技术 引用位 修改位：此页在内存中是否修改过 保护位：读/可读写 通常，页表项是硬件设计 ---- 关于页表 32位虚拟地址空间的页表规模 如果页面大小为4k；页表项大小为4字节，则一个进程地址空间有2^
1.8K10编辑于 2022-11-09 - 来自专栏智能大数据分析
大数据存储技术（2）—— HDFS分布式文件系统
2、无法高效地存储大量小文件：为了快速响应文件请求，元数据存储在主节点的内存中，文件系统所能存储的文件总数受限于NameNode的内存容量。小文件数量过大，容易造成内存不足，导致系统错误。 （1）存储实际的数据块； （2）执行数据块的读/写操作。 3、Client：就是客户端。 （1）文件切分。 HDFS中的文件在物理上是分块存储（ Block )，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 HDFS作为一个分布式文件系统，使用抽象的数据块具有以下优势： （1）通过集群扩展能力可以存储大于网络中任意一个磁盘容量的任意大小文件； （2）使用抽象块而非整个文件作为存储单元，可简化存储子系统， HDFS采用机架感知技术来改进数据的可靠性、可用性和网络带宽的利用率。 通过机架感知，NameNode可确定每个DataNode所属的机架ID，HDFS会把副本放在不同的机架上。
1.3K10编辑于 2025-01-22 - 来自专栏技术杂记
Mysql 优化存储2
percona-toolkit 中提供一个叫 pt-table-sync 的工具，可以获取一致性检查结果
52710编辑于 2022-03-21 - 来自专栏技术杂记
sqlite数据存储（2）
create table students:table students already exists Please take follow action: 0.exit 1.insert 2. Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 1 Please take Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 4 Please take Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 2 Please take 语句的过程中会经常使用到 sprintf ，它和 printf 的用法相似，但是将结果写到一个字符数组中，而不是直接打印到了终端上，这样便于后期的处理 ---- 总结 以下函数可以对sqlite数据库进行创建与控制，是存储数据的基础操作
82130发布于 2021-09-15 - 来自专栏周末程序猿
技术总结|Bitcask存储
Bitcask的存储介绍 对于大多数存储系统中，其中读的性能一般都会成为瓶颈，以数据库为例，关系型数据库的底层存储为了解决快速查找的问题，一般采用BTree等，这种支持顺序扫描，当然为了快速查找也可以使用 ssd这种顺序存储的硬件，因此bitcask有一下特点： （1）所有的key都存储于内存中，所有的value都存储于磁盘中； （2）以追加的方式写入磁盘，即写操作是有序的，这样可以减少磁盘的寻道时间，是一种高吞吐量的写入方案 数据文件存储原始的kv数据，索引文件存储各个数据的索引位置，在启动时加载到内存中，hint file为了提高构建索引文件的速度使用的文件。 存储结构图如下： 说明： 1 -> 加载到内存的文件； 2 -> 存储在磁盘上的文件； 3 -> 存储在磁盘文件上的格式； 4 -> hint的文件格式； data文件的存储格式： crc32(4byte 扩展： （1）完整的基于bitcask的kv存储具体的可以参考豆瓣的BeansDB开源代码； （2）leveldb也采用类似bitcask的存储方案，其中性能对比如下： 机器： CPU : Intel
1.1K10编辑于 2023-04-17 - 来自专栏PPV课数据科学社区
【技术】HDFS存储原理
负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。 2、先联系元数据节点 3、下载数据 前文提到在写数据过程中，数据存储已经按照客户端与DataNode节点之间的距离进行了排序，距客户端越近的DataNode节点被放在最前面，客户端会优先从本地读取该数据块 4、思考 四、HDFS容错机制——第一部分：故障类型及监测方法 1、三类故障 （1）第一类：节点失败 （2）第二类：网络故障 （3）第三类：数据损坏（脏数据） 2、故障监测机制 （1）节点失败监测机制 （2）通信故障监测机制 （3）数据错误监测机制 3、回顾：心跳信息与数据块报告 HDFS存储理念是以最少的钱买最烂的机器并实现最安全、难度高的分布式文件系统（高容错性低成本），从上可以看出，HDFS认为机器故障是种常态 五、容错第二部分：读写容错 1、写容错 2、读容错 六、容错第三部分：数据节点（DN）失效 七、备份规则 1、机架与数据节点 2、副本放置策略 数据块的第一个副本优先放在写入数据块的客户端所在的节点上，
1.9K50发布于 2018-04-25 - 来自专栏数据和云
【连载】如何掌握openGauss数据库核心技术？秘诀三：拿捏存储技术（2）
目录 openGauss数据库SQL引擎 openGauss数据库执行器技术 openGauss存储技术 一、openGauss存储概览 二、openGauss行存储引擎 Ⅰ、行存储引擎总体架构 Ⅱ、行存储的基本模型与页面组织结构 四、openGauss内存引擎 openGauss事务机制 openGauss数据库安全 openGauss存储技术 二.openGauss行存储引擎 行存储的多版本管理以及DML操作 03 openGauss 图6 行存储结构示意图2 此时xmax被标记为20，如果此事务提交，那么此行最终会被回收。 (2) TUPLE（元组）的事务状态区里是提交状态，如果SNAPSHOT.CSN比事务区里的CSN小，当前TUPLE不可见，读取前一个版本继续比较CSN。反之可见。 图17 page页面级别的自我清理 可以看到，清理过程中分别对page1和page2中的内容进行了回收，但是由于之前的跨页面导致的两个索引entry指向不同页面，却被保留了下来。
94810编辑于 2021-12-10 - 来自专栏存储知识
存储技术架构总览
这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。 物理层： 顾名思义，就是用来存储数据的各种设备。 从存储介质的维度进行分类，存储系统可分为磁盘存储、全闪存储、混闪存储、磁带库、光盘库等。 目前主流协议有很多，但大体可分为文件存储、块存储、对象存储三种。 文件存储：文件存储的目标用户是自然人。根据不同的应用要求，有不同类型的文件，每个文件一个易于理解和记住的名称。 主要的的文件系统有：Windows的FAT、FAT32、NTFS，Linux的EXT2、EXT3、EXT4、XFS、BtrFS等。 以上分类仅是笔者的一家之言，读者不必将其理解为计算机网络那样层次分明的结构，实际上各类型数据存储技术仍在不断的完善和创新，以适应日益增长和不断变化的数据存储需求，形成了多层级、广泛覆盖的产品体系结构，本文更多意义上是提供了一个从不同视角去对众多存储系统进行分类的方法
1.7K20发布于 2021-11-03 - 来自专栏sofu456
存储相关技术点
存储分类 存储性能由高到低，如下 块存储，不带文件系统的裸磁盘，不能共享 对象存储，功能UUID访问，所有文件通过UUID平级的访问（构建类似hash表的存储），提高访问效率，能共享 文件存储，带文件系统的磁盘 ，能共享 minio 对象存储服务，https://gitee.com/mirrors/minio.git go mod tidy go build main.go -o minio.exe mkdir
48220编辑于 2022-09-23 - 来自专栏腾讯云区块链
国家区块链技术（能源领域）创新中心成立
本次论坛上，国家区块链技术（能源领域）创新中心正式揭牌成立。这是国家区块链技术创新中心正式投入运行后，在国民经济关键领域布局的首个国家级行业创新中心。 据悉，此次率先成立的能源领域创新中心由中国华电集团牵头建设，将充分发挥我国自主创新区块链软硬件技术体系“长安链”的性能优势，打造融合能源特色、全球领先的区块链行业创新平台，满足大规模场景应用，培养高水平人才 毛科表示，区块链技术是发展数字经济的重要基础设施，近年来华电集团依托“长安链”，持续探索区块链技术与能源行业场景的融合应用，建成“物资采购链”，加密技术达到国际领先水平，为超过10万家供应商提供便捷高效 “如今，我们牵头建设国家区块链技术（能源领域）创新中心，要全面发力能源行业数字化应用，完善升级数字化底座，为国家能源领域数字化转型提供强力支撑。”毛科说。 在综合性人才引育和成果转化方面，中心将培养集聚一批通晓自主创新区块链底层技术、熟识能源领域业务应用需求的高水平复合型人才，开展关键技术攻关，聚合行业区块链应用生态，带动能源行业的创新应用发展，实现能源产业数字化升级转型
67120编辑于 2023-07-25 - 来自专栏Android干货
安卓开发_数据存储技术_内部存储
安卓内部存储就是将信息保存在一个文件中放入手机内部一个特定的目录下，特别要注意，这里的内部存储不是内存存储。内部存储是系统中一个很特殊的位置。 功能就是： 1、输入文件名 和文件内容点击保存 就将文件内容保存在该文件名下 2、输入文件名 点击打开，就在编辑框中显示该文件的内容 布局文件： 1 <LinearLayout xmlns:android ="http://schemas.android.com/apk/res/android" 2 xmlns:tools="http://schemas.android.com/tools" ------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术_SharedPreferences 类 安卓开发_数据存储技术_外部存储
1.7K50发布于 2018-05-18 - 来自专栏区块链开发公司
区块链技术公司谈区块链与能源
威胁印度等中立国家的能源安全，这些国家依靠廉价的伊朗石油来满足其13亿人口的需求。 2.解决方案 - 用于能源安全的区块链分类帐：要设计解决方案，我们必须首先了解微观层面的问题。 区块链所做的是利用去中心化的分布式账本技术，通过智能合约、共识机制、加密算法等，在商业信任、价值传递、交易清结算等多维度解构现有的能源生产和消费模式，并搭建新的能源商业体系的底层构架。 第二，区块链技术不可篡改的特征使得多元化的能源市场中无需第三方的信任机制即可实现信任点对点的价值传递。 一方面，区块链技术服务于能源资产的生产开发，因为无论对于能源资产的资产证券化，还是对于绿色能源的碳资产开发，都可以通过区块链技术进行资产登记、溯源、流转，既可以大幅提升效率，同时又降低交易成本。 另一方面，在能源消费端，电动汽车的充放电、分布式能源的就近交易也可以通过区块链底层技术来开发相关应用。此外，区块链技术在储能、需求侧相应、LNG方面的探索应用的进展也较为积极。
6.5K30发布于 2018-08-21 - 来自专栏Android干货
安卓开发_数据存储技术_外部存储
事实上所有的安卓设备都有外部存储和内部存储，这两个名称来源于安卓的早期设备，那个时候的设备内部存储确实是固定的，而外部存储确实是可以像U盘一样移动的。 public static final int FORMAT_PNG = 1; 3 public static final int FOEMAT_JPEG = 2; 一些外部存储需要的方法： 1 } 3、获得当前sd卡中剩余存储空间的大小（单位兆） 1 public static int remainedSize(){ 2 //文件系统状态管理对象StatFs 3 -------------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术 _内部存储 安卓开发_数据存储技术_SharedPreferences类 安卓开发_数据存储技术_sqlite
2.4K80发布于 2018-05-18 - 来自专栏全栈程序员必看
操作系统虚拟存储技术_虚拟存储
不仅如此，还可采用虚拟存储管理技术，实现在较小的主存空间里运行较 大的作业。 虚拟存储管理：实现较小主存空间运行较大的作业。 分页式存储器的逻辑地址由两部分组成： 例如：地址总长15，其中页号5，页内地址10——得出逻辑地址32 就是2的5次方得32，其中编号是从0—31；每页2的十次方为1024，编号从0—1023 2、分左右主存块可以不连续，可按页分散主存空间中。 1、页管理条件： 1）怎样知道哪些块用或未用 2）左右分散后如何正确执行 分配前提：首先空闲块能否满足左右要求。 地址=块号*块长+页内地址 2）、页表放主存储器中，访问两次主存，一是读出页表，二是按计算出绝址进行读写。——延长指令执行周期，降低执行速度。 3）、引入高速缓冲存储器。 2、主存空间小于作业需求量，作业也能执行，主存空间充分利用，不必考虑主存器实际 大小。 3、虚拟存储器容量有计算机的地址结构和辅助存储器容量决定。
1.6K20编辑于 2022-11-09 - 来自专栏游戏开发那些事
【Cocos2d-x游戏开发】Cocos2d-x中的数据存储技术
那玩家一定会掏出准备已久的西瓜刀~） 其实Cocos2d-x引擎早已为我们开发者封装好了多种数据存储的类或者方法，包括简单信息的存储，文件的读写，SQLite数据库和RAR格式的压缩文件的读取等等。 其中大部分的存储功能被封装到了UserDefault类中。 二、数据存储 1.UserDefault类 UserDefault 是一个小型的数据管理类。 二、Cocos2dx中的文件读写 1 bool HelloWorld::init() 2 { 3 if ( ! /LocalDataSave 文件读写操作：https://github.com/XINCGer/Cocos2d-X_Tools/tree/master/Cocos2d-x_Demo/FileSystemInCocos2dx 下一篇博客，我们将学习Cocos2d-X中的弱联网技术。
85710发布于 2018-09-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号