- 综合排序
- 最热优先
- 最新优先
- 来自专栏智能大数据分析
大数据存储技术（4）—— NoSQL数据库
4、图（Graph）数据库：诸如Neo4J、InfoGrid、Infinite Graph等。 4、Zookeeper Zookeeper Quorum中除存储了HBase内置表-ROOT-的地址和HMaster的地址外，HRegionServer也会把自己相关信息注册到Zookeeper Neo4j是一个将结构化数据存储在图（网络）而不是表中的NoSQL图数据库，它可以被看作是一个嵌入式的、基于磁盘的、具备完全事务特性的高性能Java持久化图引擎，该引擎具有成熟数据库的所有特性。 Neo4j重点解决了拥有大量连接的传统RDBMS在查询时出现的性能衰退问题。围绕图进行数据建模后，Neo4j会以相同的速度遍历节点与边，其遍历速度与构成图的数据规模没有关系。 Neo4j数据库中的数据模型隐含在它存储的数据中，而不是明确地将数据模型定义为数据库本身的一个部分，它是对存入数据的一个描述，而不是数据库的一系列方法来限制将要存储的内容。
1.9K10编辑于 2025-01-22 - 来自专栏帅云霓的技术小屋
云存储硬核技术内幕——(4) 记忆的行囊
在前三期，我们借鉴社会生产力与生产关系的发展历史，小结了一下存储技术的发展： 内置磁盘存储（原始社会）-> DAS存储（奴隶制社会）-> SAN存储（封建社会）-> NAS存储（资本主义社会）-> 基于以太网 +IP的分布式存储 （社会主义社会）-> NVMe固态+SPDK （共产主义社会） 附上前三期链接： 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕——(3) 马克思主义存储社会发展极简史 (下) 方老师有个迷妹叫子虚，喜欢研究云计算技术，创作歌曲和去旅行。 由于云计算技术演进到社会主义时代的水平扩容需求，FC SAN Switch显然无法满足数百台宿主机节点的要求——光纤导向器没那么多物理端口，集中式FC SAN存储也没有那么高性能。 iSCSI的实现，是将SCSI命令字封装在TCP/IP中传输到对端，存储控制器进行SCSI命令字解析，并将其落盘，如下图： 由于常见的分布式存储需要采用三副本保证可靠性，SAN控制器会将IO发送到三个磁盘
1.1K10编辑于 2022-08-04 MyEMS 开源能源管理系统：重构能源秩序的技术密码
一、技术内核：从 “被动响应” 到 “主动进化” 的架构革命MyEMS 的底层突破，在于构建了一套能与能源系统共同进化的技术骨架，这种 “生长性” 使其区别于传统的工具型系统。 三、生态重塑：开源模式如何改写能源治理规则？MyEMS 的终极意义，或许不在于技术参数的领先，而在于其推动能源治理从 “少数人主导” 转向 “多方共建”，这种治理模式的革新将释放更大的系统价值。 中小企业的技术平权正在加速实现。 这种 “产学研用” 的无缝衔接，使 MyEMS 的技术迭代速度是闭源系统的 3-5 倍。能源数据的价值重估成为可能。由于开源系统的数据格式透明，企业可安全地与第三方共享脱敏数据以获取增值服务。 其真正的力量，不在于解决某个具体的能耗问题，而在于提供了一套开放的技术语言，让每个参与者都能在能源转型中书写自己的代码。
31900编辑于 2025-07-30- 来自专栏技术杂记
Mysql 优化存储4
一般少也能缩减5%的空间，平均在10%左右，我自己经历最明显效果的是减少了32%的空间，对于一个大库来说，能节省不少磁盘空间，并且对查询性能也有一定优化效果
41620编辑于 2022-03-21 MyEMS 开源能源管理系统：技术架构驱动的能源管理革新
这套架构不仅赋予了系统强大的功能扩展性，更保障了能源数据在采集、传输、存储和分析全流程的高效与稳定，为企业能源精细化管理提供了坚实的技术支撑。 针对工业环境中复杂的网络条件，传输层支持有线和无线多种传输方式，包括以太网、4G/5G 无线网络、LoRa 等，可根据现场网络环境自动切换最优传输路径。 数据存储层：是系统的数据中枢，负责能源数据的持久化存储。MyEMS 采用混合存储架构，结合了关系型数据库和时序数据库的优势。 ，这类数据库针对时间序列数据的高写入、高查询特性进行了优化，能够高效存储和快速查询历史能源数据，满足企业长期能源分析的需求。 数据存储层将探索分布式时序数据库和区块链技术的结合，提高数据的不可篡改性和溯源能力，为能源交易和碳排放核算提供可信数据支持。
32810编辑于 2025-08-13- 来自专栏ccylovehs
前端存储技术
前言 后端常用数据库做数据存储，譬如MySql、MongoDB，缓存技术存储数据，如Redis、Memcached； 前端存储数据目前常用的是Cookie、Storage、IndexedDB Cookie 分类 Cookie总是保存在客户端中（早期Java中经常会将Cookie与Session作为存储技术进行比较，Session是将数据保存在服务器端，大量的数据存储会增加服务器的负担），按在客户端中的存储位置 Cookie的大小限制在4KB左右，对于复杂的存储需求来说是不够用的。 现有的浏览器数据储存方案，都不适合储存大量数据：Cookie 的大小不超过 4KB，且每次请求都会发送回服务器；LocalStorage 在 2.5MB 到 10MB 之间（各家浏览器不同），而且不提供搜索功能 后记 浏览器存储技术目前流行的基本就上面介绍的三种，之前出现的webSql由于用方言SQLlite导致无法统一，也就是说这是一个废弃的标准。
2.2K40发布于 2019-02-25 - 来自专栏数据和云
【连载】如何掌握openGauss数据库核心技术？秘诀三：拿捏存储技术（4）
目录 openGauss数据库SQL引擎 openGauss数据库执行器技术 openGauss存储技术 一、openGauss存储概览 二、openGauss行存储引擎 三、openGauss列存储引擎 事务机制 openGauss数据库安全 openGauss存储技术 三.openGauss列存储引擎 传统行存储数据压缩率低，必须按行读取，即使读取一列也必须读取整行。 (4) 列存储表同样支持DML操作和MVCC，功能完备，且在使用角度做了良好的兼容，基本是对用户透明的，方便使用。 （4）min/max（最小值/最大值）为稀疏索引，后续会进一步展开。 而CU文件本身结构，则如图29所示。 除了上面列存储的页面组织结构以及文件管理中天然可以展示出的结构机制之外，列存储还有一些关键的技术特征： （1）列存储的CU中数据的删除，实际上是标记删除。
97140编辑于 2021-12-22 - 来自专栏数通
OceanStor篇章4.企业统一存储技术基本概念之存储池构建原理
一、什么是存储池 Storage Pool（存储池）：是由用户指定RAID级别和盘类型，在硬盘域上创建的用户可见的存储池。 说到这里，大家肯定觉得还是很概念，不会特别通俗，还是比较难以理解。 那我们先从硬盘域入手 二、什么是硬盘域 Disk Domain（硬盘域）：这个就字面意思，硬盘域由实际的一堆各种硬盘组成的一个域，对主机提供存储资源，内部可实现迁移、均衡等功能。 三、存储池组建原理 ①CK划分（Chunk：由硬盘可划分的固定大小的存储空间） 每个DISK（硬盘）按照特定大小被划分为均匀的块，即CK。 ②存储池的热备空间分布在各个盘，重构速度快。 .企业统一存储技术基本概念之多路径技术》！
68610编辑于 2024-12-03 - 来自专栏全栈程序员必看
采用虚拟存储技术_虚拟存储管理
虚拟存储技术（VIRTUAL MEMORY） 所谓的虚拟存储技术是指：当进程运行时，先将其一部分装入内存，另一部分暂留在磁盘，当要执行的指令或访问的数据不存在内存中时，由操作系统自动完成将它们从磁盘调入内存的工作 ，防止地址越界 注意： 上图中的基地址寄存器和界限寄存器操作系统通过特殊的特权指令加载 确保进程的操作合法 ---- 虚拟页式（PAGING） **虚拟存储技术 + 页式存储管理方案 、中断位）：表示该页是内存还是磁盘 访问位：引用位 修改位：此页在内存中是否修改过 保护位：读/可读写 通常，页表项是硬件设计 ---- 关于页表 32位虚拟地址空间的页表规模 如果页面大小为4k ；页表项大小为4字节，则一个进程地址空间有2^20页，其页表需要占1024页（页表页） 64位虚拟地址空间 –页面大小为4k； 页表项大小为8字节，则一个进程的页表规模：就达到了 32，000TB 页表页在内存中若不连续存放，则需要引入页表页的地址索引表-> 页目录（Page Directory） 注意 二级页表可以表示4G的虚拟地址空间 ---- 引入反转（倒排）页表
1.8K10编辑于 2022-11-09 MyEMS开源能源管理系统4G网关
MyEMS开源能源管理系统(EMS)参考ISO 50001能源管理体系标准(等同GB/T 23331-2020），适用于建筑、工厂、商场、医院、园区、能碳管理中心的电、水、气、冷、热等能源数据采集 用开源助力企业集团、产业园区、能源运营商低碳发展!MyEMS 4G网关是为方便云平台部署MyEMS开源能源管理系统而推出的4G网关，支持全网通4G LTE网络，具有高性价比、强适应的特点。 MyEMS 4G网关具有1路RS232、1路RS485接口，向下支持工业通信规约Modbus RTU兼容协议，向上支持MQTT（JSON）协议等。 用户可以通过MyEMS 4G网关实现对现场电表、水表、冷热量表、流量计等的数据采集，配合MyEMS开源能源管理系统，可实现云边端协同，助力用户快速创建能源管理应用。 MyEMS 4G网关功能特点4G LTE cat.1：电信、移动、联通4G LTE全网通频段，通信速率：上行 5Mbps,下行 10Mbps现场数据采集：Modbus RTU兼容协议等，100+数据点采集
24310编辑于 2025-06-10- 来自专栏周末程序猿
技术总结|Bitcask存储
Bitcask的存储介绍 对于大多数存储系统中，其中读的性能一般都会成为瓶颈，以数据库为例，关系型数据库的底层存储为了解决快速查找的问题，一般采用BTree等，这种支持顺序扫描，当然为了快速查找也可以使用 ssd这种顺序存储的硬件，因此bitcask有一下特点： （1）所有的key都存储于内存中，所有的value都存储于磁盘中； （2）以追加的方式写入磁盘，即写操作是有序的，这样可以减少磁盘的寻道时间，是一种高吞吐量的写入方案 存储结构图如下： 说明： 1 -> 加载到内存的文件； 2 -> 存储在磁盘上的文件； 3 -> 存储在磁盘文件上的格式； 4 -> hint的文件格式； data文件的存储格式： crc32(4byte )|timeStamp(4byte)|ksz(4byte)|valueSz(4byte)|key|value 在bitcask重启后，直接扫描data文件建立索引可能会非常耗时（当kv存储非常多的时候 其存储格式： timeStamp(4byte)|ksz(4byte)|valuesz(4byte)|valuePos(8byte)|key 具体代码：(python版本) import os import
1.1K10编辑于 2023-04-17 - 来自专栏PPV课数据科学社区
【技术】HDFS存储原理
负责元数据的管理；与client交互进行提供元数据查询；分配数据存储节点等。 Datanode：数据存储节点，负责数据块的存储与冗余备份；执行数据块的读写操作等。 二、写入数据 1、发送写数据请求 HDFS中的存储单元是block。文件通常被分成64或128M一块的数据块进行存储。 与普通文件系统不同的是，在HDFS中，如果一个文件大小小于一个数据块的大小，它是不需要占用整个数据块的存储空间的。 2、文件切分 3、DN分配 4、数据写入 5、完成写入 6、角色定位 三、HDFS读文件 1、用户需求 HDFS采用的是“一次写入多次读取”的文件访问模型。 4、思考 四、HDFS容错机制——第一部分：故障类型及监测方法 1、三类故障 （1）第一类：节点失败 （2）第二类：网络故障 （3）第三类：数据损坏（脏数据） 2、故障监测机制 （1）节点失败监测机制
1.9K50发布于 2018-04-25 - 来自专栏存储知识
存储技术架构总览
这种层次划分不一定对所有存储系统通用，但可以帮助初学者对市面上主流的存储技术架构建立一个大体的认识，接下来我们由下往上详细分析。 物理层： 顾名思义，就是用来存储数据的各种设备。 从存储介质的维度进行分类，存储系统可分为磁盘存储、全闪存储、混闪存储、磁带库、光盘库等。 目前主流协议有很多，但大体可分为文件存储、块存储、对象存储三种。 文件存储：文件存储的目标用户是自然人。根据不同的应用要求，有不同类型的文件，每个文件一个易于理解和记住的名称。 主要的的文件系统有：Windows的FAT、FAT32、NTFS，Linux的EXT2、EXT3、EXT4、XFS、BtrFS等。 以上分类仅是笔者的一家之言，读者不必将其理解为计算机网络那样层次分明的结构，实际上各类型数据存储技术仍在不断的完善和创新，以适应日益增长和不断变化的数据存储需求，形成了多层级、广泛覆盖的产品体系结构，本文更多意义上是提供了一个从不同视角去对众多存储系统进行分类的方法
1.7K20发布于 2021-11-03 - 来自专栏sofu456
存储相关技术点
存储分类 存储性能由高到低，如下 块存储，不带文件系统的裸磁盘，不能共享 对象存储，功能UUID访问，所有文件通过UUID平级的访问（构建类似hash表的存储），提高访问效率，能共享 文件存储，带文件系统的磁盘 ，能共享 minio 对象存储服务，https://gitee.com/mirrors/minio.git go mod tidy go build main.go -o minio.exe mkdir
48220编辑于 2022-09-23 - 来自专栏腾讯云区块链
国家区块链技术（能源领域）创新中心成立
本次论坛上，国家区块链技术（能源领域）创新中心正式揭牌成立。这是国家区块链技术创新中心正式投入运行后，在国民经济关键领域布局的首个国家级行业创新中心。 据悉，此次率先成立的能源领域创新中心由中国华电集团牵头建设，将充分发挥我国自主创新区块链软硬件技术体系“长安链”的性能优势，打造融合能源特色、全球领先的区块链行业创新平台，满足大规模场景应用，培养高水平人才 毛科表示，区块链技术是发展数字经济的重要基础设施，近年来华电集团依托“长安链”，持续探索区块链技术与能源行业场景的融合应用，建成“物资采购链”，加密技术达到国际领先水平，为超过10万家供应商提供便捷高效 “如今，我们牵头建设国家区块链技术（能源领域）创新中心，要全面发力能源行业数字化应用，完善升级数字化底座，为国家能源领域数字化转型提供强力支撑。”毛科说。 在综合性人才引育和成果转化方面，中心将培养集聚一批通晓自主创新区块链底层技术、熟识能源领域业务应用需求的高水平复合型人才，开展关键技术攻关，聚合行业区块链应用生态，带动能源行业的创新应用发展，实现能源产业数字化升级转型
67120编辑于 2023-07-25 - 来自专栏超级架构师
【存储】2022 年的 4 个开源对象存储平台
Ceph 的对象存储允许您使用本地语言绑定和 Ceph 提供的其他技术轻松访问数据对象。如果您想转变公司的 IT 基础架构及其管理大量非结构化数据的能力，这是一个很好的解决方案。 4.OpenIO OpenIO 是一种开源对象存储解决方案，用于管理和保护大量非结构化数据。它允许您构建和操作具有弹性且安全的大规模存储基础架构。 本文 https://jiagoushi.pro/4-open-source-object-storage-platforms-2021 讨论：知识星球【首席架构师圈】或者加微信小号【cea_csa_cto 】或者加QQ群【792862318】 公众号 【jiagoushipro】【超级架构师】精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。
13.3K10编辑于 2022-03-08 - 来自专栏Android干货
安卓开发_数据存储技术_内部存储
安卓内部存储就是将信息保存在一个文件中放入手机内部一个特定的目录下，特别要注意，这里的内部存储不是内存存储。内部存储是系统中一个很特殊的位置。 " 2 xmlns:tools="http://schemas.android.com/tools" 3 android:layout_width="match_parent" 4 47 </LinearLayout> 二、代码 1 package com.xqx_sharedata; 2 3 import java.io.FileInputStream; 4 ------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术_SharedPreferences 类 安卓开发_数据存储技术_外部存储
1.7K50发布于 2018-05-18 - 来自专栏区块链开发公司
区块链技术公司谈区块链与能源
4.如果说“互联网+”智慧能源战略是中国能源数字化转型开端的话，区块链+能源则是能源数字化的进一步求索与尝试。 区块链所做的是利用去中心化的分布式账本技术，通过智能合约、共识机制、加密算法等，在商业信任、价值传递、交易清结算等多维度解构现有的能源生产和消费模式，并搭建新的能源商业体系的底层构架。 第二，区块链技术不可篡改的特征使得多元化的能源市场中无需第三方的信任机制即可实现信任点对点的价值传递。 一方面，区块链技术服务于能源资产的生产开发，因为无论对于能源资产的资产证券化，还是对于绿色能源的碳资产开发，都可以通过区块链技术进行资产登记、溯源、流转，既可以大幅提升效率，同时又降低交易成本。 另一方面，在能源消费端，电动汽车的充放电、分布式能源的就近交易也可以通过区块链底层技术来开发相关应用。此外，区块链技术在储能、需求侧相应、LNG方面的探索应用的进展也较为积极。
6.5K30发布于 2018-08-21 - 来自专栏Android干货
安卓开发_数据存储技术_外部存储
安卓外部存储，即将数据存储在sdcard中，当然存储的前提是手机或者模拟器先具有sdcard目录 然而上一句话还是有歧义的。 事实上所有的安卓设备都有外部存储和内部存储，这两个名称来源于安卓的早期设备，那个时候的设备内部存储确实是固定的，而外部存储确实是可以像U盘一样移动的。 所以不管安卓手机是否有可移动的sdcard，他们总是有外部存储和内部存储。最关键的是，我们都是通过相同的api来访问可移动的sdcard或者手机自带的存储（外部存储）。 -------------------------------------------------------------------------------------- 相关知识： 安卓开发_数据存储技术 _内部存储 安卓开发_数据存储技术_SharedPreferences类 安卓开发_数据存储技术_sqlite
2.4K80发布于 2018-05-18 - 来自专栏全栈程序员必看
操作系统虚拟存储技术_虚拟存储
不仅如此，还可采用虚拟存储管理技术，实现在较小的主存空间里运行较 大的作业。 虚拟存储管理：实现较小主存空间运行较大的作业。 2、相关的计算： 1）、块号=字号*字长 + 位号 2）、柱面号=块号/32 3）、磁头号=块号先Mod32 / 4 4）、扇区号= 块号先Mod32 在Mod 4 3、 4、页式存储管理： 1）、动态重定位方式装入作业，要硬件地址转换机构，逻址——绝址。 4）、整个系统只一个高速缓冲存储器，只占用处理器者才能使用它。 3、虚拟存储器容量有计算机的地址结构和辅助存储器容量决定。 4、实质上是为扩大主存容量而采用的一种管理技巧。 允许用户逻辑 > 主存储器绝址空间。
1.6K20编辑于 2022-11-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号