- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
冷数据备份存储技术探索
以松下蓝光存储系统为例，已经发展到第3代。下图是单机部件结构图： 每个6U高度的存储单元左右两排各45个光盘匣，一台机器90个光盘匣，支持6~12个光驱，也可以在一个机柜内与其它存储单元共用光驱。 每个光盘匣有12个光盘，一个存储单元可容纳45 X 2 X 12= 1080张光盘。一个44U的机柜可以部署6个这样的存储单元，共6480张光盘，每张300G，总容量就是1.944PB的存储容量。 从数据完整性来评估，支持盘匣级别的RAID 0，RAID 1，RAID 5，RAID 6这些RAID组，即由一个盘匣内的12个光盘组成上述RAID组，相当于是12个磁盘做RAID。 磁带存储系统的架构与蓝光存储系统的架构基本是类似的。 蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘（云盘、监控盘）。 通过对数据备份介质成本和运营成本的分析，我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统，帮助具有大量冷备数据需求的用户评估适用性。
4.8K71发布于 2018-01-26 - 来自专栏小网管的运维之路
MYSQL冷备份数据上传到对象存储
介绍 将MySQL数据库中的冷数据备份并上传至云平台对象存储的过程。冷数据是指数据库中的历史或不经常访问的数据。 我们首先通过执行SQL查询语句从MySQL数据库中提取所需数据，然后将其保存为CSV文件格式，接着通过SDK将备份文件上传到对象存储。 BUCKET_NAME, s3_object_key) # 记录日志 logger.info(f"文件 {csv_filename} 已上传到 S3 存储桶 s3 从一个数据库中获取前一天的数据。 将数据存储到一个 CSV 文件中。 检查本地是否已存在该 CSV 文件，如果存在则不执行数据库查询，直接将已有文件上传到 Amazon S3 存储桶中。
1.3K10编辑于 2023-12-23 - 来自专栏Juicedata
JuiceFS 在 ElasticsearchClickHouse 温冷数据存储中的实践
同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。 03- 温冷数据存储：为什么使用对象存储+ JuiceFS ？ 企业把温、冷数据存放到云上后，存储成本相较于传统的 SSD 架构大为下降。 温冷数据所需的存储容量比热数据大很多，尤其是随着时间推移，会产生大量需要长期保存的数据，如果这些数据都存储在本地，相应的运维工作将不堪重负。 测试结果如下图： JuiceFS 与 SSD 盘的查询性能基本相当，平均差异在 6% 左右，但是对象存储相比 SSD 盘有 1.4 至 30 倍的性能下降。 一般用户将 JuiceFS 用于温、冷数据的存储，用户需要在 ES 温数据节点或冷数据的节点上把 JuiceFS 文件系统挂载到本地。
3.4K30编辑于 2022-10-05 - 来自专栏昆腾
一文读懂温冷数据存储的技术选型
温冷数据的存储目前，在对象存储领有很多的使用场景。通常来说，支持AWS的S3协议，就可以把它归类于对象存储。 当然还有6TB的5400RPM的SMR硬盘，主要用于冷数据存储或归档，价格约为800元。磁带在冷存储领域是很重要的选项，其最大特点是成本较低；另外，它还具备绿色节能的特质。 DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化，无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。 昆腾的解决之道昆腾主要关注磁带技术，以更好地解决温冷数据的存储问题。事实上，磁带库是可以直接挂在文件系统或者操作系统上，然后进行使用的。 第一类就是StorNext文件存储系统，它相当于在磁带库的前端嫁接了一套文件存储或NAS存储，将其作为数据的缓存。当要读取磁带库的数据的时候，就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。
1.2K20编辑于 2023-10-27 - 来自专栏腾讯数据中心
数据中心蓄冷罐放冷演练
背景介绍 蓄冷罐顾名思义是用于蓄冷的设备。其原理是通过媒介将数据中心空调系统运行中的富余冷量进行储藏，在需要时再将冷量释放出来。 某夜， 腾讯某数据中心进行了一期蓄冷罐放冷演练。 此数据中心一期的冷水机组中有高压冷水机组和低压变频机组；根据现有的负荷开一半冷水机组已满足负荷需要，关闭的冷机处于备用状态。 1. 演练目的 通过进行蓄冷罐放冷测试，测试空调系统设备存在的隐患，使现场人员更好的熟悉应急预案及了解应急预案的实施性、可行性，缩短突发故障处理时间，确保数据中心运营安全；也可以测试运维人员熟练程度，提高运维人员处理故障的能力 ②冷机延时关机结束，冷机停止运行，值班员现场手动开启蓄冷罐放冷。同时值班员在现场记录从开启电动阀指令到电动阀全部开启所需的时间。 ? ③开启蓄冷罐放冷操作完毕，同时关闭冷机冷冻水电动阀。 演练过程正常，蓄冷罐温度从8℃升至11.5℃为止共25mim。全程未对运营环境造成影响，末端负载运行正常。 总结 在数据中心的运营工作中，应急演练是不可或缺的一环。
2.9K42发布于 2018-03-16 - 来自专栏码农知识点
zookeeper源码分析(6)-数据和存储
在Zookeeper中，数据存储分为两部分：内存数据存储和磁盘数据存储。本文主要分析服务器启动时内存数据库的初始化过程和主从服务器数据同步的过程。在此之前介绍一些数据存储涉及的基本类。 DataTree Zookeeper的数据模型是一棵树，DataTree是内存数据存储的核心，代表了内存中一份完整的数据(最新)，包括所有的节点路径，节点数据和ACL信息，对应watches等。 zxid public volatile long lastProcessedZxid = 0; DataNode 数据存储的最小单元，包含节点的数据内容，节点状态，子节点列表，以及对子节点的操作接口等 FileSnap 数据快照是用来记录zookeeper服务器在某一时刻的全量内存数据，并将其写入到指定位置磁盘上。存储内容包括DataTree信息和会话信息。 5.应用事务 在循环过程中处理事务日志processTransaction,也就是根据事务日志类型不断的更新sessions 和DataTree中的数据内容 6.回调事务 回调listener.onTxnLoaded
2.2K10发布于 2020-06-22 - 来自专栏GPUS开发者
CUDA优化的冷知识16|纹理存储优势（2）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） ? 从而使得这个特性不仅仅适用于图像这类的数据, 也适用一定的需要严格坐标指定的普通2D数组/矩阵之类的算法/代码. 因为一定范围内的1/2^N在我们用的卡上, 是可以被精确表示的浮点数.
73420发布于 2021-02-05 - 来自专栏北亚数据恢复中心
RAID6存储断电数据恢复案例
本次分享的案例是由于机房突然断电导致整个存储瘫痪，加电后存储依然无法使用。经过用户方工程师诊断后认为是断电导致存储阵列损坏。 整个存储是由12块盘组成的RAID-6磁盘阵列，被分成一个卷，分配给几台Vmware的ESXI主机做共享存储。 将故障存储的所有磁盘和备份sss数据的目标磁盘连入到一台Windows Server 2008的服务器上。以底层方式读取扇区，发现了大量损坏扇区。初步判断可能是这种硬盘的读取机制与常见的硬盘不一样。 【RAID重组】 1、分析RAID结构：存储使用的是标准的RAID-6阵列，接下来只需要分析出RAID 成员数量以及RAID的走向就可以重组RAID。 由于部分虚拟机的数据盘很大，而数据很少。像这种情况就可以直接导出数据，然后新建一个虚拟磁盘，最后将导出的数据拷贝至新建的虚拟磁盘中即可。 统计了一下整个存储中虚拟机的数量，大约有200台虚拟机。
1.3K20发布于 2021-09-27 - 来自专栏GPUS开发者
CUDA优化的冷知识17|纹理存储优势（3）
CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） CUDA优化的冷知识16|纹理存储优势（2） ? 而今天, 如果纹理能适用你的数据类型/代码, 则你可以自动得到这个免费特性. 从而提升你的编码效率, 也提升了你的代码执行的性能. 这是说的第三大点的边界/越界处理中的自动返回0值的情况.
70620发布于 2021-02-05 - 来自专栏存储公众号：王知鱼
磁带逆袭：何以成为AI时代冷存储首选？
冷存隐形“小霸王”-磁带库进展 2. 磁带库存储方案TCO优势？ 3. 磁带库应用面临的挑战？ - 重要性：这是评估磁带或任何存储介质存储容量能力的标准指标。面密度越高，同样大小的磁带能存储的数据就越多。 2. - 重要性：这个指标衡量了磁带在其长度上的数据存储能力。线性密度增加意味着在同样的磁带长度上可以存储更多的数据。 3. - 重要性：轨道密度决定了磁带可以同时读写的数据量。增加轨道密度可以显著提高磁带的总存储容量，因为它允许在同一物理空间内放置更多的数据轨道。 • 标准化接口：如支持S3 Glacier兼容接口，这是亚马逊提供的一种低成本云存储服务，允许使用标准的web服务接口来存储和检索任意数量的数据。 • 数据耐用性：磁带提供的是非常耐用的存储选项。
1.4K00编辑于 2025-02-11 - 来自专栏软件工程师Michael
.NET6实现简单数据存储
下面是一个使用.NET 6 实现简单数据存储（将数据存储到文本文件中）的示例代码。此示例使用System.IO命名空间来处理文件操作。 string dataToStore = "这是要存储到文件中的示例数据";：定义一个字符串变量 dataToStore，用于存储要写入文件的数据。 Console.WriteLine("数据已成功存储到文件中。");：在控制台输出一条消息，表示数据已成功存储。 Console.WriteLine("从文件中读取的数据: " + dataRead);：在控制台输出从文件中读取的数据，以验证数据是否正确存储。 如果需要更复杂的数据存储，例如存储对象到文件，可以使用序列化和反序列化技术，如 JSON 序列化（使用 System.Text.Json 命名空间）。
50010编辑于 2025-02-07 - 来自专栏GPUS开发者
CUDA优化的冷知识15|纹理存储优势（1）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 接着之前的内容, 即说对GPU上的各种存储器的优化使用, 今天来到纹理存储. 这个其实我们之前在编程指南中已经说过很多了, 读者也应当对基本用法, 包括经典的纹理引用和较新的纹理对象都应该会使用了. 有些算法需要将数据作为8-bit或者16-bit整数存储, 然后读取到后, 再转换为float之类的浮点数, 和其他类型进行运算. 而纹理读取的时候, 可以利用上其数据路径中的自带的转换功能, 从而节省掉对SFU/XU或者人工编码成本的开销. 这样有可能带来额外的性能提升, 和对人力成本的节省.
1K30发布于 2021-02-05 - 来自专栏深度学习与python
Google Cloud 为 Spanner 数据库引入 HDD 层，将冷存储成本降低 80%
这种分层存储架构包含一种新的 HDD 存储选项，比现有的 SSD 选项便宜 80%，可降低旧数据的存储成本，同时尽可能减少与传统数据迁移相关的开销。 无论数据在哪个存储层，SQL 查询都可以访问 SSD 和 HDD 层上的数据，并且备份策略在所有数据上一致应用。 这种转变意味着旧的“冷”数据不需要像当前的“热”事务数据那样具有高性能访问能力，从而鼓励公司寻求更具成本效益的历史信息存储解决方案。 现在用户可以在各种 Spanner 级别（数据库、表、列或二级索引）实施存储分层策略，并可以灵活地将特定数据移动到速度较慢但成本较低的 HDD 存储。 在移动数据之前，数据必须在 SSD 中存储至少 1 小时。 Google Spanner 不是唯一提供分层存储的分布式云数据库。
84710编辑于 2025-04-07 蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 其实吧，蓝光光盘在数据中心场景下，已经变成了一种靠谱的冷数据归档方案。它最大的特点是：写一次，读很多次，数据能躺50年不动。对，50年。 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
10210编辑于 2026-06-23蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 其实吧，蓝光光盘在数据中心场景下，已经变成了一种靠谱的冷数据归档方案。它最大的特点是：写一次，读很多次，数据能躺50年不动。对，50年。 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
14610编辑于 2026-06-23SD NAND应用存储功能描述（6）读写数据
宽总线选择/取消选择宽总线(4位总线宽度)操作模式可以使用AcMD6选择/取消选择。默认总线上电或GO IDLE (CMDO)后的宽度为1位总线宽度。 b)卡未锁定被锁定的卡将响应ACMD6为非法命令。2GB卡要制作2GByte卡，最大块长度(READ BL LEN- write BL LEN)应设置为1024字节。 数据流以endl位结束(1位或4位HIGH).数据传输与时钟信号同步。面向块的数据传输的有效载荷由1位或4位CRC校验和保护。关闭电源可能会中断SD存储卡的读取操作。 SDl存储卡确保在主机发出的除写或擦除操作外的所有情况下，即使在突然关闭或删除的情况下，数据也不会被破坏。 传输的数据也受CRC保护。如果CSD寄存器的一部分存储在ROM中，那么这个不可改变的部分应与接收缓冲区的相应部分相匹配。如果匹配失败，那么卡将报告一个错误，并且不会更改任何寄存器内容。
38910编辑于 2024-06-28- 来自专栏腾讯数据中心
浅谈数据中心应急冷源
①蓄冷式应急制冷系统简介 蓄冷式应急制冷系统其原理是通过介质将数据中心空调系统运行中的冷量进行储藏，在需要时再将冷量释放出来用于数据中心制冷需求。 数据中心蓄冷装置用于保证制冷系统短时故障期间的供冷，其瞬时用冷量很大，由于冰蓄冷技术的融冰速度有限，不适用于数据中心快速释放储存冷量的要求。 除了数据中心行业，其他领域也有广泛的应用，如图6为某机场配置的蓄冷罐系统。 ? 图6 蓄冷罐系统 (2)早期低负载运行调优：大型数据中心通常采用大型冷水机组，但在上架初期，由于上架量少，机房热负荷较低，此时既可采用风冷系统，亦可采用水冷系统。 但也有些机房由于内部规范的要求，对一定规模以下的数据中心仍主推双冷源系统，同时也将冰砖等移动式冷源作为数据中心最后的制冷保障手段纳入到数据中心的应急响应中。
3.9K41发布于 2018-03-16 - 来自专栏技术博文
TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
例如，在热存储中，一份日志数据可能会在多个节点上保存副本，当某个节点出现故障时，可以从其他副本快速恢复数据。冷存储CLS 冷存储则适用于存储历史的、访问频率较低的日志数据。 冷存储的数据冗余策略可能与热存储有所不同，例如采用纠删码等技术，在保障数据可靠性的同时降低存储开销。 当用户查询日志时，系统会优先从热存储中检索数据；如果所需日志已迁移至冷存储，系统会自动从冷存储中调取数据，并可能在返回结果时稍作延迟提示。 采用 CLS 热冷存储及生命周期管理后，经过统计分析，约 20% 的日志为热数据存储在热存储中，其余 80% 为冷数据存储在冷存储中。 数据管理收益CLS 热冷存储及生命周期管理使得日志数据管理更加高效、有序。运维人员可以更快地定位和查询热数据，提高故障排查效率。同时，冷数据的归档存储符合数据合规要求，降低了数据丢失或泄露的风险。
58210编辑于 2025-06-26 - 来自专栏机器学习/数据可视化
hive之路6-存储格式和数据格式
hive存储格式 Hive会为每个创建的数据库在HDFS上创建一个目录，该数据库的表会以子目录形式存储，表中的数据会以表目录下的文件形式存储。 对于默认的defautl数据库，默认缺省的数据库没有自己的目录，default数据库的表默认存放在/usr/hive/warehouse目录下 存储方式 格式 行存储 textfile Parquet 列存储 ORCfile 行列结合 RCfile 二进制存储 SequenceFile ---- 一、 textfile 默认格式，存放方式为行存储；数据不做压缩，磁盘开销大，数据解析开销大 二、SequenceFile 四、ORCfile 数据按照行分块，每个块按照列存储，每个块都有一个索引。数据压缩快，快速列存取，是hive给出的一种新存储格式。 五、Parquet 一种行存储方式，压缩性能好；同时可以减少大量表的扫描和反序列化时间。 hive数据格式 当数据存储在文本文件中，必须按照一定的格式来区分行和列，并且在行列中自定这些区分符。
94410发布于 2021-03-02 - 来自专栏我分享我快乐
【提升效率】新手最容易忽略的6个AI“冷技巧”
文件操作 新建图形文件 【Ctrl】+【N】 打开已有的图像 【Ctrl】+【O】 关闭当前图像 【Ctrl】+【W】 保存当前图像 【Ctrl】+【S】 另存为… 【Ctrl】+【Shift】+【S】 存储副本 +【”】 应用敏捷参照 【Ctrl】+【U】 显示/隐藏“字体”面板 【Ctrl】+【T】 显示/隐藏“段落”面板 【Ctrl】+【M】 显示/隐藏“画笔”面板 【F5】 显示/隐藏“颜色”面板 【F6】
2.5K30发布于 2019-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号