- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
冷数据备份存储技术探索
数据中心的数据安全性是一个多方面的问题，从IDC的风，火，水，电的建设，再到从小到一个存储bit，再到一个sector，一个硬盘，一台存储服务器，一个存储服务器集群再到一个数据中心。 从数据完整性来评估，支持盘匣级别的RAID 0，RAID 1，RAID 5，RAID 6这些RAID组，即由一个盘匣内的12个光盘组成上述RAID组，相当于是12个磁盘做RAID。 磁带存储系统的架构与蓝光存储系统的架构基本是类似的。 蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘（云盘、监控盘）。 按2PB存储容量为例，我们综合IDC建设，功耗，维护各方面来分析磁盘存储系统和蓝光层出系统的TCO情况，如下表所示： 可以看到5年这个时间点上，磁盘由于故障率高企而需要更新换代，所付出的成本已远远超过蓝光 通过对数据备份介质成本和运营成本的分析，我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统，帮助具有大量冷备数据需求的用户评估适用性。
4.8K71发布于 2018-01-26 - 来自专栏小网管的运维之路
MYSQL冷备份数据上传到对象存储
介绍 将MySQL数据库中的冷数据备份并上传至云平台对象存储的过程。冷数据是指数据库中的历史或不经常访问的数据。 我们首先通过执行SQL查询语句从MySQL数据库中提取所需数据，然后将其保存为CSV文件格式，接着通过SDK将备份文件上传到对象存储。 查询 -- 查询最早的数据 SELECT * FROM bos_balance_flow limit 5 -- 查询最后10条数据 SELECT * FROM bos_balance_flow ORDER time.sleep(5) # 增加一天 current_date += timedelta(days=1) 每日数据上传s3 从一个数据库中获取前一天的数据 将数据存储到一个 CSV 文件中。 检查本地是否已存在该 CSV 文件，如果存在则不执行数据库查询，直接将已有文件上传到 Amazon S3 存储桶中。
1.3K10编辑于 2023-12-23 - 来自专栏Juicedata
JuiceFS 在 ElasticsearchClickHouse 温冷数据存储中的实践
同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。 ILM 将索引的生命周期定义为 5 个阶段： 热数据（Hot）：需要频繁更新或者查询的数据； 温数据（Warm）：不再更新，但仍会被频繁查询的数据； 冷数据（Cold）：不再更新，且查询频率较低的数据； 03- 温冷数据存储：为什么使用对象存储+ JuiceFS ？ 企业把温、冷数据存放到云上后，存储成本相较于传统的 SSD 架构大为下降。 温冷数据所需的存储容量比热数据大很多，尤其是随着时间推移，会产生大量需要长期保存的数据，如果这些数据都存储在本地，相应的运维工作将不堪重负。 一般用户将 JuiceFS 用于温、冷数据的存储，用户需要在 ES 温数据节点或冷数据的节点上把 JuiceFS 文件系统挂载到本地。
3.4K30编辑于 2022-10-05 - 来自专栏昆腾
一文读懂温冷数据存储的技术选型
温冷数据的存储目前，在对象存储领有很多的使用场景。通常来说，支持AWS的S3协议，就可以把它归类于对象存储。 当然还有6TB的5400RPM的SMR硬盘，主要用于冷数据存储或归档，价格约为800元。磁带在冷存储领域是很重要的选项，其最大特点是成本较低；另外，它还具备绿色节能的特质。 DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化，无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。 昆腾的解决之道昆腾主要关注磁带技术，以更好地解决温冷数据的存储问题。事实上，磁带库是可以直接挂在文件系统或者操作系统上，然后进行使用的。 第一类就是StorNext文件存储系统，它相当于在磁带库的前端嫁接了一套文件存储或NAS存储，将其作为数据的缓存。当要读取磁带库的数据的时候，就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。
1.2K20编辑于 2023-10-27 - 来自专栏冷月带你手撕代码
冷月手撕408之数据结构(5)-栈
数据结构中栈是一种受限的线性表，是一种先入后出的数据结构，大家重点掌握顺序栈的特点。 主要的重点冷月做出了标识，知识点如下图（pdf版或xmind源文件请私聊我：数据结构）。 ? 冷月点睛 栈 定义 只允许一端进行插入或删除的线性表(栈顶) 先入后出(FILO) first in last out 栈顶(Top):允许插入或删除的那一端 栈底(Bottom):固定的，不允许插入或删除的那一端 物理结构 顺序结构 栈的C语言数据结构的定义请参考王道书 栈顶指针：s.top, 初始时:s.top == -1 ;栈顶元素 s.data[S.top] 进栈操作：IF 栈不满；s.top ++ ;s.data 栈空:s.top == -1;栈满:s.top == MaxSize -1 ;栈长 :s.top +1 链式结构 使用单链表来实现，没有头结点，head指针指向栈顶元素 如果这篇文章有帮助到您，可以给冷月一个关注或者点个赞白嫖一波
57420发布于 2021-02-22 - 来自专栏腾讯数据中心
数据中心蓄冷罐放冷演练
背景介绍 蓄冷罐顾名思义是用于蓄冷的设备。其原理是通过媒介将数据中心空调系统运行中的富余冷量进行储藏，在需要时再将冷量释放出来。 某夜， 腾讯某数据中心进行了一期蓄冷罐放冷演练。 此数据中心一期的冷水机组中有高压冷水机组和低压变频机组；根据现有的负荷开一半冷水机组已满足负荷需要，关闭的冷机处于备用状态。 1. 演练目的 通过进行蓄冷罐放冷测试，测试空调系统设备存在的隐患，使现场人员更好的熟悉应急预案及了解应急预案的实施性、可行性，缩短突发故障处理时间，确保数据中心运营安全；也可以测试运维人员熟练程度，提高运维人员处理故障的能力 ②冷机延时关机结束，冷机停止运行，值班员现场手动开启蓄冷罐放冷。同时值班员在现场记录从开启电动阀指令到电动阀全部开启所需的时间。 ? ③开启蓄冷罐放冷操作完毕，同时关闭冷机冷冻水电动阀。 演练过程正常，蓄冷罐温度从8℃升至11.5℃为止共25mim。全程未对运营环境造成影响，末端负载运行正常。 总结 在数据中心的运营工作中，应急演练是不可或缺的一环。
2.9K42发布于 2018-03-16 - 来自专栏GPUS开发者
CUDA优化的冷知识16|纹理存储优势（2）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） ? 从而使得这个特性不仅仅适用于图像这类的数据, 也适用一定的需要严格坐标指定的普通2D数组/矩阵之类的算法/代码. 因为一定范围内的1/2^N在我们用的卡上, 是可以被精确表示的浮点数.
73420发布于 2021-02-05 - 来自专栏GPUS开发者
CUDA优化的冷知识17|纹理存储优势（3）
CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） CUDA优化的冷知识16|纹理存储优势（2） ? 而今天, 如果纹理能适用你的数据类型/代码, 则你可以自动得到这个免费特性. 从而提升你的编码效率, 也提升了你的代码执行的性能. 这是说的第三大点的边界/越界处理中的自动返回0值的情况.
70620发布于 2021-02-05 - 来自专栏存储公众号：王知鱼
磁带逆袭：何以成为AI时代冷存储首选？
冷存隐形“小霸王”-磁带库进展 2. 磁带库存储方案TCO优势？ 3. 磁带库应用面临的挑战？ - 重要性：这是评估磁带或任何存储介质存储容量能力的标准指标。面密度越高，同样大小的磁带能存储的数据就越多。 2. - 重要性：这个指标衡量了磁带在其长度上的数据存储能力。线性密度增加意味着在同样的磁带长度上可以存储更多的数据。 3. • 标准化接口：如支持S3 Glacier兼容接口，这是亚马逊提供的一种低成本云存储服务，允许使用标准的web服务接口来存储和检索任意数量的数据。 • 数据耐用性：磁带提供的是非常耐用的存储选项。 带库优势：成本较低，可长期存储数据，适用于备份和灾难恢复等场景。 4. 技术挑战：扩展性、易用性和生态系统标准化等问题需解决。 5.
1.4K00编辑于 2025-02-11 - 来自专栏火星娃统计
大数据存储_hdf5 简介
概述 HDF5 (Hierarchical Data Format) 是由美国伊利诺伊大学厄巴纳-香槟分校，是一种跨平台传输的文件格式，存储图像和数据 hdf5的优势 通用数据模型，可以通过无限多种数据类型表示非常复杂 hdf5的文件格式，极其类似unix操作系统 datasets HDF5数据集包含数据和描述文件也就是metadata ? 在上面的图片中，数据存储为大小为4 x 5 x 6的三维数据集，数据类型为整数。 Properties Properties适用于描述hdf5文件的特征，通过修改这些性能，可以提高存储效率 比如默认情况下，数据是连续分布的，为了更好的效能，可以将数据分割成块并压缩 ? hdf5是一个非常专业的数据存储格式，同时支持的数据类型广泛，有更高级的使用，但是考虑到时间和需求，我应该不会在这方面深入过多，后续应该会更新r语言的hdf5文件处理，python备用。
7.6K10发布于 2021-02-05 - 来自专栏GPUS开发者
CUDA优化的冷知识15|纹理存储优势（1）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 接着之前的内容, 即说对GPU上的各种存储器的优化使用, 今天来到纹理存储. 这个其实我们之前在编程指南中已经说过很多了, 读者也应当对基本用法, 包括经典的纹理引用和较新的纹理对象都应该会使用了. 有些算法需要将数据作为8-bit或者16-bit整数存储, 然后读取到后, 再转换为float之类的浮点数, 和其他类型进行运算. 而纹理读取的时候, 可以利用上其数据路径中的自带的转换功能, 从而节省掉对SFU/XU或者人工编码成本的开销. 这样有可能带来额外的性能提升, 和对人力成本的节省.
1K30发布于 2021-02-05 - 来自专栏深度学习与python
Google Cloud 为 Spanner 数据库引入 HDD 层，将冷存储成本降低 80%
这种分层存储架构包含一种新的 HDD 存储选项，比现有的 SSD 选项便宜 80%，可降低旧数据的存储成本，同时尽可能减少与传统数据迁移相关的开销。 无论数据在哪个存储层，SQL 查询都可以访问 SSD 和 HDD 层上的数据，并且备份策略在所有数据上一致应用。 这种转变意味着旧的“冷”数据不需要像当前的“热”事务数据那样具有高性能访问能力，从而鼓励公司寻求更具成本效益的历史信息存储解决方案。 现在用户可以在各种 Spanner 级别（数据库、表、列或二级索引）实施存储分层策略，并可以灵活地将特定数据移动到速度较慢但成本较低的 HDD 存储。 在移动数据之前，数据必须在 SSD 中存储至少 1 小时。 Google Spanner 不是唯一提供分层存储的分布式云数据库。
84710编辑于 2025-04-07 蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 我最早接触蓝光存储是在2019年，当时帮一个档案局做项目。他们要求保存电子档案100年，每年新增大概2TB。硬盘肯定不行，5年一换，成本加上人工倒腾数据，简直噩梦。磁带呢？ 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
10210编辑于 2026-06-23蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 我最早接触蓝光存储是在2019年，当时帮一个档案局做项目。他们要求保存电子档案100年，每年新增大概2TB。硬盘肯定不行，5年一换，成本加上人工倒腾数据，简直噩梦。磁带呢？ 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
14610编辑于 2026-06-23- 来自专栏北亚数据恢复中心
IBM存储RAID5数据恢复案例
本次北亚小编分享的案例是关于IBM存储DS3512，6块盘，坏了多块盘，导致阵列失效，数据丢失。 客户机类型：IBM存储DS3512 RAID级别：RAID5 硬盘容量：600G 硬盘数量：6块SAS硬盘 文件系统类型：OCFS2 数据类型：LINUX和windows虚拟机共24台，压缩包文件，配置文件 故障情况：IBM存储DS3512，6块盘，坏了多块盘，导致阵列失效，数据丢失。 【数据恢复过程】 客户存储中6块硬盘，一组RAID5，划分一个LUN，其中LUN分配给LINUX服务器，并格式化成ocfs2文件系统，之后共享给虚拟化使用，存放虚拟机文件。 1、先对6块盘以只读模式做镜像文件,发现4块盘有坏道，对有坏道的扇区，多次尝试读取数据； 2、根据IBM-DS3512存储算法和文件系统底层结构,分析RAID5结构； A、分析存储6块硬盘的RAID5分布情况
2K30发布于 2021-02-01 - 来自专栏腾讯数据中心
浅谈数据中心应急冷源
①蓄冷式应急制冷系统简介 蓄冷式应急制冷系统其原理是通过介质将数据中心空调系统运行中的冷量进行储藏，在需要时再将冷量释放出来用于数据中心制冷需求。 数据中心蓄冷装置用于保证制冷系统短时故障期间的供冷，其瞬时用冷量很大，由于冰蓄冷技术的融冰速度有限，不适用于数据中心快速释放储存冷量的要求。 图5 某数据中心水蓄冷罐 ④蓄冷设备的其他用途 蓄冷罐等蓄冷设备不仅可以用作数据中心应急制冷，同时也具备了其他辅助功能，如峰谷电价运营调优、早期低负载运行调优等。 图7 某数据中心应急备用冰砖 有数据中心同仁也提出将干冰作为数据中心备用冷源。因为干冰运输方便、使用过程中由固态转化为气态，不会在机房内产生液体从而对服务器的运行造成不良影响。 但也有些机房由于内部规范的要求，对一定规模以下的数据中心仍主推双冷源系统，同时也将冰砖等移动式冷源作为数据中心最后的制冷保障手段纳入到数据中心的应急响应中。
3.9K41发布于 2018-03-16 - 来自专栏技术博文
TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
例如，在热存储中，一份日志数据可能会在多个节点上保存副本，当某个节点出现故障时，可以从其他副本快速恢复数据。冷存储CLS 冷存储则适用于存储历史的、访问频率较低的日志数据。 日志查询性能测试结果在热存储中，简单关键字查询的响应时间通常在 1 - 3 秒，而复杂多条件查询可能需要 5 - 10 秒。 对于冷存储，由于访问延迟较高，简单查询响应时间约为 5 - 10 秒，复杂查询则可能达到 15 - 30 秒。由此可见，热存储更适合频繁、实时的查询需求，而冷存储适用于偶尔的历史数据查询。 采用 CLS 热冷存储及生命周期管理后，经过统计分析，约 20% 的日志为热数据存储在热存储中，其余 80% 为冷数据存储在冷存储中。 假设热存储单位价格为冷存储的 5 倍，那么月度存储成本变为（10,000GB × X 元 / GB / 月） +（40,000GB × X/5 元 / GB / 月）= X 元 + X 元 = 2X 元
58210编辑于 2025-06-26 - 来自专栏Java学习网
Android数据存储实现的5大方式
Android数据存储实现的5大方式 数据存储在开发中是使用最频繁的，在这里主要介绍Android平台中实现数据存储的5种方式，更加系统详细的介绍了5种存储的方法和异同。 所以不论SharedPreferences的数据存储操作是如何简单，它也只能是存储方式的一种补充，而无法完全替代如SQLite数据库这样的其他数据存储方式。 外界根本看不到，也不用看到这个应用暴露的数据在应用当中是如何存储的，或者是用数据库存储还是用文件存储，还是通过网上获得，这些一切都不重要，重要的是外界可以通过这一套标准及统一的接口和程序里的数据打交道， 如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5. 第五种： 网络存储数据 前面介绍的几种存储都是将数据存储在本地设备上，除此之外，还有一种存储（获取）数据的方式，通过网络来实现数据的存储和获取。
8.5K90发布于 2018-02-26 - 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
图1：Dropbox 然后“数据海洋”的发展势如破竹。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 ? 图3：自动驾驶的智能汽车。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5 大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。 使普通公众对大数据的解读更加全面，这样对于企业来说，能够更好的从用户行为中学习。 结合现在正在发展的人工智能和机器学习，下一步如何利用复杂的大数据是非常重要的。
2.8K60发布于 2018-04-10 - 来自专栏mukekeheart的iOS之旅
Android基础总结（5）——数据存储，持久化技术
瞬时数据：指那些存储在内存当中，有可能会因为程序广播或其他原因导致内存被回收而丢失的数据。 1、持久化技术有哪些 Android系统中主要提供了三种方式用于简单地实现数据持久化功能： 文件存储：是Android中最基本的一种数据存储方式。 不对存储内容做任何的格式化处理，所有数据都是原封不动地保存到文件中。因此，这种方式比较适合存储一些文本数据或二进制数据。 如果你想使用文件存储的方式来保存比较复杂的文本数据，则需要自己定义一套格式规范，这样方便之后将数据从文件中重新解析出来。 SharedPreferences存储：使用键值对的方式存储数据。 3、SharedPreferences存储 通过SharedPreferences存储数据：SharedPreference存储的数据都以xml格式存储，并且都自动保存到/data/data/<packageName
1.7K70发布于 2018-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号