- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
冷数据备份存储技术探索
数据中心的数据安全性是一个多方面的问题，从IDC的风，火，水，电的建设，再到从小到一个存储bit，再到一个sector，一个硬盘，一台存储服务器，一个存储服务器集群再到一个数据中心。 作为备份数据中心，应该具有以下几个特点： 1、由于备份数据中心不需要承载实时的业务，所以性能不需要太高； 2、数据容量大，所以需要存储介质成本低，密度高，功耗低，总体TCO低； 3、数据需要保存的时间长 以松下蓝光存储系统为例，已经发展到第3代。下图是单机部件结构图： 每个6U高度的存储单元左右两排各45个光盘匣，一台机器90个光盘匣，支持6~12个光驱，也可以在一个机柜内与其它存储单元共用光驱。 磁带存储系统的架构与蓝光存储系统的架构基本是类似的。 蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘（云盘、监控盘）。 通过对数据备份介质成本和运营成本的分析，我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统，帮助具有大量冷备数据需求的用户评估适用性。
4.8K71发布于 2018-01-26 - 来自专栏GPUS开发者
CUDA优化的冷知识17|纹理存储优势（3）
CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） CUDA优化的冷知识16|纹理存储优势（2） ? 而今天, 如果纹理能适用你的数据类型/代码, 则你可以自动得到这个免费特性. 从而提升你的编码效率, 也提升了你的代码执行的性能. 这是说的第三大点的边界/越界处理中的自动返回0值的情况. 而今天, 你如果使用texture的第3大点的这种特性, 这一切都是免费的, if的多个分支可以被省略了, 从而潜在的可能提升性能. 而且主要是减少了代码编写者的成本, 和出错的可能.
70620发布于 2021-02-05 - 来自专栏小网管的运维之路
MYSQL冷备份数据上传到对象存储
介绍 将MySQL数据库中的冷数据备份并上传至云平台对象存储的过程。冷数据是指数据库中的历史或不经常访问的数据。 我们首先通过执行SQL查询语句从MySQL数据库中提取所需数据，然后将其保存为CSV文件格式，接着通过SDK将备份文件上传到对象存储。 logger.info(f"文件 {csv_filename} 已上传到 S3 存储桶 {S3_BUCKET_NAME} 目录 {S3_DIRECTORY}，文件大小: {file_size_mb s3 从一个数据库中获取前一天的数据。 将数据存储到一个 CSV 文件中。 检查本地是否已存在该 CSV 文件，如果存在则不执行数据库查询，直接将已有文件上传到 Amazon S3 存储桶中。
1.3K10编辑于 2023-12-23 - 来自专栏Juicedata
JuiceFS 在 ElasticsearchClickHouse 温冷数据存储中的实践
03- 温冷数据存储：为什么使用对象存储+ JuiceFS ？ 企业把温、冷数据存放到云上后，存储成本相较于传统的 SSD 架构大为下降。 需要注意的是以上测试中对象存储是通过 ClickHouse 的 S3 磁盘类型进行访问，这种方式只有数据是存储在对象存储上，元数据还是在本地磁盘。 如果通过类似 S3FS 的方式把对象存储挂载到本地，性能会有进一步的下降。 Tip 3：Warm 或 Cold 阶段的索引可以设置为只读。在给温数据和冷数据阶段建立索引时，我们基本上可以认为这些数据是只读的，这些阶段的索引不会被修改。 Step 3：新增存储策略，设定下沉数据规则。这个存储策略会根据用户的规则去不定期的、自动地将数据从默认磁盘上下沉到指定的，比如 JuiceFS 中。 Step 4：为特定表设置存储策略及 TTL。
3.4K30编辑于 2022-10-05 - 来自专栏昆腾
一文读懂温冷数据存储的技术选型
温冷数据的存储目前，在对象存储领有很多的使用场景。通常来说，支持AWS的S3协议，就可以把它归类于对象存储。 对象存储还有一些特征，比如没有目录数的结构，所以理论上可以存储无限量的对象或者是文件，而且性能不会有太大的降低。虽然，S3协议支持很多的存储，但是一般情况，对象存储不会被直接应用在高性能的场景。 当然还有6TB的5400RPM的SMR硬盘，主要用于冷数据存储或归档，价格约为800元。磁带在冷存储领域是很重要的选项，其最大特点是成本较低；另外，它还具备绿色节能的特质。 DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化，无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。 昆腾的解决之道昆腾主要关注磁带技术，以更好地解决温冷数据的存储问题。事实上，磁带库是可以直接挂在文件系统或者操作系统上，然后进行使用的。
1.2K20编辑于 2023-10-27 - 来自专栏Android开发指南
3.数据存储
在外部存储数据：sd卡 对sdcard进行读取； 基本的状态： MEDIA_UNKNOW:不能够进行识别该sd卡 MEDIA_REMOVE:没有该sd卡 MEDIA_UNMOUNTED 3. 储存步骤 得到了SharedPreferences对象之后， 就可以开始向SharedPreferences文件中存储数据了，主要可以分为三步实现。 1. 向 SharedPreferences.Editor 对象中添加数据，比如添加一个布尔型数据就使用 putBoolean方法，添加一个字符串则使用 putString()方法，以此类推。 3. 调用 commit()方法将添加的数据提交，从而完成数据存储操作。
1.3K70发布于 2018-05-14 - 来自专栏腾讯数据中心
数据中心蓄冷罐放冷演练
背景介绍 蓄冷罐顾名思义是用于蓄冷的设备。其原理是通过媒介将数据中心空调系统运行中的富余冷量进行储藏，在需要时再将冷量释放出来。 某夜， 腾讯某数据中心进行了一期蓄冷罐放冷演练。 此数据中心一期的冷水机组中有高压冷水机组和低压变频机组；根据现有的负荷开一半冷水机组已满足负荷需要，关闭的冷机处于备用状态。 1. 现场人员观察冷机运行状况，将冷机、电动阀、水泵控制模式都改回远程控制，演练结束。 3.演练记录 ①蓄冷罐放冷操作时间为1分30秒。 ②蓄冷罐放冷从8℃到11.5℃的时间为25分钟。 （冷冻环网管水温8℃） ③蓄冷罐供冷恢复至冷机供冷时间为3分10秒。 ④演练过程一切正常，蓄冷罐温度从8℃升至11.5℃为止共25mim。全程未对运营环境造成影响，末端负载运行正常。 演练过程正常，蓄冷罐温度从8℃升至11.5℃为止共25mim。全程未对运营环境造成影响，末端负载运行正常。 总结 在数据中心的运营工作中，应急演练是不可或缺的一环。
2.9K42发布于 2018-03-16 - 来自专栏开发技能乱炖
3-数据存储之文件存储(1)
一 简单介绍： 我们前面很少将提取的数据或者获取的源码保存下来；其实日常的工作中在解析出数据后接下来就是存储数据。 以with as的方式实现数据存储好处：不需要调用close()方法 以上写入还可以使用： file = open("小说.txt","a",encoding="utf-8") file.write JSON文件存储: 先官方话了解一下： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 3). CSV文件存储： 使用csv文件存储，我理解的就是表格存储，Excel都用过吧，就是那个;接下来我们分文件的写入跟读取两部分分开讲解，请系好安全带(如果非要介绍定义的话，请百度…我就是懒)； 简单写入，
2.1K30发布于 2019-11-12 - 来自专栏冷月带你手撕代码
冷月手撕408之数据结构(3)-顺序表
顺序表也就是数组，重点要知道数组是随机存取的，知道下标就能取出数据。时间复杂度为O(1)。 主要的重点冷月做出了标识，主要构架如下图（pdf版或xmind源文件请私聊我：数据结构）。 ? 冷月点睛 顺序表 定义 顺序表也就是数组，用一组地址连续的存储单元依次存放数据元素。逻辑上相邻，物理上也相邻 物理结构分为静态分配和动态分配。 语言中是利用malloc函数，在堆中分配一组地址连续的空间 C语言实现法：(ElemType * )malloc(sizeof(ElemType) * InitSize) 特点 1.地址连续 2.随机存取 3. 顺序存储 如果这篇文章有帮助到您，可以给冷月一个关注或者点个赞白嫖一波
41320发布于 2021-02-22 - 来自专栏GPUS开发者
CUDA优化的冷知识16|纹理存储优势（2）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） ? 从而使得这个特性不仅仅适用于图像这类的数据, 也适用一定的需要严格坐标指定的普通2D数组/矩阵之类的算法/代码. 因为一定范围内的1/2^N在我们用的卡上, 是可以被精确表示的浮点数.
73420发布于 2021-02-05 - 来自专栏存储公众号：王知鱼
磁带逆袭：何以成为AI时代冷存储首选？
冷存隐形“小霸王”-磁带库进展 2. 磁带库存储方案TCO优势？ 3. 磁带库应用面临的挑战？ 右侧图展示了三种不同存储方案的总拥有成本（图注不同颜色代表企业场景TCO来源）： • IBM S3 Deep Archive on Diamondback 具有最低的总体拥有成本，约为$1,000,000 - 重要性：这个指标衡量了磁带在其长度上的数据存储能力。线性密度增加意味着在同样的磁带长度上可以存储更多的数据。 3. • 标准化接口：如支持S3 Glacier兼容接口，这是亚马逊提供的一种低成本云存储服务，允许使用标准的web服务接口来存储和检索任意数量的数据。 • 数据耐用性：磁带提供的是非常耐用的存储选项。 3. 带库优势：成本较低，可长期存储数据，适用于备份和灾难恢复等场景。 4. 技术挑战：扩展性、易用性和生态系统标准化等问题需解决。 5.
1.4K00编辑于 2025-02-11 - 来自专栏GPUS开发者
CUDA优化的冷知识15|纹理存储优势（1）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 接着之前的内容, 即说对GPU上的各种存储器的优化使用, 今天来到纹理存储. 这个其实我们之前在编程指南中已经说过很多了, 读者也应当对基本用法, 包括经典的纹理引用和较新的纹理对象都应该会使用了. 有些算法需要将数据作为8-bit或者16-bit整数存储, 然后读取到后, 再转换为float之类的浮点数, 和其他类型进行运算. 而纹理读取的时候, 可以利用上其数据路径中的自带的转换功能, 从而节省掉对SFU/XU或者人工编码成本的开销. 这样有可能带来额外的性能提升, 和对人力成本的节省.
1K30发布于 2021-02-05 - 来自专栏深度学习与python
Google Cloud 为 Spanner 数据库引入 HDD 层，将冷存储成本降低 80%
这种分层存储架构包含一种新的 HDD 存储选项，比现有的 SSD 选项便宜 80%，可降低旧数据的存储成本，同时尽可能减少与传统数据迁移相关的开销。 无论数据在哪个存储层，SQL 查询都可以访问 SSD 和 HDD 层上的数据，并且备份策略在所有数据上一致应用。 这种转变意味着旧的“冷”数据不需要像当前的“热”事务数据那样具有高性能访问能力，从而鼓励公司寻求更具成本效益的历史信息存储解决方案。 现在用户可以在各种 Spanner 级别（数据库、表、列或二级索引）实施存储分层策略，并可以灵活地将特定数据移动到速度较慢但成本较低的 HDD 存储。 在移动数据之前，数据必须在 SSD 中存储至少 1 小时。 Google Spanner 不是唯一提供分层存储的分布式云数据库。
84710编辑于 2025-04-07 蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 云平台的蓝光存储方案就支持NFS、SMB，甚至能对接S3对象存储API。你完全不用改现有应用，直接把它当个慢速冷存储用就行。 说到**备份软件**，很多企业还在用老旧的备份软件，不支持蓝光存储。 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
10210编辑于 2026-06-23蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 云平台的蓝光存储方案就支持NFS、SMB，甚至能对接S3对象存储API。你完全不用改现有应用，直接把它当个慢速冷存储用就行。 说到**备份软件**，很多企业还在用老旧的备份软件，不支持蓝光存储。 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
14610编辑于 2026-06-23- 来自专栏腾讯数据中心
浅谈数据中心应急冷源
根据蓄冷介质的不同，目前蓄冷系统主要分为蓄水和蓄冰两种模式，水蓄冷系统是利用水的显热储存冷量（图2），而冰蓄冷系统是利用相变潜热来储存冷量（图3）。 (2)安全系数高：水蓄冷系统结构简单，环节较少，故障率低。 (3)成本低：水蓄冷系统耗电量低，技术要求低，运行费用低。 ? 图3 冰蓄冷系统示意图 ②蓄冷设备的连接方式 蓄冷罐作为附加的冷冻水储备设备，是蓄冷系统重要组成之一。它具有应急冷源功能，可保障冷源系统失电后数据机房区的正常供冷。 其中，V为蓄冷水量（m3）；Q为额定蓄冷量（kw）；η为蓄冷装置的容积效率，一般取0.96～0.99；ρ为蓄冷水密度，取1000kg/m3；为释冷回水温度与蓄冷进水温度间温度差；Cp为水的定压比热容，4.2kJ 3.其他应急冷源 双冷源系统、带蓄冷设备的冷水系统基本可以解决数据中心制冷的主要痛点。但在一些特殊情况下，如对水冷系统的主管阀门进行维护或更换、MDC末端Y型阀门故障更换等。
3.9K41发布于 2018-03-16 - 来自专栏技术博文
TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
例如，在热存储中，一份日志数据可能会在多个节点上保存副本，当某个节点出现故障时，可以从其他副本快速恢复数据。冷存储CLS 冷存储则适用于存储历史的、访问频率较低的日志数据。 当用户查询日志时，系统会优先从热存储中检索数据；如果所需日志已迁移至冷存储，系统会自动从冷存储中调取数据，并可能在返回结果时稍作延迟提示。 日志查询性能测试结果在热存储中，简单关键字查询的响应时间通常在 1 - 3 秒，而复杂多条件查询可能需要 5 - 10 秒。 采用 CLS 热冷存储及生命周期管理后，经过统计分析，约 20% 的日志为热数据存储在热存储中，其余 80% 为冷数据存储在冷存储中。 数据管理收益CLS 热冷存储及生命周期管理使得日志数据管理更加高效、有序。运维人员可以更快地定位和查询热数据，提高故障排查效率。同时，冷数据的归档存储符合数据合规要求，降低了数据丢失或泄露的风险。
58210编辑于 2025-06-26 - 来自专栏申龙斌的程序人生
熊市里生成几个BTC靓号，冷存储起来装死吧
为了把挖矿得来的BTC抱得更紧一些，防止一时手贱卖掉，还是把BTC放在自己的Bitcoin Core冷钱包里吧，熊市里安心学点技术，囤好BTC准备装死。 1SLB 很快程序就会找到一个满足要求的地址： Difficulty: 4553521 Pattern: 1SLB Address: 1SLBmXi168JXm6KGhgjw8xzp54exNJmX3 Privkey: 5JUPYv6**************************************3uoQF4Zij 注意以5JUP开头的那串字母是私钥，保存好了，不要泄露。 比特币现在已经支持以3开头的隔离见证地址，可以试试segvan。 https://github.com/nym-zone/segvan --- END --- 我生成了一个靓号：1SLB777TPUqSrGzLUCgodYq56Pyw3cVBj
3.5K60发布于 2018-03-29 - 来自专栏新智元
MIT团队突破DNA新检索技术，实现DNA数据「冷存储」！
近日，麻省理工学院开发了一种检索DNA数据文件的新方法，或许能成为DNA存储数据的重要一步。 一个咖啡杯就能装下全世界？ 有了DNA数据存储，这是可能的。 DNA数据存储发展过程（1965-2018）（图源：nature） DNA数据存储是什么 DNA数据存储是一个将二进制数据转换成人工合成DNA链的编码过程。 把所有数据存储到DNA上的瓶颈 在DNA中存储数据的系统涉及到向包含数据的DNA片段添加特定的序列标签。 为了得到想要的数据，你只需添加能与正确的标签碱基配对的DNA位，并使用它们来扩增完整的序列。 如果DNA合成变得足够便宜，就能够用这种方法将每个文件存储的数据量最大化 DNA数据存储目前局限于「冷存储」 该系统还允许用多个术语进行「布尔搜索」（Boolean search）。 当然，没有人会因为DNA存储「速度快」而推荐它；正如上面提到的，它的优势在能源使用和数据稳定性方面。 我们只有在确定不会经常访问某些数据时才会将它储存在DNA中，也即「冷存档存储」。
66030编辑于 2023-05-22 - 来自专栏存储公众号：王知鱼
Cerabyte：光学玻璃让冷数据永生
Cerabyte公司开发了一种新型数据存储技术——Ceramic Nano Memory，采用陶瓷纳米层作为存储介质，具有超高速写入和读取速度。 2. 存储介质使用极薄的玻璃作为基底，并且可以在未来实现低于1美元每TB的成本。 3. 写入过程通过激光脉冲结合数字镜片设备进行，读取过程则利用高分辨率图像传感器进行解码。 4. 这使得未来的写入速度可超过1 GB/s，且平均功耗低于1瓦，这比LTO磁带或HDD技术快3-4倍。 读取过程 使用相同的显微光学技术、高速照明和超快速高分辨率图像传感器，每秒超过500帧。 在2030年之后将使用高速粒子束矩阵技术，这将显著减少纳米层的尺寸，达到艾字节级（exabyte）存储容量，同时大幅提高写入和读取速度。 Note：粒子束直径决定数据写入密度。 参考阅读： • 玻璃大容量永久光存储：下一代解决数据长期存储的方案 引用链接 [1] Cerabyte: http://www.cerabyte.com [2] 原型系统的视频链接: https://vimeo.com
74300编辑于 2025-02-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号