- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
冷数据备份存储技术探索
作为备份数据中心，应该具有以下几个特点： 1、由于备份数据中心不需要承载实时的业务，所以性能不需要太高； 2、数据容量大，所以需要存储介质成本低，密度高，功耗低，总体TCO低； 3、数据需要保存的时间长 每个光盘匣有12个光盘，一个存储单元可容纳45 X 2 X 12= 1080张光盘。一个44U的机柜可以部署6个这样的存储单元，共6480张光盘，每张300G，总容量就是1.944PB的存储容量。 磁带存储系统的架构与蓝光存储系统的架构基本是类似的。 蓝光光盘的价格相比机械硬盘并不算很廉价。但冷储存数据需要平衡冗余和寿命两个因素。蓝光的寿命要长于普通硬盘（云盘、监控盘）。 同时磁带驱动器只兼容相邻的2代LTO的技术，不能像蓝光驱动器那样兼容所有的代数蓝光存储技术。因此相比磁带，蓝光存储寿命长，数据可达50年，对环境要求低，维护简单，是一个更好的备份存储技术选择。 通过对数据备份介质成本和运营成本的分析，我们认为蓝光存储将是一个较优选择。我们已在腾讯服务器实验室搭建一套蓝光存储系统，帮助具有大量冷备数据需求的用户评估适用性。
4.8K71发布于 2018-01-26 - 来自专栏GPUS开发者
CUDA优化的冷知识16|纹理存储优势（2）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 CUDA优化的冷知识12 |一些规避的坑和优化的要点(续） CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） ? 这样的映射在N是一定范围内的整数次方的时候, 或者说图像/2D数组宽度/高度是2的倍数的情况下, 可以在缩放的情况下, 依然精确表示坐标. 从而使得这个特性不仅仅适用于图像这类的数据, 也适用一定的需要严格坐标指定的普通2D数组/矩阵之类的算法/代码. 因为一定范围内的1/2^N在我们用的卡上, 是可以被精确表示的浮点数.
73420发布于 2021-02-05 - 来自专栏小网管的运维之路
MYSQL冷备份数据上传到对象存储
介绍 将MySQL数据库中的冷数据备份并上传至云平台对象存储的过程。冷数据是指数据库中的历史或不经常访问的数据。 我们首先通过执行SQL查询语句从MySQL数据库中提取所需数据，然后将其保存为CSV文件格式，接着通过SDK将备份文件上传到对象存储。 设置日志文件路径、文件大小和文件数量 handler = RotatingFileHandler('/tmp/sql.log', maxBytes=50 * 1024 * 1024, backupCount=2) BUCKET_NAME, s3_object_key) # 记录日志 logger.info(f"文件 {csv_filename} 已上传到 S3 存储桶 将数据存储到一个 CSV 文件中。 检查本地是否已存在该 CSV 文件，如果存在则不执行数据库查询，直接将已有文件上传到 Amazon S3 存储桶中。
1.3K10编辑于 2023-12-23 - 来自专栏Juicedata
JuiceFS 在 ElasticsearchClickHouse 温冷数据存储中的实践
同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。 03- 温冷数据存储：为什么使用对象存储+ JuiceFS ？ 企业把温、冷数据存放到云上后，存储成本相较于传统的 SSD 架构大为下降。 温冷数据所需的存储容量比热数据大很多，尤其是随着时间推移，会产生大量需要长期保存的数据，如果这些数据都存储在本地，相应的运维工作将不堪重负。 每一个 ES 节点可以分配不同的角色，比如存热数据、温数据、冷数据等，用户需要准备不同机型的节点来匹配不同角色的需求。 Step 2：挂载 JuiceFS 文件系统。 一般用户将 JuiceFS 用于温、冷数据的存储，用户需要在 ES 温数据节点或冷数据的节点上把 JuiceFS 文件系统挂载到本地。
3.4K30编辑于 2022-10-05 - 来自专栏昆腾
一文读懂温冷数据存储的技术选型
温冷数据的存储目前，在对象存储领有很多的使用场景。通常来说，支持AWS的S3协议，就可以把它归类于对象存储。 当然还有6TB的5400RPM的SMR硬盘，主要用于冷数据存储或归档，价格约为800元。磁带在冷存储领域是很重要的选项，其最大特点是成本较低；另外，它还具备绿色节能的特质。 DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化，无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。 昆腾的解决之道昆腾主要关注磁带技术，以更好地解决温冷数据的存储问题。事实上，磁带库是可以直接挂在文件系统或者操作系统上，然后进行使用的。 第一类就是StorNext文件存储系统，它相当于在磁带库的前端嫁接了一套文件存储或NAS存储，将其作为数据的缓存。当要读取磁带库的数据的时候，就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。
1.2K20编辑于 2023-10-27 - 来自专栏技术杂记
sqlite数据存储（2）
Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 2 Please take /* Database filename (UTF-8) */ sqlite3 **ppDb /* OUT: SQLite db handle */ ); 这个函数用来打开指定的数据库 is returned and the ** database connection remains open. */ int sqlite3_close(sqlite3 *); 这个函数用于关闭一个数据库 参数为一个数据库指针 ---- sqlite3_exec sqlite3.h 中有关于 sqlite3_exec 的声明 /* ** A function to executes one or more ，是存储数据的基础操作 sqlite3_open sqlite3_errmsg sqlite3_close sqlite3_exec sqlite3_callback 通过各方面资料弄懂其参数的意义和返回值的类型
94430发布于 2021-09-15 - 来自专栏腾讯数据中心
数据中心蓄冷罐放冷演练
背景介绍 蓄冷罐顾名思义是用于蓄冷的设备。其原理是通过媒介将数据中心空调系统运行中的富余冷量进行储藏，在需要时再将冷量释放出来。 某夜， 腾讯某数据中心进行了一期蓄冷罐放冷演练。 此数据中心一期的冷水机组中有高压冷水机组和低压变频机组；根据现有的负荷开一半冷水机组已满足负荷需要，关闭的冷机处于备用状态。 1. 演练目的 通过进行蓄冷罐放冷测试，测试空调系统设备存在的隐患，使现场人员更好的熟悉应急预案及了解应急预案的实施性、可行性，缩短突发故障处理时间，确保数据中心运营安全；也可以测试运维人员熟练程度，提高运维人员处理故障的能力 2.演练过程 ①模拟市电断电的情景，将正在运行的冷水机组A进行延时关机操作，冷机进入延时关机状态，通知监控人员关注冷机状态及冷冻水供水温度。 演练过程正常，蓄冷罐温度从8℃升至11.5℃为止共25mim。全程未对运营环境造成影响，末端负载运行正常。 总结 在数据中心的运营工作中，应急演练是不可或缺的一环。
2.9K42发布于 2018-03-16 - 来自专栏冷月带你手撕代码
冷月手撕408之数据结构(2)-数据结构绪论
数据结构绪论不是考纲的重点，但是一定要会求时间复杂度，这是必考的一个点。初试不考复试也会考，所以必须要会求。其他的概念有一个了解。 主要的重点冷月做出了标识，主要构架如下图（pdf版或xmind源文件请私聊我：数据结构）。 ? 冷月点睛 数据结构绪论 数据结构 定义：在计算机中数据之间的存储关系 逻辑结构有线性结构（线性表、栈、队列）,非线性结构(树、图) 存储结构 顺序存储：逻辑上连续，物理上也连续 链式存储：逻辑上连续，物理不一定也连续 索引存储：建立一张索引表，搜索时先查表 散列存储：哈希存储 算法 定义：在数据结构之上的处理某件事情的有限步骤 评价标准 时间复杂度：时间的增长与数据规模之间的关系，用大O表示法 空间复杂度：O(1) 指算法所需要的辅助空间为常量 如果这篇文章有帮助到您，可以给冷月一个关注或者点个赞白嫖一波
41610发布于 2021-02-22 - 来自专栏GPUS开发者
CUDA优化的冷知识17|纹理存储优势（3）
CUDA优化的冷知识13 |从Global memory到Shared memory CUDA优化的冷知识14|local memory你可能不知道的好处 CUDA优化的冷知识15|纹理存储优势（1） CUDA优化的冷知识16|纹理存储优势（2） ? , 高度也大2个元素的新矩阵/2D数组/图像, 然后将原始矩阵内容复制到中间, 然后周围一圈写入0. 而今天, 如果纹理能适用你的数据类型/代码, 则你可以自动得到这个免费特性. 从而提升你的编码效率, 也提升了你的代码执行的性能. 这是说的第三大点的边界/越界处理中的自动返回0值的情况. 麻烦主要在于你不知道边界需要涉及到越界出来多深(特别是对图像处理来说, 参考当年某维), 你可能需要围绕1圈, 2圈甚至更多圈, 而使用纹理的这个特性你可以免费绕上任意圈. 而没有成本.
70620发布于 2021-02-05 - 来自专栏存储公众号：王知鱼
磁带逆袭：何以成为AI时代冷存储首选？
冷存隐形“小霸王”-磁带库进展 2. 磁带库存储方案TCO优势？ 3. 磁带库应用面临的挑战？ - 重要性：这是评估磁带或任何存储介质存储容量能力的标准指标。面密度越高，同样大小的磁带能存储的数据就越多。 2. - 重要性：这个指标衡量了磁带在其长度上的数据存储能力。线性密度增加意味着在同样的磁带长度上可以存储更多的数据。 3. • 标准化接口：如支持S3 Glacier兼容接口，这是亚马逊提供的一种低成本云存储服务，允许使用标准的web服务接口来存储和检索任意数量的数据。 • 数据耐用性：磁带提供的是非常耐用的存储选项。 • 高效能力：能在一小时内备份高达16.1TB的数据，最高容量可达27PB。 总结 1. 市场趋势：带库市场增长正常化，新型带库占据主导地位。 2.
1.4K00编辑于 2025-02-11 - 来自专栏GPUS开发者
CUDA优化的冷知识15|纹理存储优势（1）
CUDA优化的冷知识 8 |GPU显存的特色 CUDA优化的冷知识9 |GPU显存的粒度 CUDA优化的冷知识10 | GPU卡和Jetson上显存优化的特色 CUDA优化的冷知识11 |一些规避的坑和优化的要点 接着之前的内容, 即说对GPU上的各种存储器的优化使用, 今天来到纹理存储. 这个其实我们之前在编程指南中已经说过很多了, 读者也应当对基本用法, 包括经典的纹理引用和较新的纹理对象都应该会使用了. 有些算法需要将数据作为8-bit或者16-bit整数存储, 然后读取到后, 再转换为float之类的浮点数, 和其他类型进行运算. 而纹理读取的时候, 可以利用上其数据路径中的自带的转换功能, 从而节省掉对SFU/XU或者人工编码成本的开销. 这样有可能带来额外的性能提升, 和对人力成本的节省. 此时如果你的代码SFU/XU是瓶颈, 或者因为使用SFU而导致了浪费了指令发射能力的话, 应当考虑使用texture自带的免费转换功能, 来节省对应的SFU的I2F之类的转换指令.
1K30发布于 2021-02-05 - 来自专栏GPUS开发者
CUDA优化的冷知识2| 老板对不起
CUDA优化的冷知识|什么是APOD开发模型？ ? 在第一篇里，我们介绍了APOD开发模型，即：Assess, Parallelize, Optimize, Deploy ? 一旦做出决定, 本实践手册这里继续提出, 我们应当用慢的老版本, 在特定的输入数据集的情况下, 跑出一个验证数据集. 然后根据结果的相似性/一致性要求, 在并行化改造后, 进行结果对比. 这样可以很快的发现你的并行化尝试, 是否影响了数据的正确性. 本实践手册这里提出了按位/按字节的正确性要求, 和一定误差内(一定epsilon范围)的正确性要求. 这样, 在决定了正确性要求(的范围)的基础上, 有了验证数据, 我们就可以大胆的对评估后的重点/代码执行热点, 进行CPU方面的代码重构和验证, 以及, 对重构后得到的可并行化的结构, 进行并行化GPU 所以说, 这里的P并行过程中, 确定误差/正确性要求, 确定了验证数据后, 就有了时刻的改写的正确性的保证. 只能有了这个正确性的保证后, 才能进行下一步流程.！
78430发布于 2020-12-21 - 来自专栏深度学习与python
Google Cloud 为 Spanner 数据库引入 HDD 层，将冷存储成本降低 80%
这种分层存储架构包含一种新的 HDD 存储选项，比现有的 SSD 选项便宜 80%，可降低旧数据的存储成本，同时尽可能减少与传统数据迁移相关的开销。 无论数据在哪个存储层，SQL 查询都可以访问 SSD 和 HDD 层上的数据，并且备份策略在所有数据上一致应用。 这种转变意味着旧的“冷”数据不需要像当前的“热”事务数据那样具有高性能访问能力，从而鼓励公司寻求更具成本效益的历史信息存储解决方案。 现在用户可以在各种 Spanner 级别（数据库、表、列或二级索引）实施存储分层策略，并可以灵活地将特定数据移动到速度较慢但成本较低的 HDD 存储。 在移动数据之前，数据必须在 SSD 中存储至少 1 小时。 Google Spanner 不是唯一提供分层存储的分布式云数据库。
84710编辑于 2025-04-07 蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 我最早接触蓝光存储是在2019年，当时帮一个档案局做项目。他们要求保存电子档案100年，每年新增大概2TB。硬盘肯定不行，5年一换，成本加上人工倒腾数据，简直噩梦。磁带呢？ 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
10210编辑于 2026-06-23蓝光存储：冷数据归档的“最后一公里”到底怎么走？
# 蓝光存储：冷数据归档的“最后一公里”到底怎么走？ 这几年做大模型应用，模型参数动辄几十GB，训练一次留下的checkpoint、日志、中间数据，轻松堆满几个TB的SSD。 他们问我：这些数据不常用，但也不能删，放对象存储吧，月费贵得肉疼；放冷备吧，又怕哪天真要用的时候恢复太慢。我说，你试试蓝光存储。 蓝光存储不是新东西，但很多人对它的理解还停留在“刻碟存电影”的阶段。 我最早接触蓝光存储是在2019年，当时帮一个档案局做项目。他们要求保存电子档案100年，每年新增大概2TB。硬盘肯定不行，5年一换，成本加上人工倒腾数据，简直噩梦。磁带呢？ 总结一下我的观点：蓝光存储不适合做热数据、温数据，它最适合的是冷数据归档。如果你手上有超过10TB的冷数据，保留周期超过3年，蓝光存储比硬盘、磁带都划算。 总之，蓝光存储是冷数据归档的靠谱选择，尤其适合合规要求高、保留周期长的行业。 作者：刘艳芬 发布日期：2026年6月23日
14610编辑于 2026-06-23- 来自专栏跟我一起学编程
数据在内存中的存储（2）
二、两类浮点型数据(float、double)在内存中的存储方式 2.1两类浮点型数据的存储模型 根据IEEE754标准规定，浮点型数据的存储和读取按照公式： Value为浮点型数据的二进制值 S表示浮点型数据的正负 指数位E即2的次方数，如 float n = 10.5，可以表示为。这里，E = 3。 再比如，真实指数位E = -2时，存入内存应为 E = -2 + 127 =125。 这是因为 n1 = 9.0 以浮点型数据的存储方式存入到了内存中（存储方式如图4.2所示），但在读取并打印这个数据的时候，却是对一个整型指针进行解应用，将9.0以整型数据的视角进行读取和打印。 故打印结果为： 四、总结 本文详细介绍了单精度浮点型数据和双精度浮点型数据在内存中存储的方法，给出了浮点型数据的存储模型和读取模型，并以案例的形式进行了介绍。浮点型数据可表示为： 。
39410编辑于 2024-03-21 - 来自专栏C语言讲解
数据在内存中的存储（2）
浮点型在内存中的存储 常见的浮点数： 3.14159 1E10 ------ 1.0 * 10^10 浮点数家族包括： float、double、long double 类型 浮点数表示的范围： float.h中定义 3.1 一个例子 浮点数存储的例子： #include <stdio.h> int main() { int n = 9; float* pFloat = (float* 因此，我们可以推出：整型和浮点型在内存中的存储方式是有差异的！ 3.2 浮点数存储规则 num 和 *pFloat 在内存中明明是同一个数，为什么浮点数和整数的解读结果会差别这么大？ M表示有效数字，大于等于1，小于2。 2^E表示指数位。 IEEE 754规定： 对于32位的浮点数，最高的1位是符号位S，接着的8位是指数E，剩下的23位为有效数字M。 int main() { float f = 5.5; //101.1 //1.011 * 2^2 //(-1)^0 * 1.011 * 2^2 //S = 0 //M = 1.011 /
44610编辑于 2024-01-22 数据在内存中的存储（2）
1就是地址加1，比如0x11223343+1后就是0x11223344（多了一个字节），然后ptr2是一个整型类型的指针，解引用后就是多了一个字节的地址的数据，但这是小端存储，就要还原该有的数据，就是02000000 ^0*101.1*2^0 s=0，m=101.1，e=0 再比如，5.0这个浮点数，二进制101.0，相当于1.01*2^2，那么，按照上面V的格式，可以得出S=0，M=1.01，E=2 所以浮点数的存储其实就是在存储 s,m,e这三个相关的值 IEEE 754规定： 对于32位的浮点数，最高的1位存储符号位S，接着的8位存储指数E，剩下的23位存储有效数字M 对于64位的浮点数，最高的1位存储符号位S，接着的11位存储指数 E，剩下的52位存储有效数字M 浮点数存的过程 IEEE 754对有效数字M和指数E，还有⼀些特别规定 前面说过， 1≤M<2 ，也就是说，M可以写成 1.xxxxxx 的形式，其中 xxxxxx 表示小数部分 //s=0 m=1.011 e=2 //但是e要加上一个中间值127才可以正确存储，所以e是129 //m存储的是小数点后面的数，就是011，但后面还有很多位，就在后面补0 //
15810编辑于 2026-01-23- 来自专栏腾讯数据中心
浅谈数据中心应急冷源
根据蓄冷介质的不同，目前蓄冷系统主要分为蓄水和蓄冰两种模式，水蓄冷系统是利用水的显热储存冷量（图2），而冰蓄冷系统是利用相变潜热来储存冷量（图3）。 与冰蓄冷相比，水蓄冷单位体积内的蓄冷量较小，所需蓄冷罐容积较大。尽管如此，水蓄冷依然是数据中心常用的蓄冷形式。 ? 图2 水蓄冷系统示意图 为什么选择水蓄冷而不选择冰蓄冷呢？ (2)安全系数高：水蓄冷系统结构简单，环节较少，故障率低。 (3)成本低：水蓄冷系统耗电量低，技术要求低，运行费用低。 ? (2) 冷水机组与蓄冷罐并联 蓄冷罐并联接入主空调系统：蓄冷模式时，冷水机组对蓄冷罐进行充冷；放冷模式时，蓄冷罐为末端负荷提供冷源。 图6 蓄冷罐系统 (2)早期低负载运行调优：大型数据中心通常采用大型冷水机组，但在上架初期，由于上架量少，机房热负荷较低，此时既可采用风冷系统，亦可采用水冷系统。
3.9K41发布于 2018-03-16 - 来自专栏技术博文
TKE 日志分层存储实战：CLS 热冷存储 + 生命周期管理
（2）热冷存储架构的交互流程当 TKE 应用容器生成日志时，日志采集组件（如 Fluentd 等）首先将日志数据写入 CLS 热存储。在热存储中，日志经过初步处理和索引构建，以便于后续的快速查询。 （2）成本对比数据实际案例数据以某中等规模 TKE 集群为例，其每月日志总量为 50TB。 采用 CLS 热冷存储及生命周期管理后，经过统计分析，约 20% 的日志为热数据存储在热存储中，其余 80% 为冷数据存储在冷存储中。 假设热存储单位价格为冷存储的 5 倍，那么月度存储成本变为（10,000GB × X 元 / GB / 月） +（40,000GB × X/5 元 / GB / 月）= X 元 + X 元 = 2X 元 （2）总结在 TKE 环境下，采用 CLS 热冷存储结合生命周期管理是一种极具价值的日志存储优化策略。
58210编辑于 2025-06-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号