- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术杂记
Mysql 优化存储2
percona-toolkit 中提供一个叫 pt-table-sync 的工具，可以获取一致性检查结果
58910编辑于 2022-03-21 - 来自专栏技术杂记
sqlite数据存储（2）
create table students:table students already exists Please take follow action: 0.exit 1.insert 2. Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 1 Please take Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 4 Please take Please take follow action: 0.exit 1.insert 2.delete 3.update 4.query 5.showall 2 Please take 语句的过程中会经常使用到 sprintf ，它和 printf 的用法相似，但是将结果写到一个字符数组中，而不是直接打印到了终端上，这样便于后期的处理 ---- 总结 以下函数可以对sqlite数据库进行创建与控制，是存储数据的基础操作
91130发布于 2021-09-15 - 来自专栏存储公众号：王知鱼
Agentic AI 时代的内存（2）-从HBM到分层存储架构
获得内存技术选型指导：掌握HBM、MRDIMM、CMM-D等不同内存技术的适用场景和性能特点 构建分层存储架构能力：学会设计热-温-冷三层内存架构，优化AI系统的性能与成本平衡 全文概览 随着大模型参数量的指数级增长和 本文将带您深入探讨智能体AI如何通过HBM、MRDIMM和CMM-D等创新内存技术，构建分层存储架构来应对这些挑战，实现精准可靠的AI推理能力。 量化了“TB级”容量需求: 通过图表数据明确指出，一个商业规模（10亿条目，1k维度）的向量数据库索引，其内存占用会轻松超过 2TB。 第2层 (Cold Tier): 通过CXL连接的CMM-D，构成海量的内存池，用于存储完整的、超大规模的向量数据库。 prompt, Datasets by Gemini-2.5-Pro #FMS25 #AI/RAG ---【本文完】--- 公众号：王知鱼，专注数据存储、云计算趋势&产品方案。
78310编辑于 2025-11-20 - 来自专栏golang云原生new
redis 存储结构原理 2
，redis 中都是使用这个结构来进行组织的 typedef struct dict { dictType *type; void *privdata; dictht ht[2] type 字段对应的操作函数，具体有哪些操作函数，我们可以看到typedef struct dictType 给出的信息 privdata 字典依赖的数据，例如 redis 具体的操作等等 ht[2] 我们在 redis 源码中 src\server.h 也能够看到 redisdb 的数据结构 我们可以看到 dict 这个字典，是 redis 中使用是相当频繁和关键的 上面有说到 ht[2] 会用在渐进式 ht[0] 数据拷贝到 ht[1] 的方式一 是这样进行 rehash 的 ： 扩容的时候，rehash 是这样做的： 先会对上述说到的 ht[1] 开辟内存空间，会将 ht[0].size * 2
36910编辑于 2023-09-01 - 来自专栏兜兜毛毛
MySQL 存储引擎（2）原
首先我们带着下边三个问题来认识存储引擎 存储引擎在MySQL中的作用是什么？ MySQL都有哪些存储引擎 SQL又与存储引擎有什么关系？ 存储引擎在MySQL中的作用是什么？ 所以我们的表在存储数据的同时，还要组织数据的存储结构，这个存储结构就是由我们的存储引擎决定的，所以我们也可以把存储引擎叫做表类型。 在MySQL中，支持多种存储引擎，他们是可以替换的，所以叫插件式的存储引擎。为什么要弄这么多存储引擎呢？一种还不够用吗？ MySQL都有哪些存储引擎？ 存储引擎的使用是以表为单位的。而且，创建表之后还可以修改存储引擎。 2(实时写，延迟刷) 每次事务提交时MySQL都会把logbuffer的数据写入logfile。但是flush操作并不会同时进行。该模式下，MySQL会每秒执行一次flush操作。
74840发布于 2020-04-23 - 来自专栏皮振伟的专栏
漫谈AI推理与存储
AI存储核心需求 模型权重 LLM模型权重是AI推理最基础的持久化存储数据，核心特征为一次写入、多次读取。 GD2FS核心设计理念 GD2FS全称为GPU Direct Distributed File System，是适配AI推理场景自研的专属分布式文件系统，核心设计理念为深度融合GPU加速技术与高速网络能力 基于GD2FS的AI推理架构 基于GD2FS构建的LLM推理协同架构，核心是重塑端到端的AI推理链路，打破传统推理引擎、存储、调度系统的割裂状态。 AI推理是典型的系统性工程，性能优化不能局限于单一模块，需实现存储、推理、调度的全局协同。 、缓存吞吐、存储成本、资源调度等核心痛点，为超长上下文、高并发、大规模AI推理场景提供底层支撑。
10710编辑于 2026-06-05 - 来自专栏AI
AI中的数据存储
: GB级别的顺序写 推理和RAG过程中: TB级别的随机读 归档过程中: PB级别的随机写 典型 AI 集群的存储剖析(按存储性能分层存储) 图片 左边绿色GPU服务器集群通常只能提供8个U.2的插槽 图片 2.数据准备阶段 GPU集群从对象存储读取数据(按序)并写入计算集群 CPU对原始数据预处理, 读取数据，然后写入干净的数据 3.训练过程: GPU 通过以随机顺序读取数据来训练模型, 训练后的模型将写入磁盘 功耗分析假设采用前沿功率和空间优化的绿地（新）底端超大规模/Tier 2 AI DC 实现。 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.7K11编辑于 2024-09-18 - 来自专栏存储公众号：王知鱼
微软：AI存储，SSD or HDD ?
Fig-2 AI训练工作流对应的存储方案定性说明。 Fig-3 图示 AI训练工作流中存储层动态交互过程。 存储层次结构：系统采用了多层存储架构，包括缓存、Blob存储（对象存储引擎）、SSD和HDD，以平衡性能和容量需求。 2. 核心要点：GPU从Blob存储层同时访问会驱动高吞吐量 Fig-6 从AI系统存储带宽需求，看HDD和SSD发展现况和机遇： • 当前系统使用SSD能满足训练和Checkpoint的性能读取（但成本较高 HDDs： • 电源效率管理 • 通过容量提高吞吐量密度 2. SSDs/Flash： • 密度扩展 • TCO改善 • 位成本优化 这些需求反映了存储行业的几个重要趋势： 1. 总结 作为运营主要AI训练资源云厂商，”巨硬“对AI应用层系统实践，应该说是富有经验的，从这篇分享中可以总结以下几点： • 和新兴存储厂商（WEKA/VAST/Infidant）等普遍拥抱闪存基础设施&
1.2K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
SuperMicro：AI存储硬件方案-Fig-1 云厂商 AI存储方案 大规模 AI/GPU 集群基础设施。按可扩展单元 (SU，也称为 Pod，例如 256 个 GPU) 进行扩展。 SuperMicro：AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署（较云厂商规模、性能要求降低） 企业用例，推理与训练的比较 存储需求： • 全 NVMe 或 PB 级别的分层存储 • 更多利用率 -> 更好的投资回报（ROI） • Supermicro Peta级存储系统： • 使用最新的 E3.S NVMe 存储的 1U 和 2U 服务器。 2. 全闪存层（All-Flash Tier）：使用 Supermicro Petascale 存储服务器，通过 400 Gbps 的 InfiniBand 提供数据存取。 3. • 支持 1U E1.S 和 E3.S，2U E3.3 TLC、QLC 和 CXL 设备，2U 全闪存容量高达 1PB。 • 使用 EDSFF 设计进行优化的热设计。
1K10编辑于 2025-02-11 - 来自专栏DawnSql
H2 存储内核解析
概述 MVStore是“多版本存储”（Multi-Version Store）的缩写，是一种持久化的基于日志结构的键值存储。它是H2的默认存储引擎，支持SQL、JDBC、事务、MVCC等。 文件头包含以下信息： H:2,block:2,blockSize:1000,chunk:7,created:1441235ef73,format:1,version:7,fletcher:3044e6cc H “H：2”代表 H2 数据库 块（block） 最新（不必是最新的 不同于文件头，数据块 header和 foot 的数据，页面数据是存储为字节数组的，其中包含长整型（8个字节）、整型（4个字节）、短整型（2个字节）和可变大小的整型和长整型（1到5/10个字节）。 说明一点：有些朋友有疑问，为什么 DawnSql 选择 h2 的存储内核，而不是去重新做一个？这里主要是为了高用性！h2 作为成熟的数据库存储内核，已经在实际的项目中应用了多年，它是经得起考验的。
99370编辑于 2023-03-31 - 来自专栏程序员千羽
MySQL进阶笔记-2(存储引擎)
2） 服务层 第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。 主要体现在存储引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。 2. country_id | country_name | +------------+--------------+ | 1 | China | | 2 | NewYork | 2 | | 3 | BeiJing | 1 | +---------+-----------+------------+ | NewYork | 2 | | 3 | BeiJing | 100 | +---------+-----------+------------+
72410发布于 2021-01-14 - 来自专栏焱融科技
AI 场景的存储优化之路
人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前，我们先分析一下AI访问存储的几个特点： 海量文件，训练模型的精准程度依赖于数据集的大小，样本数据集越大，就为模型更精确提供了基础。 综上，对于AI场景来说，分布式存储面临三大挑战： 海量文件的存储 小文件的访问性能 目录热点 海量文件的存储 首先讨论海量文件存储的问题。海量文件存储的核心问题是什么，是文件的元数据管理和存储。 ，hash到虚拟目录2上 在MDS3上获取虚拟目录2的dentry信息，找到所属owner(mds4) 在MDS4上拿到file1的inode信息，返回给客户端 测试模拟了AI训练中，多个客户端并发访问同一个目录的场景 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度，分析了面向AI场景下，分布式文件系统面临的挑战，以及我们的应对思路，也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化
1.9K10发布于 2020-02-27 - 来自专栏AI系统
【AI系统】指令和存储优化
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令，如向量化和张量化，能够显著提高计算密度和执行效率。 # Intel AVX/AVX2mm256_add_ps：对两个 256 位宽的单精度浮点向量执行加法操作。 // "$1" 和 "$3" 是矩阵 A 和 B 的指针// "$2" 和 "$4" 是矩阵 C 的指针，用于累加操作// "[$2]" 和 "[$4]" 是内存地址// "0x7" 是加载操作的控制码 在 AI 系统中，这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法，这就需要高效的内存分配和回收策略来支持它们的运行。 NPU 的内存管理机制包括：片上内存：NPU 通常具有片上内存，用于存储权重和激活等数据，以减少与外部内存的通信开销。内存访问模式：NPU 针对 AI 工作负载进行了优化，支持高并发的内存访问模式。
78610编辑于 2024-11-29 - 来自专栏云云众生s
为什么AI青睐对象存储
AI模型做出的每一个决策，它发现的每一个洞见，都源于为其训练和运行提供动力的海量数据储备。然而，随着AI模型变得越来越庞大和复杂，它们与数据交互的方式也带来了传统存储系统无法应对的挑战。 分散在分布式系统中的小文件以及对随机访问的需求，突显了AI的需求与最初为结构化、顺序工作流构建的基础设施能力之间的不匹配。 这篇博文探讨了对象存储如何为AI对数据的永不满足的渴望提供动力。 传统上，存储层通常是手动管理的，需要仔细编排才能在快速的临时存储和较慢的归档层之间移动数据。跨越数十PB非结构化数据的AI工作负载受益于对象存储固有的可扩展性。 与将某些操作集中化的存储系统不同，对象存储将数据和元数据分布在节点集群中，消除了单点瓶颈。这种架构允许AI工作负载随着数据增长线性扩展。 相关文章： 革新存储：GPU在现代基础设施中的作用 Tecton应对下一代生成式AI的重大挑战：个性化 AI 测试：更广泛的覆盖范围、更少的错误、新的风险 DevOps中使用AI：开发人员和运维人员需要了解什么
43010编辑于 2025-01-25 - 来自专栏AI掘金志
华为AI存储「求解」大模型
另一方面，以大模型为代表的多模态AI，数据结构、类型远比单模态AI复杂，数据量也更加庞大。 两大趋势相互叠加，市场对于存储的增量需求呼之欲出。 很明显，前一种方式被广泛使用并达到了极限，后一种方式正呈星火燎原之势，开始席卷整个AI行业。 三、AI存储如何让企业用上大模型？ 基于此，华为推出了两款AI存储产品：OceanStor A310 ，FusionCube A3000。 FusionCube A3000则是一款训/推超融合一体机，集存储、网络、计算、模型开发平台于一体，内置了OceanStor A300的存储节点，面向百亿级模型应用，并支持一站式安装部署，2小时即可部署应用 AI存储的未来 从工业社会到信息社会，伴随着新技术的发展，数据的总量呈几何级数增长。 如何利用好数据成为关键，而这又与存储技术息息相关，两者相互影响、互相作用。
50830编辑于 2023-08-26 - 来自专栏cloudskyme
虚拟化技术（2）——存储虚拟化
存储虚拟化 随着存储的需求呈螺旋式向上增长，公司内的存储服务器和阵列都无一例外地随之成倍增长。对于这种存储管理困境的一种解决办法便是存储虚拟化。 存储虚拟化可以使管理程序员将不同的存储作为单个集合的资源来进行识别、配置和管理。存储虚拟化是存储整合的一个重要组成部分，它能减少管理问题，而且能够提高存储利用率，这样可以降低新增存储的费用。 存储节点虚拟化层： 可实现存储节点内部多个存储池之间的资源分配和管理，将一个或者多个按需分配的存储池整合为在存储节点范围内的统一的虚拟存储池。 存储区域网络虚拟化层： 可实现存储节点之间的资源分配和管理，集中地管理所有存储设备上的存储池，以组成一个统一的虚拟存储池。 三种目前能够实现的存储虚拟化方法 存储虚拟化是物理存储的集合，也就是将多个网络存储设备集合成一个存储设备，这样就能简化存储管理。
8.2K60发布于 2018-03-20 - 来自专栏三分恶的专栏
MySQL提升笔记（2）：存储引擎盘点
在前面我们了解了server层调用存储引擎层接口来完成sql的执行，使用存储引擎的好处是：每个存储引擎都有各自的特点，能够根据具体的应用建立不同存储引擎表。 1、常用存储引擎 1.1、InnoDB存储引擎 InnoDB是MySQL的默认事务型引擎，也是最重要、使用最广泛的存储引擎。特点是行锁设计，支持外键，5.6之后支持全文索引。 1.2、MyISAM存储引擎 MyISAM存储引擎不支持事务、只支持表锁、支持全文索引。在MySQL5.5之前是MySQl默认的存储引擎。 MyISAM对整张表加锁，而不是针对行。 2、存储引擎对比 不同的存储引擎都有各自的特点，以适应不同的需求，如表所示。为了做出选择，首先要考虑每一个存储引擎提供了哪些不同的功能。 ---- 参考： 【1】：《高性能MySQL》 【2】：极客时间 《MySQL实战45讲》 【3】：《MySQL技术内幕 InnoDB存储引擎》 【4】：MySQL存储引擎精讲（附带各种存储引擎的对比）
52320发布于 2021-04-19 - 来自专栏Deep learning进阶路
8-2 图的存储结构
8-2 图的存储结构 1.邻接矩阵（顺序存储结构） 图结构的元素之间虽然具有“多对多”的关系，但是同样可以采用顺序存储，即使用数组有效地存储图。 集合V中所有的顶点可以利用一个一维数组存储；而集合E中所有的边可以用一个二维数组来存储， 此二维数组就称为 邻接矩阵！ 2.邻接表 邻接表既适用于存储无向图，也适用于存储有向图。 邻接表存储图的实现方式是，给图中的每个顶点独自建立一个链表，第i个单链表中的节点包含顶点 i 的所有邻接点。 为了便于管理这些链表，通常会将所有链表的头节点存储到数组中（也可以用链表存储）。类似于树结构的孩子表示法。 也正因为各个链表的头节点存储的是各个顶点，因此各链表在存储临界点数据时， 仅需存储该邻接顶点位于数组中的位置下标即可。 ? ?
82930发布于 2019-07-02 - 来自专栏用户1157212的专栏
Linux 挂载2T以上存储
Linux 挂载2T以上存储 Linux 挂载2T以上存储 在生产环境中，我们会遇到分区大于2T的磁盘（比如：添加一个3TB的存储），由于MBR分区表只支持2T磁盘，所以大于2T的磁盘必须使用GPT分区表 Device Boot Start End Blocks Id System /dev/sdd1 1 2089 16777216 82 Linux swap / Solaris /dev/sdd2 minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00000000 开始格式化 1.安装parted apt install parted 2. (parted) mkpart primary 0 -1 #将整块磁盘分成一个分区 (parted) quit #退出 3.格式硬盘 mkfs.ext4 /dev/sdb1 #格式化 #mke2fs 挂载新硬盘 4.1 创建需要挂载硬盘的目录 mkdir /data2 mount /dev/sdb1 /data2 #挂载 4.2 查找硬盘id号 blkid /dev/sdb1 #/dev/sdb1
6K00发布于 2020-12-27 - 来自专栏全栈程序员必看
DB2 SQL存储过程语法
2、(IN | OUT | INOUT parameter-name data-type,…) ：传入参数 IN：输入参数 OUT：输出参数 INOUT：作为输入输出参数 parameter-name 返回所有员工超过平均薪水的数额，结果集包括name, position, and salary字段(参考数据库为db2的示例数据库sample)。 DECLARE c1 CURSOR FOR SELECT CAST(salary AS DOUBLE) FROM staff ORDER BY salary; DECLARE c2 SELECT COUNT(*) INTO v_numRecords FROM STAFF; OPEN c1; WHILE v_counter < (v_numRecords / 2 FETCH c1 INTO medianSalary; SET v_counter = v_counter + 1; END WHILE; CLOSE c1; OPEN c2;
1.6K20发布于 2021-05-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号