- 综合排序
- 最热优先
- 最新优先
- 来自专栏BestSDK
10大云存储平台技巧
IoT最佳存储系统 由于对象存储的无限扩展架构和持久的性质，它非常适合处理通过IoT文件积累的PB级的非结构化数据。对于云的主要选择，对象存储可以用于私有、公有和混合云平台。 通过将被动数据迁移到较低的存储层，混合云平台可以清理急需的存储空间，否则可能会被很少访问的数据浪费。 对象存储网关可能不适用数据迁移 简化数据向对象存储的迁移，网关看起是一种方法，但它却不是最好的方法。尽管网关可以在数据迁移中减少存储的消费，但实际上，相比于其它的数据迁移项目，它的步骤没有那么少。 使用标准文件或块接口，对象存储网关仍然需要32到34个人工步骤来迁移文件和存储块。 伴随着劳动密集型流程，对象存储网关可能会让你将数据保护过程复杂化。 分层和快照是需要考虑的两个功能，以及服务提供商与存储组合供应商密切合作关系。 对DRaaS要求更多 评估DRaaS供应商时，请确定数据的存储方式。
2.8K60发布于 2018-03-02 - 来自专栏人工智能领域
10.高级存储过程技巧（1010）
2.1 存储过程调试的基本概念 2.1.1 调试存储过程的目的 调试存储过程的目的包括： 查找和修复错误：识别和解决存储过程中的逻辑错误或运行时错误。 验证逻辑：确保存储过程的业务逻辑正确无误。 2.2.2 使用“Step Into”进行存储过程调试 Step Into：使用“Step Into”(F10)命令可以进入存储过程或函数的内部，逐行执行，这有助于调试嵌套的存储过程或函数调用。 - 阿里云开发者社区 链接 《SQL-触发器(trigger)的详解以及代码演示》- CSDN博客 链接 《25.3.1 触发器语法和示例》- MySQL 8.0 参考手册 链接 《不可不知的10个数据库安全最佳实践 本文相关文章推荐： 1.MySQL存储过程基础（1/10） 2.创建第一个MySQL存储过程（2/10） 3.使用条件语句编写存储过程（3/10） 4.循环结构在存储过程中的应用（4/10） 5.错误处理在存储过程中的重要性 （5/10） 6.存储过程中的游标使用（6/10） 7.存储过程中的事务管理（7/10） 8.优化存储过程的性能（8/10） 9.存储过程安全性博客大纲（9/10） 10.高级存储过程技巧（10/10
59610编辑于 2024-12-18 - 来自专栏帅云霓的技术小屋
云存储硬核技术内幕——(10)
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。 Ceph本质上是对象存储(后面会讲到)，以image的形式提供RBD块，在KVM的QEMU中安装RBD块驱动，将RBD块直接挂载给虚拟机。 出于这点考虑，工程师们在服务器上安装了两块硬盘，通过RAID卡，让来自系统的IO被复制到两块硬盘，令两块硬盘存储的内容完全一致。当一块硬盘损坏或被意外拔出时，另一块硬盘还能够读出完整的数据。 因此，在分布式存储中，通常使用多副本机制，最常见的是三副本： 如图，PG落到主OSD后，主OSD所在的Node会将内容复制到另外两个副本对应的OSD节点，并最终落盘。
98520编辑于 2022-08-04 - 来自专栏郭霖
Android 10适配要点，作用域存储
距离Android 10系统正式发布已经过去大半年左右的时间了，你的应用程序已经对它进行适配了吗？ 在Android 10众多的行为变更当中，有一点是非常值得引起我们重视的，那就是作用域存储。 本篇文章对作用域存储进行了比较全面的解析，相信看完之后你将能够轻松地完成Android 10作用域存储的适配升级。 而在作用域存储这个功能上面，恭喜大家，暂时确实是可以不用升级的。 目前Android 10系统对于作用域存储适配的要求还不是那么严格，毕竟之前传统外置存储空间的用法实在是太广泛了。 还有一个是图片存储的路径，不过这个值在Android 10和之前的系统版本中的处理方式不一样。 第三方SDK不支持作用域存储怎么办？ 阅读完了本篇文章之后，相信你对Android 10作用域存储的用法和适配基本上都已经掌握了。
3K10发布于 2020-04-16 - 来自专栏皮振伟的专栏
漫谈AI推理与存储
AI存储核心需求 模型权重 LLM模型权重是AI推理最基础的持久化存储数据，核心特征为一次写入、多次读取。 KV Cache存储诉求、延迟与成本痛点 综合两种KV Cache管理方式，AI推理场景对存储的核心诉求可总结为三点：容量大、数量多、分布式高效调度。 基于GD2FS的AI推理架构 基于GD2FS构建的LLM推理协同架构，核心是重塑端到端的AI推理链路，打破传统推理引擎、存储、调度系统的割裂状态。 AI推理是典型的系统性工程，性能优化不能局限于单一模块，需实现存储、推理、调度的全局协同。 、缓存吞吐、存储成本、资源调度等核心痛点，为超长上下文、高并发、大规模AI推理场景提供底层支撑。
10710编辑于 2026-06-05 - 来自专栏AI
AI中的数据存储
: GB级别的顺序写 推理和RAG过程中: TB级别的随机读 归档过程中: PB级别的随机写 典型 AI 集群的存储剖析(按存储性能分层存储) 图片 左边绿色GPU服务器集群通常只能提供8个U.2的插槽 中间采用高性能全闪存,通过是TLC, 弥补机械盘性能, 总容量比HDD少 右边采用对象存储, 存储集群或JBODS, 包含大量机械盘, 总容量占比高 AI集群中的数据移动 图片 1.数据采集阶段，原始数据按顺序写入对象存储层 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.7K11编辑于 2024-09-18 - 来自专栏存储公众号：王知鱼
微软：AI存储，SSD or HDD ?
Fig-2 AI训练工作流对应的存储方案定性说明。 Fig-3 图示 AI训练工作流中存储层动态交互过程。 数据转移到HDD层做长时保留 • 存储层的性能/容量，随GPUs数量及训练次数弹性扩展 AI模型训练前，要完成数据Tokenization/ Vectorization，用什么专用软件来实现？ 核心要点：GPU从Blob存储层同时访问会驱动高吞吐量 Fig-6 从AI系统存储带宽需求，看HDD和SSD发展现况和机遇： • 当前系统使用SSD能满足训练和Checkpoint的性能读取（但成本较高 ）； • HDD的成本虽然较低，但带宽性能仍无法达到目前需求，需增长8-10x； • SSD朝着更高带宽/吞吐量前进，需在当前水平提升50-100x； Fig-7 1. 总结 作为运营主要AI训练资源云厂商，”巨硬“对AI应用层系统实践，应该说是富有经验的，从这篇分享中可以总结以下几点： • 和新兴存储厂商（WEKA/VAST/Infidant）等普遍拥抱闪存基础设施&
1.2K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
SuperMicro：AI存储硬件方案-Fig-1 云厂商 AI存储方案 大规模 AI/GPU 集群基础设施。按可扩展单元 (SU，也称为 Pod，例如 256 个 GPU) 进行扩展。 SuperMicro：AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署（较云厂商规模、性能要求降低） 企业用例，推理与训练的比较 存储需求： • 全 NVMe 或 PB 级别的分层存储 • 高性能全闪存存储层（All-Flash High-Performance Storage Tier）：WEKA 系统管理 10%-20% 的存储容量。 • 高性能全闪存存储层（All-Flash High-Performance Storage Tier）：管理 10-20% 的存储容量。 应用层（Application Tier）：通过 Supermicro 8U GPU 服务器与 1/10/25 GbE 和 InfiniBand 网络连接至数据中心。 2.
1K10编辑于 2025-02-11 - 来自专栏机器学习/数据可视化
MySQL学习10_通配符和存储过程
它是一种在数据库中存储复杂程序，以便外部程序调用的一种数据库对象。 通过存储过程限制对数据库的访问，减少数据讹误。 提高性能：存储过程通常是以编译的形式存在，DBMS处理命令需要的时间少，提高性能 不同的DBMS对存储过程的语法有所不同，一般不能移植 总结：简单，安全，高性能 执行存储过程 执行存储过程使用的execute 关键字，它接受存储过程名和需要传递的参数，一个栗子： execute addNewProduct( -- 执行该名字的存储过程 'JS01', --供应商 'Shufujia', 存储过程名(参数) 存储过程体: create function 存储函数名(参数) 栗子 创建某个数据库用于实例操作 mysql> create database db1; -- 创建库 mysql
1.2K10发布于 2021-03-02 - 来自专栏字节流动
Android 10(Q)11(R) 分区存储适配
为此，Google 终于下定决心在 Android 10 中引入了分区存储，对权限进行场景的细分，按需索取，并在 Android 11 中进行了进一步的调整。 Android 10(Q) Android 10 中主要对共享目录进行了权限详细的划分，不再能通过绝对路径访问。 受影响的接口： ? Android 11 (R) Android 11 (R) 在 Android 10 (Q) 中分区存储的基础上进行了调整。 1. 无论设备后续是否升级为搭载 Android 10 或更高版本，或者应用后续是否更新为以 Android 10 或更高版本为目标平台，此兼容性行为均适用。 总结 从 Android 10提出分区存储之后到现在已经一年多了，所以Google 从强制推行的态度到现在 targetSDK >=30 才强制启用分区存储来看，Google 还是渐渐地选择给开发者留更多的时间
3.2K30发布于 2020-08-28 - 来自专栏侯哥的Python分享
MySQL高级10-InnoDB引擎存储架构
一、逻辑存储结构 表空间(Tablespace)：一个mysql实例，及一个数据库实例，可以对应多个表空间(ibd文件)，用于存储记录，索引等数据。 mysql.host：存储了允许连接到MySQL服务器的主机信息。 mysql.tables_priv：存储了表级别的权限信息。 总结：系统表空间是MySQL中用于存储系统表和特殊表的默认表空间，包含了一些重要的系统表，通常存储在名为`ibdata1`的共享文件中。 存储空间：使用File-Per-Table Tablespace可以更有效地使用存储空间。 临时表空间可以在独立的表空间文件中存储临时表数据，这些文件可以位于不同的存储设备上，从而分散了IO负载。
78421编辑于 2023-09-20 - 来自专栏又见苍岚
Windows 10 系统存储 - 清理C盘空间
除了使用各个平台的电脑管家清理外，Windows自带的存储功能也可以辅助腾出很大空间来。 使用方法 Win + S 搜索 存储设置 在其中可以删除各种占用大量资源的文件 实用对比 付费金山垃圾清理 其中深度清理都是下载的往期文件，不在C盘 付费金山C盘瘦身专家 系统存储
2.1K30编辑于 2022-08-05 - 来自专栏焱融科技
AI 场景的存储优化之路
人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前，我们先分析一下AI访问存储的几个特点： 海量文件，训练模型的精准程度依赖于数据集的大小，样本数据集越大，就为模型更精确提供了基础。 综上，对于AI场景来说，分布式存储面临三大挑战： 海量文件的存储 小文件的访问性能 目录热点 海量文件的存储 首先讨论海量文件存储的问题。海量文件存储的核心问题是什么，是文件的元数据管理和存储。 图中的结果是增加目录拆分前后的性能对比，从图中可以看到，无论是hard read, hard write，还是stat delete，目录拆分后，都有10倍以上的性能提升。 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度，分析了面向AI场景下，分布式文件系统面临的挑战，以及我们的应对思路，也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化
1.9K10发布于 2020-02-27 - 来自专栏AI系统
【AI系统】指令和存储优化
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令，如向量化和张量化，能够显著提高计算密度和执行效率。 并将结果存储到数组 C 当中。 张量化在 AI 应用日益广泛的今天，程序运行的数据形式经历了显著的演变。特别是以神经网络为代表的神经网络模型，其内部数据形式为多维矩阵，通常称为张量。 在 AI 系统中，这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法，这就需要高效的内存分配和回收策略来支持它们的运行。 NPU 的内存管理机制包括：片上内存：NPU 通常具有片上内存，用于存储权重和激活等数据，以减少与外部内存的通信开销。内存访问模式：NPU 针对 AI 工作负载进行了优化，支持高并发的内存访问模式。
78610编辑于 2024-11-29 - 来自专栏云云众生s
为什么AI青睐对象存储
AI模型做出的每一个决策，它发现的每一个洞见，都源于为其训练和运行提供动力的海量数据储备。然而，随着AI模型变得越来越庞大和复杂，它们与数据交互的方式也带来了传统存储系统无法应对的挑战。 分散在分布式系统中的小文件以及对随机访问的需求，突显了AI的需求与最初为结构化、顺序工作流构建的基础设施能力之间的不匹配。 这篇博文探讨了对象存储如何为AI对数据的永不满足的渴望提供动力。 传统上，存储层通常是手动管理的，需要仔细编排才能在快速的临时存储和较慢的归档层之间移动数据。跨越数十PB非结构化数据的AI工作负载受益于对象存储固有的可扩展性。 与将某些操作集中化的存储系统不同，对象存储将数据和元数据分布在节点集群中，消除了单点瓶颈。这种架构允许AI工作负载随着数据增长线性扩展。 相关文章： 革新存储：GPU在现代基础设施中的作用 Tecton应对下一代生成式AI的重大挑战：个性化 AI 测试：更广泛的覆盖范围、更少的错误、新的风险 DevOps中使用AI：开发人员和运维人员需要了解什么
43010编辑于 2025-01-25 - 来自专栏AI掘金志
华为AI存储「求解」大模型
另一方面，以大模型为代表的多模态AI，数据结构、类型远比单模态AI复杂，数据量也更加庞大。 两大趋势相互叠加，市场对于存储的增量需求呼之欲出。 以ChatGPT为例，在一些简单的问题上，用户提问得到回答的平均时间在10s以内。如果时间太长，用户体验将会很糟糕，并且丧失对模型的信任，乃至给予差评。 这反应的是大模型推理的时延现象。 很明显，前一种方式被广泛使用并达到了极限，后一种方式正呈星火燎原之势，开始席卷整个AI行业。 三、AI存储如何让企业用上大模型？ 基于此，华为推出了两款AI存储产品：OceanStor A310 ，FusionCube A3000。 AI存储的未来 从工业社会到信息社会，伴随着新技术的发展，数据的总量呈几何级数增长。 如何利用好数据成为关键，而这又与存储技术息息相关，两者相互影响、互相作用。
50830编辑于 2023-08-26 - 来自专栏电光石火
Win10修改Docker镜像存储位置
发生现象： 在windows10下安装docker for windows，随着用docker pull image文件后，C盘的容量越来越小了，你可能也有一种跟我一样的想法，想改变默认的安装路径，本文希望能解决你的问题
1.8K10发布于 2019-12-06 - 来自专栏蛋蛋之家
Windows 10下 iTunes 备份默认存储路径修改
于是想把iTunes的默认存储路径修改一下，发现与Windows 7不同，Windows的路径变了。 Windows 7的路径为： C:\Users\你的用户名\AppData\Roaming\Apple Computer\MobileSync Windows 10的路径为： C:\Users\你的用户名 2019.11.28更新： 点击展开 今天安装了iTunes企业版，备份后发现在Windows 10中的备份路径变了，新的备份路径为： C:\Users\Eric\AppData\Roaming\Apple
7K21编辑于 2023-03-14 - 来自专栏ADAS性能优化
AI weekly (10-26)
can stop a facial recognition network from identifying people in videos. https://venturebeat.com/2019/10 software tools for artificial intelligence deep learning applications. https://venturebeat.com/2019/10 verification solutions, has raised $10 million in seed funding. https://venturebeat.com/2019/10/24/incode-raises-10-million-to-verify-identities-with-ai Twitter now With the advent of AI, data access and accuracy are being improved even more How AI is transforming
40220编辑于 2022-05-13 - 来自专栏电光石火
Win10修改Docker镜像存储位置
发生现象： 在windows10下安装docker for windows，随着用docker pull image文件后，C盘的容量越来越小了，你可能也有一种跟我一样的想法，想改变默认的安装路径，本文希望能解决你的问题 作者：陌晴 版权所有：《电光石火》 => Win10修改Docker镜像存储位置 本文地址：http://www.ilkhome.cn/?post=339 欢迎转载！ 复制或转载请以超链接形式注明，文章为 陌晴 原创，并注明原文地址 Win10修改Docker镜像存储位置，谢谢。
7.2K41发布于 2018-06-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号