- 综合排序
- 最热优先
- 最新优先
- 来自专栏Android开发指南
3.数据存储
在内部文件的读取 **内部存储(internal storeage) ram:运行时期的内存 (相当于电脑的内存) rom；存储的内存 (相当于电脑的硬盘) ，sd卡路径：storage/sdcard * 所有存储设备，都会被划分成若干个区块，每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量 一般的术语:手机自带的32G，指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后， 就可以开始向SharedPreferences文件中存储数据了，主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交，从而完成数据存储操作。
1.3K70发布于 2018-05-14 - 来自专栏技术杂记
Mysql 优化存储3
结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl
37320编辑于 2022-03-21 - 来自专栏python3
KVM专题（3）存储
KVM存储模式 基于文件系统的存储 dir:目录格式的存储 fs:磁盘分区存储 neyfs:网络共享文件存储 基于设备的存储 Disk：物理硬盘存储 Iscsi:iSCSITarget后端存储 logical : 存储池的基本概念 Libvirt可以以存储池的形式对存储进行统一管理、简化操作 对于虚拟机操作来说，存储池和卷并不是必须的 ? gpt格式 准备xml文件 <pool type='disk'> <name>guest_images3_fs</name> <source> <device path='/dev/sdc virsh pool-start guest_images<em>3</em>_fs :启动<em>存储</em>池 创建基于iscsi的<em>存储</em>池 在iscsi Target服务器上面安装target服务，并配置 /backstores/ <em>存储</em>卷 ?
1.3K10发布于 2020-01-10 Electron+Vue3+AI+云存储--实战跨平台桌面应用
在命令行中输入以下命令：npm install -g electron3. 创建项目使用 Electron 创建一个新的项目非常简单。
97000编辑于 2024-12-03- 来自专栏开发技能乱炖
3-数据存储之文件存储(1)
一 简单介绍： 我们前面很少将提取的数据或者获取的源码保存下来；其实日常的工作中在解析出数据后接下来就是存储数据。 熟悉/了解上面的知识点后(详细信息：菜鸟教程/w3school)，我们实例一下； 小说网站：https://xs.sogou.com/mianfei/ 获取书名、简洁并保存为txt文件： import JSON文件存储: 先官方话了解一下： JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 3). CSV文件存储： 使用csv文件存储，我理解的就是表格存储，Excel都用过吧，就是那个;接下来我们分文件的写入跟读取两部分分开讲解，请系好安全带(如果非要介绍定义的话，请百度…我就是懒)； 简单写入，
2.1K30发布于 2019-11-12 - 来自专栏python3
3. SQL -- 存储过程
一存储过程的优点: 1: 存储过程在服务器端运行,执行速度快 2: 存储过程只执行一次,然后把编译的二进制代码保存在调整缓存中,以后可从中调用,提高系统的性能. 3: 确保数据库的安全.使用存储过程可以完成所有的数据库操作 指用户数据库中创建的存储过程,这种存储过程完成特定的数据库任务 (3) 临时存储过程. (32)等) (3) Default指定存储过程输入参数的默认值,必须是常量或NULL,默认值中可以有通配符(%,_,[]和[^]) (4) Recompile表明每次运行该过程时,要重新编译 (5) 参数n2说明一个存储过程可以包含多条T-SQL语句 3: 存储过程要注意的几点: (1) 用户定义的存储过程只能在当前数据库中使用(临时过程除外) (2) 成功执行create procedure语句后,过程名存储在sysobjects系统表中,而create procedure语句的文本存储在syscomments中 (3) 自动执行存储过程.SQL Server启动时可自动执行一个或多个存储过程
1.5K20发布于 2020-01-14 - 来自专栏python3
3,mysql的存储引擎
1,什么是存储引擎，存储引擎说白了就是如何存储数据,如何为存储的数据建立索引和如何更新，查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以成为表类型。 在Oracle和SQL Server等数据库中只有一个存储引擎，所有的数据存储管理机制都是一样的。 MySQL数据库提供了多种存储引擎，用户可以根据不同的需求为数据库表选择不同的存储引擎，也可以根据自己的需要编写自己的存储引擎。 2，如何选择存储引擎： InnoDB存储引擎：用于事务处理应用程序，具有众多特性 MyISAM存储引擎：主要用于管理费事务表，它提供高速存储和检索，以及全文搜索能力 MEMORY存储引擎：提供“内存中” 表，MEMORY存储引擎的所有数据都在内存中，数据的处理速度快，但安全性不高（用于相对较小的数据库表）
93010发布于 2020-01-06 - 来自专栏python3
存储基本概念（3）
将数据保存在存储介质上，除了需要一个好的存储介质之外，还需要一个适当的机制去管理这些存储介质上的数据，以便上层应用包括操作系统可以方便快捷的访问到这些数据。 不是的，因为从操作系统角度来看，操作系统虽然一般具有文件系统管理功能，但本质上文件管理系统它是比较独立的一个功能，显然可见的，就是操作系统可以支持多个文件系统，如LINUX支持ext2,ext3等,Windows
98621发布于 2020-01-14 - 来自专栏皮振伟的专栏
漫谈AI推理与存储
AI存储核心需求 模型权重 LLM模型权重是AI推理最基础的持久化存储数据，核心特征为一次写入、多次读取。 对象存储协议（S3） S3是主流对象存储协议，基于流式架构设计，TCP网络适配性极佳，具备显著的成本优势，适合海量冷数据、模型权重归档存储。 基于GD2FS的AI推理架构 基于GD2FS构建的LLM推理协同架构，核心是重塑端到端的AI推理链路，打破传统推理引擎、存储、调度系统的割裂状态。 AI推理是典型的系统性工程，性能优化不能局限于单一模块，需实现存储、推理、调度的全局协同。 、缓存吞吐、存储成本、资源调度等核心痛点，为超长上下文、高并发、大规模AI推理场景提供底层支撑。
10710编辑于 2026-06-05 - 来自专栏AI
AI中的数据存储
图片 2.数据准备阶段 GPU集群从对象存储读取数据(按序)并写入计算集群 CPU对原始数据预处理, 读取数据，然后写入干净的数据 3.训练过程: GPU 通过以随机顺序读取数据来训练模型, 训练后的模型将写入磁盘 图片 3a.检查点过程: 模型训练数据会定期写入磁盘，并根据需要读回 图片 4.推理(Inference): 该模型已部署并开始接收输入，在 GPU 服务器中生成随机读取活动。 RAG 还可以创建额外的 I/O 活动 5.归档流程: 模型输入和输出被捕获并写入对象存储层的磁盘 旨在优化 AI 存储效率的产品组合 QLC 提升新型 AI DC(数据中心) 构建的电源效率 每个 DGX 有关建模详细信息，请参阅附录“QLC 功率效率与 HDD” 模型训练与数据存储 AI 数据穿越存储层之旅 最近的检查点基本在SSD上 早期的检查点数据在HDDS AI数据量级和性能 检查点：提高存储容量和吞吐量 Blob 存储层一次性访问可实现高吞吐量 AI负载中的存储扩展性 总结 AI集群流程中的数据存储需要根据实际业务的量级和性能要求做分层存储, 这样成本可控且性能满足需求 AI行业也会带动存储行业发展,
1.7K11编辑于 2024-09-18 - 来自专栏存储公众号：王知鱼
微软：AI存储，SSD or HDD ?
Fig-2 AI训练工作流对应的存储方案定性说明。 Fig-3 图示 AI训练工作流中存储层动态交互过程。 3. Transformers（Hugging Face）：专用于深度学习模型的Tokenization和Embedding。 3. 检查点管理： • 频率：检查点的频率会直接影响存储需求。 • 数据分层：最新检查点保存在SSD上以保证快速访问，旧数据则存储在HDD上以节省成本。 4. 3. 成本控制：SSDs/Flash特别关注TCO改善和位成本优化。 总结 作为运营主要AI训练资源云厂商，”巨硬“对AI应用层系统实践，应该说是富有经验的，从这篇分享中可以总结以下几点： • 和新兴存储厂商（WEKA/VAST/Infidant）等普遍拥抱闪存基础设施&
1.2K10编辑于 2025-02-11 - 来自专栏存储公众号：王知鱼
SuperMicro：AI存储硬件方案
SuperMicro：AI存储硬件方案-Fig-1 云厂商 AI存储方案 大规模 AI/GPU 集群基础设施。按可扩展单元 (SU，也称为 Pod，例如 256 个 GPU) 进行扩展。 SuperMicro：AI存储硬件方案-Fig-2 企业级AI存储方案 Pod 级别的部署（较云厂商规模、性能要求降低） 企业用例，推理与训练的比较 存储需求： • 全 NVMe 或 PB 级别的分层存储 • 并行文件系统，高性能对象存储。 SuperMicro：AI存储硬件方案-Fig-3 基础计算硬件方案 在执行 AIOps 和 MLOps 时： • GPU 密集型服务器加速 AI 训练和推理。 • 更多利用率 -> 更好的投资回报（ROI） • Supermicro Peta级存储系统： • 使用最新的 E3.S NVMe 存储的 1U 和 2U 服务器。 全闪存层（All-Flash Tier）：使用 Supermicro Petascale 存储服务器，通过 400 Gbps 的 InfiniBand 提供数据存取。 3.
1K10编辑于 2025-02-11 Electron+Vue3+AI+云存储--实战跨平台桌面应用|果fx
如何使用 Electron 和 Vue 3 创建一个跨平台的桌面应用，并集成简单的 AI 功能和云存储。我们将构建一个基本的应用框架，使用一些示例代码来帮助你入门。 目录下创建一个 HelloWorld.vue：<template>
Hello World
<button @click="fetchData">Get AI ; }, methods: { async fetchData() { const response = await fetch('https://api.example.com/ai-data '); // 替换为你的 AI API this.aiResponse = await response.json(); }, },};</script>第三步：实现云存储可以使用 Firebase 或 AWS S3 等服务进行云存储，这里以 Firebase 为例：安装 Firebase SDKnpm install firebase配置 Firebase 在你的项目中添加 Firebase 配置1.7K10编辑于 2025-01-07来自专栏python3M3DB存储配置
M3DB存储配置 { "num_shards": 1024, "replication_factor": 3, "instances": [ { ", "port": 9000 } ] } ID 唯一性区分数据存储节点 Isolation Group 隔离分组 处在同一个分区的存储节点其存储的数据互不相同 ，换句话说同一个分区内的存储节点平分放置所有数据分片。 当然也可活用在云环境上 Zone 元数据存放区域 这个是etcd中的概念，和consul中的datacenter概念相同 Weight 数据分片权重 分片分配权重，整数，一个隔离分组中权重大的存储节点将会被分配存储更多的分片 如果不同磁盘容量的机器混布存储节点的话，那么磁盘大的权重可以比其他节点高。
1K10发布于 2020-01-08来自专栏焱融科技AI 场景的存储优化之路
人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。 谈优化之前，我们先分析一下AI访问存储的几个特点： 海量文件，训练模型的精准程度依赖于数据集的大小，样本数据集越大，就为模型更精确提供了基础。 综上，对于AI场景来说，分布式存储面临三大挑战： 海量文件的存储 小文件的访问性能 目录热点 海量文件的存储 首先讨论海量文件存储的问题。海量文件存储的核心问题是什么，是文件的元数据管理和存储。 从这个图中，我们可以看到，假如dir3目录中有大量文件，比如说几百万，上千万文件，训练的时候，多个计算节点需要同时读这批文件的时候，dir3所在的MDS节点就会变成一个热点。 如何去解决热点问题呢？ 总结 本文针对海量文件存储、小文件访问性能、热点访问三个维度，分析了面向AI场景下，分布式文件系统面临的挑战，以及我们的应对思路，也希望借此文和更多技术专家交流如何对AI场景下的存储方案进行针对性的优化
1.9K10发布于 2020-02-27来自专栏AI系统【AI系统】指令和存储优化
除了应用极广的循环优化，在 AI 编译器底层还存在指令和存储这两种不同优化。指令优化指令优化依赖于硬件提供的特殊加速计算指令。这些指令，如向量化和张量化，能够显著提高计算密度和执行效率。 并将结果存储到数组 C 当中。 = A[i:i+3] + B[i:i+3];}要实现加速，需要将其转换为硬件提供的向量化指令，例如：# Intel SSE_mm_add_ps：将两个单精度浮点向量的对应元素相加。 在 AI 系统中，这种视角下的内存管理显然无法支撑起 AI 应用。AI 系统通常需要处理大量的数据和复杂的算法，这就需要高效的内存分配和回收策略来支持它们的运行。 NPU 的内存管理机制包括：片上内存：NPU 通常具有片上内存，用于存储权重和激活等数据，以减少与外部内存的通信开销。内存访问模式：NPU 针对 AI 工作负载进行了优化，支持高并发的内存访问模式。
78610编辑于 2024-11-29《光存储与3D存储：开启人工智能硬件存储新时代》
在人工智能飞速发展的当下，数据已然成为了核心驱动力，而数据存储技术的重要性也愈发凸显。光存储和3D存储等新型数据存储技术，正以其独特的优势，为人工智能硬件的发展带来了全新的机遇与可能。 3D存储技术在人工智能硬件中的应用前景- 3D NAND闪存技术：3D NAND闪存通过在一个存储单元中存储多位数据，并采用三维堆叠的形式，使存储芯片在保持小体积的同时，显著提升了容量和存取速度。 - 3D和型NVM技术：3D和型NVM技术在3D阵列中引入了垂直埋地扩散线，可随时从多个BL或WL的电流求和，以提供“向量矩阵乘法”，即通常在AI中称为“Mac”的操作。 因为所有权重都存储在高密度NVM中，并且存储器单元的电流检测已经提供MAC操作，所以该技术为加速AI计算提供了一种理想的高密度、低功耗和高吞吐量硬件解决方案。 光存储和3D存储等新型数据存储技术在人工智能硬件中具有巨大的应用潜力和广阔的前景，有望为人工智能的发展提供更强大的存储支持，推动人工智能技术的进一步创新和应用。
29200编辑于 2025-01-06来自专栏云云众生s为什么AI青睐对象存储
AI模型做出的每一个决策，它发现的每一个洞见，都源于为其训练和运行提供动力的海量数据储备。然而，随着AI模型变得越来越庞大和复杂，它们与数据交互的方式也带来了传统存储系统无法应对的挑战。 传统上，存储层通常是手动管理的，需要仔细编排才能在快速的临时存储和较慢的归档层之间移动数据。跨越数十PB非结构化数据的AI工作负载受益于对象存储固有的可扩展性。 由于没有分层目录或分层开销，像S3兼容平台这样的对象系统能够实现动态的、按需的数据访问，从而显著降低管理复杂性，同时保持性能。 与将某些操作集中化的存储系统不同，对象存储将数据和元数据分布在节点集群中，消除了单点瓶颈。这种架构允许AI工作负载随着数据增长线性扩展。 相关文章： 革新存储：GPU在现代基础设施中的作用 Tecton应对下一代生成式AI的重大挑战：个性化 AI 测试：更广泛的覆盖范围、更少的错误、新的风险 DevOps中使用AI：开发人员和运维人员需要了解什么
43010编辑于 2025-01-25来自专栏AI掘金志华为AI存储「求解」大模型
另一方面，以大模型为代表的多模态AI，数据结构、类型远比单模态AI复杂，数据量也更加庞大。 两大趋势相互叠加，市场对于存储的增量需求呼之欲出。 二、AI存储三要素：精度、效率、能耗 以往，训练模型的方法简单而粗暴：大量的数据加上人工，以及强大的算力，不断调优，提高模型精度。 很明显，前一种方式被广泛使用并达到了极限，后一种方式正呈星火燎原之势，开始席卷整个AI行业。 三、AI存储如何让企业用上大模型？ 基于此，华为推出了两款AI存储产品：OceanStor A310 ，FusionCube A3000。 AI存储的未来 从工业社会到信息社会，伴随着新技术的发展，数据的总量呈几何级数增长。 如何利用好数据成为关键，而这又与存储技术息息相关，两者相互影响、互相作用。
50830编辑于 2023-08-26来自专栏全球技术精选【系统设计】S3 对象存储
在本文中，我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务。 根据亚马逊的报告，到 2021 年，有超过 100 万亿个对象存储在 S3 中。 在深入设计之前，有必要先回顾一下存储系统和相关的术语。 对比 术语 要设计一个类似于 S3 的对象存储，我们需要先了解一些对象存储的核心概念。 • 桶 （Bucket），桶是对象的逻辑容器，存储桶名称是全局唯一的。 d3 = 3*p1 + 4*p2 + d1 - 26*d2 d4 = p1 + p2 - 7*d2 和多副本复制相比，纠删码占用的存储空间更少。 客户端调用对象存储服务发起分段上传请求。 2. 数据存储服务返回一个唯一的 uploadID。 3.
8.9K30编辑于 2022-09-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号