- 综合排序
- 最热优先
- 最新优先
- 来自专栏存储知识
容器时代的存储底座：存储资源盘活系统SRRS
集群的生产级操作需要许多组件 ，用户通常没有足够的技术能力；问题之二，是尽管 Kubernetes可以在多种类型的基础架构上运行，但多架构同时存在导致云原生平台的底层基础设施（即支持 Kubernetes 集群的计算、存储和网络资源 存储资源盘活系统（Storage Resource Reutilization System, SRRS）。SRRS 可以在存储层面解决上述问题。 SRRS 是一款纯用户态的绿色软件，只有150MB左右的安装包，不需要ROOT权限就可以安装在任何Linux操作系统上，不独占硬盘、操作系统，以2GB内存把各服务器中分散的磁盘整合成高性能的存储资源池， 通过分布式双控制器架构保证了低延迟、高可用、易拓展；支持x86、ARM、龙芯等异构、非对称服务器混合部署，通过功能全面完善的控制台、命令行与API来统一调度管理所有存储设备；通过强大的兼容性和硬件异构性充分利用全部存储资源 SRRS 与 Kubernetes一样，可在多种类型的基础设施上运行，向上提供标准的 iSCSI 接口，完全适配 Kubernetes 的 容器存储接口 CSI 。
1.3K20编辑于 2023-01-17 - 来自专栏存储知识
存储资源盘活系统构建AI时代的存储底座
2022年末，生成式对话型人工智能ChatGPT和AI生成图片应用Midjourney问世，1个月内获取过亿用户。尽管根据用户使用后的的反馈，它们的表现还不能堪称完美，但已经是令大众惊喜的程度了。 ChatGPT和Midjourney背后的公司是OpenAI，成立于2015年，由Elon Musk和Sam Altman等个人和组织创建，旨在推进和促进人工智能领域的研究。 目前主流的解决方法是硬件存储阵列或分布式存储。 存储资源盘活系统是高性能的。存储资源盘活系统采用分布式双控制器架构，像传统硬件存储阵列一样提供低延迟和高可用性，像传统分布式存储一样提供高可扩展性和高吞吐量。 在AI的时代来临之前，存储资源盘活系统可以为其构建坚固、灵活的存储底座。
1.1K20编辑于 2023-02-23 - 来自专栏IT创事记
创新数据底座：智能制造的“圣杯”
既有的数据基础设施很难满足以汽车研发为代表的新增需求，创新的数据底座成为智能制造时代被寄予厚望的“圣杯”。 仿真平台只是创新数据底座的冰山一角。 走出智能制造的深水区、实现向制造业强国的跃迁，需要更多行业领头羊率先垂范。华为构建的创新数据基础设施，将成为国内制造企业数字化转型坚实的数据底座，其示范效应影响深远。 核心业务场景的新挑战 作为高价值数据的重要载体，存储是创新数据基础设施的核心角色，也是智能制造完成升级不可或缺的动力。 存储产品的高歌猛进，为华为创新数据基础设施提供了充足的底气；与更多懂行业、懂业务、懂技术的合作伙伴携手同行，则是华为构建制造业等行业数据底座的生态保障。
54420编辑于 2022-08-30 - 来自专栏数据猿
AI存储进入PBEB时代，HDD为何成为数据底座？
“西部数据的策略：从11碟HDD出发，重塑AI存储底座。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 让我们来试想这样一个场景：凌晨3点，某大模型云服务平台的日志系统依然在高速写入。 2025年，大模型和智能体进入商用部署的新阶段，“一企一模型”“一行一垂类”的趋势拉开，随之而来的，是以PB乃至EB为单位的数据暴涨。 西部数据的策略： 从11碟HDD出发，重塑AI存储底座 编者认为，AI时代对HDD提出了两个新要求：更大的容量，更长的周期。这不仅仅是一次性的性能突破，更是一次关于“长期信赖”关系的重构。 这是对客户的长期关系战略——构建“存储信赖路径”，帮助客户把其数据底座变成护城河。 每一个多模态模型的推理调用、每一个Agent系统的上下文记录，每一次大语言模型的“记忆保存”，都是对存储底座的“微小索取”。
25510编辑于 2026-01-27 智能驾驶时代：车联网需要怎样的智能网络底座？
2024年，智能驾驶市场火热，无论是造车新势力还是老牌车企纷纷发力智能驾驶，他们深知，新能源汽车的下半场已到，再不发力智能驾驶，可能真的有些来不及了。 车企不断加码单车智能的同时，政府也在稳步的推进车路协同。智能驾驶领域一直处在新技术广泛应用和验证的前沿，让我们一起探索智能驾驶的发展将给我们带来哪些启示。 至此，车路云智能网联有了更为具象化的全局展现，车、路、边缘云、区域云及各交通管理平台，共同构建了一个高度智能化的交通管理系统。 这种智能网联的实现，不仅仅是技术上的突破，更是对未来网络发展趋势的生动体现。我们可以透过智能车路协同的智能网联需求，探索未来网络的需求变化。 未来的交通网络将能够支持更加智能、高效、安全的交通管理，为智能驾驶和车路协同技术的发展提供坚实的基础。
64310编辑于 2024-06-12- 来自专栏深度学习与python
打造无限扩展的云存储系统，元数据存储底座的设计和实践
而且鉴于这是百度智能云存储的核心底座，需要自主可控并提供给最佳的用户体验。最终我们决定面向百度沧海·存储的元数据场景，自主研发一套类 Spanner 架构的分布式事务数据库作为元数据底座。 5 百度智能云的云存储元数据底座 TafDB TafDB 是面向元数据场景设计的一个分布式数据库系统。 作者简介 曹彪 百度智能云云存储高级架构师、云存储元数据底座技术负责人 2014 年加入百度后一直从事基础架构领域研发，先后负责了百度小批量实时计算平台以及百度智能云元数据存储平台，带领团队从 0 到 1 打造了百度智能云云存储的元数据底座 TafDB，并在对象存储、文件系统大规模上线，现任百度智能云云存储部高级架构师、元数据底座 TafDB 技术负责人。 阴智辉 百度智能云高级研发工程师 TafDB 核心研发 2019 年华中科技大学硕士毕业后加入百度智能云云存储部，至今一直致力于建设云存储元数据底座 TafDB。
1.8K20编辑于 2023-03-29 - 来自专栏猫头虎博客专区
MySQL 8 存储JSON
要在MySQL中存储数据，必须定义数据库和表结构，但有时做配置后台开关项太多不可能定义几百个字段，用json方法放到一个一个字段里也是必要的。 之前，json数据不被支持，只是被存储为字符串。 mysql8JSON数据类型提供了自动验证的JSON文档以及优化的存储格式。 all’, “ .address.line1", " .address.line5”) from employees.emp_details; 返回值：0 有三种函数来修改数据： 在MySQL 8之前的版本中
92810编辑于 2024-04-07 - 来自专栏数栈技术分享
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
数据湖概念一经提出，便受到了广泛关注，人们发现此概念代表了一种新的数据存储理念，海量异构数据统一存储可以很好地解决企业数据孤岛问题，方便企业数据管理与应用。 面对海量数据的存储以及结构化数据、文本、二进制（图片、音频、视频）等数据的存储应用，传统架构的离线数据仓库越来越 “力不从心”。 根据维基的定义，数据湖是一个以原始格式 (通常是对象块或文件) 存储数的系统或存储库。数据湖通常是所有企业数据的单一存储，用于报告、可视化、高级分析和机器学习等任务。 异构数据源数据通过 ChunJun 同步到数据湖平台，历史数据存储 Iceberg 湖内，可以提供更高效的查询同时具备廉价存储。 多种底层存储湖仓平台支持 HDFS、S3、OSS、MInio 等多种底层存储，灵活满足客户不同数据存储需求。
1.8K21编辑于 2022-11-25 - 来自专栏CSDN搜“看，未来”
k8s 存储卷之简单存储
k8s 存储卷之简单存储 导读 容器的生命周期可能很短，会被频繁的创建和销毁。那么容器在销毁的时候，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。 kubernetes的Volume支持多种类型，比较常见的有下面的几个： ○ 简单存储：EmptyDir、HostPath、NFS。 ○ 高级存储：PV、PVC。 NFS是一个网络文件存储系统，可以搭建一台NFS服务器，然后将Pod中的存储直接连接到NFS系统上，这样的话，无论Pod在节点上怎么转移，只要Node跟NFS的对接没问题，数据就可以成功访问。 ]# systemctl restart nfs 2、在每个node节点上都安装下nfs，这样的目的是为了node节点可以驱动nfs设备 # 在node上安装nfs服务，注意不需要启动 [root@k8s-master01 ~]# kubectl create -f volume-nfs.yaml pod/volume-nfs created # 查看pod [root@k8s-master01 ~]# kubectl
1K10编辑于 2022-08-11 - 来自专栏深度学习与python
贝壳找房: 为 AI 平台打造混合多云的存储加速底座
目前 JuiceFS 作为存储底座服务于整个机器学习平台，不仅提高了对混合多云架构的适应性，还大幅提升了数据处理效率。 03 基于 JuiceFS 的存储底座设计 元数据引擎架构设计 JuiceFS 采用的是元数据和数据分离的架构。对于元数据引擎的选型，我们考虑了三个方案。 以 k8s 集群为例，我们可以在每个节点上部署 kos-cache，以确保对象存储的数据能够分散在多个缓存节点中，从而在当前机房实现最快的访问速度。 目前，我们支持三种接入方式： 第一种是网关形式，通过配置域名对外提供服务； 第二种是 side-car 方式，特别适用于 k8s 环境，通过向容器注入代理服务，使得访问 S3 存储如同访问本地存储一般便捷 发布颠覆性个人智能系统Apple Intelligence，并彻底改革Siri AI “奸商”的崛起
67210编辑于 2024-06-17 - 来自专栏summerking的专栏
k8s存储节点和POD存储数据
# 容器的存储卷 Pod是自己有生命周期的 Pod消失后数据也会消失 所以我们要把数据放在一个容器的外面 docker存储卷在k8s上只有一定的存储性，因为k8s是调度的，Pod挂掉之后再启动不会默认之前的数据位置 脱离节点的存储设备才可以解决持久能力 在K8s上Pod删除，存储卷也会随之而删除的，这一点区分docker # 存储卷挂载方式大致分为三类 容器内存储卷挂载 宿主机存储卷挂载 分布式文件存储卷挂载
57350编辑于 2022-09-19 - 来自专栏SRE云原生实践之路
k8s之存储篇---存储卷PersistentVolume
为了更好的管理存储，Kubernetes 引入了 PersistentVolume 和 PersistentVolumeClaim 两个概念，将存储管理抽象成如何提供存储以及如何使用存储两个关注点。 PersistentVolume（PV 存储卷）是集群中的一块存储空间，由集群管理员管理、或者由 Storage Class（存储类）自动管理。 PersistentVolume（存储卷）描述了如何提供存储的细节信息（NFS、cephfs等存储的具体参数）。 PersistentVolumeClaim（PVC 存储卷声明）代表用户使用存储的请求。Pod 容器组消耗 node 计算资源，PVC 存储卷声明消耗 PersistentVolume 存储资源。 为了解决这个问题，Kubernetes 引入了 StorageClass（存储类）的概念 存储卷和存储卷声明的关系 存储卷和存储卷声明的关系如下图所示： PersistentVolume 是集群中的存储资源
64010编辑于 2024-09-06 - 来自专栏国产自主可控存储
8TBLRMs存储模块
LRMs存储模块.jpg 该存储模块容量为8TB，适用于军用飞机，符合军用飞机可靠性设计准则，采用领存自主可控主控芯片SSD，通过SAS接口对外提供块级文件存、取服务，具备异常掉电数据保护功能以及物理自毁和逻辑自毁功能 ；整个存储模块采用宽温设计，以及超强LDPC+BCH混合纠错算法，大幅提升产品可靠性，并使产品寿命比市场同类介质产品增加3倍以上，对外提供8路读写400MB/路传输性能，整盘顺序写入速率高于3000MB 本模块为定制ASSAC结构标准模块，背板电气接口采用158厂LRM数模混装盲插连接器实现物理互联； 6对电源接口；8路数据接口；4路销毁接口； 233.4mm*160mm*24mm 尺寸3U，170.6 *100*20.83mm 容量最大8TB 工作温度：-40°C~85°C 支持TRIM及NO-TRIM，在没有TRIM支持的条件下，仍可以保证性能与TRIM一直； 加密：AES128/256bit; 内置钽电容 ，支持异常掉电数据保护； 纠错能力：80bit@512Byte; 单模块功耗30W； 物理销毁功耗70W； 具备短路保护功能； 直流+28V供电，为两线制，28V及其回线 该模块为领存技术在国产军工存储模块的又一先进力作
76300发布于 2018-07-05 - 来自专栏图灵人工智能
对比欧盟，中国的《人工智能法案》应有什么底座？
作者：吴怀宇 2023年6月14日，欧洲议会全体会议表决通过了《人工智能法案》授权草案，标志着该法案将进入欧盟立法严格监管人工智能技术应用的最终谈判阶段。 该法案的建议是通过引进监管沙盒机制来实现，即：在人工智能系统入市或投入使用前，对人工智能系统进行开发、测试和验证以降低风险。 为了给人工智能立法，国外学术界先后出现了蒙特利尔宣言、多伦多宣言等多个人工智能宣言，欧盟《人工智能法案》正是在这些宣言的基础上发展而来。而因为国情的差异，中国当然不可能“在别家的地基上盖自家的房子”。 在这轮全球人工智能治理的热潮中，中国（包括北京等城市）应该加紧颁布具有自身文化属性和特色的《人工智能法案》，但请一定不要忘记，“理性、开放、和谐、人文”才应该是这部“以人为本”的法案最坚实的底座，这才是体现人类文明面对强机器智能的挑战仍然可以长盛不衰的根本力量所在 在人工智能学术圈和产业界有20多年的资深从业经历，曾获“科学中国人年度人物”称号、中国发明创业成果奖（一等奖，中国发明协会颁发）、吴文俊人工智能科技进步奖（中国智能科学技术最高奖，中国人工智能学会颁发）
51620编辑于 2023-10-24 - 来自专栏云计算行业
智能分层存储,自动优化您的存储成本
但如果选择智能分层存储，就无需关注数据访问热度，由对象存储服务来监测数据访问频率，即可将数据智能地在冷热访问层之间转换，且无需数据取回费用，在不损害户访问体验的同时，有效降低存储成本。 智能分层存储优势 无需关注数据访问模式，智能转换存储层 只需为数据指定对象存储类型，即可应用智能分层存储特性。 低频数据无需取回，秒变高频数据 智能分层存储是文件对象级别的存储类型，COS会智能监控每一个处于该存储类型的对象，当检测到某对象的访问热度降低时，会自动将数据转换至低频存储，如果该对象若干时间后重新被人访问 数据自动沉降，存储成本更优 通过监测数据访问频率，自动化管理数据访问层，智能分层存储类型还参与对象存储生命周期流程，用户可以按需将智能分层存储沉降到归档存储中，进一步降低数据在云端的存储成本。 同城容灾MAZ架构已同步智能分层存储类型，数据设计可靠性可达12个9，业务设计可用性可达99.995%。 通过数据冷热分层存储，智能分层能够帮助用户在存储成本和读写性能之间寻找平衡点。
73420编辑于 2023-05-29 - 来自专栏IT创事记
智能时代，高端存储何去何从？
在系列连载《智能时代下的高端存储》首期文章里，回顾了高端存储自诞生以来风起云涌的三十年里脱颖而出的各大厂商的发展。 而在日新月异的当下，涌出了很多质疑声：智能时代，是否还有高端存储的概念？对这个问题，高端存储有自己的“追求”和“坚持”。 关于“智能时代，是否还有高端存储的概念”这一疑问，从不同角度出发得到的答案不尽相同。究其原因则主要在于随着5G、云计算、人工智能和第四次工业革命的深入发展，产业环境和IT技术均已今非昔比。 新时代赋予了高端存储新的定义和使命，智能时代下的高端存储已然与过去的概念不尽相同。 那么，当今高端存储的“变”与“不变”是如何体现的？ 8.测试过、认证过的配置 更高的可信度来自高端存储在各行各业各种部署环境、各应用下的规模应用和反复验证。 9.售价25万美金或更多 在“贵”这一点上同IDC的定义相似。
96120编辑于 2022-08-30 - 来自专栏thinkphp+vue
云原生存储详解：容器存储与 K8s 存储卷
相关文章推荐： 云原生存储详解：云原生应用的基石 云原生存储详解：容器存储与 K8s 存储卷 云原生存储的两个关键领域：Docker 存储卷、K8s 存储卷； Docker 存储卷：容器服务在单节点的存储组织形式 ，关注数据存储、容器运行时的相关技术； K8s 存储卷：关注容器集群的存储编排，从应用使用存储的角度关注存储服务。 K8s 是一个容器编排系统，其关注的是容器应用在整个集群的管理和部署形式，所以在考虑 K8s 应用存储的时候就需要从集群角度考虑。K8s 存储卷定义了在 K8s 系统中应用与存储的关联关系。 存储卷是一个集群级别的概念，其对象作用范围是整个 K8s 集群，而不是而一个节点； K8s 存储卷包含一些对象（PVC、PV、SC），这些对象和应用负载（Pod）是独立，通过编排模板进行关联； K8s K8s 为了实现上述复杂的存储卷编排能力，其实现架构也较为复杂，下节内容我们将为您介绍 K8s 的存储架构和实现流程。
2.4K41发布于 2021-05-18 - 来自专栏Apache Doris
Apache Doris 4.1：面向 AI & Search 的统一数据存储与检索底座
AI 时代，数据库已成为智能 Agent、RAG 系统、大模型应用和 AI 可观测平台 的基础设施。它不仅要能存结构化数据，更要能承载长上下文、向量、全文、Trace、事件流等新型数据。 A1%E5%BC%8F 关键字：稀疏分片 6. 聚合扩展优化：先缩数据，再做多维聚合 通过智能识别最细粒度聚合组及其聚合率，在满足条件时，将执行方式从“多组并行聚合”调整为：先完成最细粒度聚合，大幅缩减数据规模，再基于结果计算其他聚合组，从而显著降低计算延迟 对象存储成本优化：在高频导入场景下，通过节点级请求合并，减少对象存储请求次数及小文件数量，整体成本最高可降低 90%。 %E5%88%A0%E9%99%A4%E8%A1%A8 https://doris.apache.org/zh-CN/docs/4.x/lakehouse/catalogs/iceberg-catalog
62410编辑于 2026-04-24 - 来自专栏Python项目实战
云计算的下半场：资源是底座，智能才是灵魂
云计算的下半场：资源是底座，智能才是灵魂作者：Echo_Wish（一个一直在云里“搬砖”，却越搬越兴奋的老朋友）兄弟姐妹们，我们今天聊一个我憋了很久、也越来越确信的观点：云计算的上半场，是“资源的竞争” 存储能抗住百万IOPS吗？网络能否无损切片？K8s能否自愈并自动扩容？能否做到成本感知调度？这些当然很重要，但你会发现——现在几乎所有主流云，都能把资源做到水准之上。资源时代最大的痛点是什么呢？ 你看看现在多少企业有这些烦恼：买了一堆云资源，不会调优K8s集群动不动就炸成本总是下降不了自动化没做透，团队还是得靠人抗数据分散在不同云、不同数据库里想做AI，却发现数据和算力都用不起来这些问题靠“资源 4.智能数据：从“存数据”到“理解数据”以前：数据库数据湖对象存储数仓这些都是“存东西”。 （未来）│├──────────────────┤├────────────────────────────┤│买服务器││提供智能决策与自动化││买对象存储││业务预测、自动调优、自动治理││买数据库实例
27810编辑于 2025-11-24 - 来自专栏星融元
边缘计算新底座：基于VPP+DPDK的开放智能网关
开放网络硬件平台：释放 VPP + DPDK 潜能厂商利用 VPP + DPDK 技术，在基于通用处理器（如 Marvell ARM, Intel x86）的开放硬件平台上，打造出极具竞争力的网络产品：智能网关平台基于 Marvell OCTEON 10 ARM Neoverse N2 (8核) 紧凑型设备。 智能网卡 基于高性能 DPU 芯片，提供 PCIe Gen3.0/4.0 接口，支持 100Gbps 多功能业务处理 (网络/计算/存储卸载)。显著释放服务器主 CPU 资源。
1.1K10编辑于 2025-07-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号