首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 腾讯CFS Turbo:人工智能时代关键数据枢纽技术概要

    一、产品定位与核心亮点 技术定义 腾讯CFS Turbo是一款面向人工智能时代的关键数据枢纽,通过融合极速缓存、智能元数据检索与多源存储统管技术,旨在解决AI场景下训练/推理性能不足、百PB级数据成本高 三、应用框架和功能介绍 功能框架 CFS Turbo采用分层架构,核心模块包括: 极速本地缓存模块:含Turbo内核态并行客户端、Turbo极速本地缓存池(NVMe盘),对接GPU服务器/HCC集群及业务应用 智能多源存储管理能力:多云数据统一管理、全局统一命名空间,加速IDC与多云数据流动(数据来源:原文); 架构兼容性:支持S3、POSIX协议,对接并行文件存储、对象存储(数据来源:原文); 内核态优化:采用Turbo 总结 腾讯CFS Turbo作为人工智能时代关键数据枢纽,通过极速缓存、智能元数据检索、智能生命周期管理及多源存储统管四大核心能力,以2TiB/s读写吞吐、60us低延迟、1000w文件/秒检索、80%

    5210编辑于 2026-04-25
  • 腾讯 CFS Turbo:AI 时代的高性能文件存储解决方案

    一、 产品定位与核心亮点 腾讯 CFS Turbo 是一款面向人工智能(AI)及高性能计算(HPC)场景的并行文件存储服务。 三、 应用框架和功能介绍 功能框架 CFS Turbo 的架构由 Turbo 内核态并行客户端、极速本地缓存池和中心的 AI 存储平台构成。 客户端通过缓存池访问本地 NVMe 硬盘获得极致性能,同时所有数据在后台由 CFS Turbo AI 存储平台进行统一管理,形成 全局统一命名空间。 硬核指标 单客户端性能:延迟 ≤60μs,IOPS 达 300万,吞吐 50GB/s(据腾讯官方材料)。 聚合读写吞吐:2 TiB/s(据腾讯官方材料)。 元数据检索性能:1秒内可完成 1000万 文件检索(据腾讯官方材料)。 数据协议支持:支持 POSIX 标准接口及 S3 对象协议,实现与对象存储互通。

    8110编辑于 2026-04-25
  • 腾讯 CFS Turbo 核心技术架构与性能指标概要

    数据来源:腾讯 CFS Turbo 产品介绍材料 一、 产品定位与核心亮点 产品定位:腾讯 CFS Turbo 是一款专为人工智能时代设计的关键数据枢纽存储平台。 二、产品应用场景 CFS Turbo 主要面向 AI 时代的算力集群与大规模数据处理场景。 核心痛点与适用场景: AI 训练/推理场景:解决算力集群(如 GPU 服务器 / HCC 集群)对存储底层产生的极高 IOPS 与超低延迟要求,打破“算力等数据”的性能瓶颈。 功能框架 CFS Turbo AI 存储平台基于全局统一命名空间构建,其核心架构自下而上包含以下模块: 极速本地缓存池:位于靠近计算侧(GPU/HCC集群),通过 Turbo 内核态并行客户端直接调度底层

    8810编辑于 2026-04-25
  • 来自专栏腾讯云容器专家服务的专栏

    腾讯容器服务CFS CSI插件升级参考

    1 背景说明TKE容器服务,提供了多种CSI扩展插件,无缝集成CFS、COS、CBS等腾讯存储产品。 随着产品迭代升级,插件功能会逐步优化、隐藏的Bug也会及时收敛,这里简单描述下CFS CSI插件的升级步骤。其他容器服务CSI插件升级操作类似,仅供参考。 2 升级步骤(1)登陆腾讯控制台-》容器服务: https://console.cloud.tencent.com/tke2 ,选择所在地域,对应集群:图片(2)进入组件管理,升级CFS-CSI 插件 (建议到最新版本):图片3 确认结果点击升级按钮,当前时间段,可用最新版本为1.0.8,执行升级,然后前端确认:图片CFS 插件已经升级到最新版本。

    1.9K60编辑于 2023-02-28
  • 来自专栏404

    解决腾讯Serverless构建应用报错CFS

    是因为SCF_QcsRole预设策略默认没有QcloudCFSFullAccess的权限,关联即可。

    3K20编辑于 2022-04-25
  • 来自专栏云上修行

    腾讯函数挂载CFS文件系统的实践

    背景在函数开发的过程中,我们难免碰到需要访问本地文件的需求(例如:为了通过ip地址获得城市名称,函数需要检索近一百MB的ip地址库文件),由于函数无状态的特性,自身并不与特定服务器和本地硬盘关联, 这时,挂载CFS文件系统是一个较佳的选择。下面以Node.js 12.16的函数环境描述如何使用serverless.yml来配置CFS文件系统。 文件系统实例 id mountInsId: cfs-xxxxxxxx # 文件系统挂载点 id localMountDir: /mnt/ # 本地挂载点,函数目录 remoteMountDir 中图片图片'use strict';const COS = require('cos-nodejs-sdk-v5')const APPID = '130*******' // 请替换为您使用的腾讯APPIDconst 在函数 SCF上使用 CFS: https://cloud.tencent.com/document/product/582/47148函数tencent-multi-scf配置: https://

    2.2K00编辑于 2023-03-28
  • 来自专栏电子科技大学

    腾讯TDP-腾讯云云服务器CVM和腾讯文件存储CFS功能展示

    标题:腾讯TDP-腾讯云云服务器CVM和腾讯文件存储CFS功能展示 发布时间:2021年12月14日 简介: 通过使用CVM和CFS之间的配合 可以统一管理海量文件 同时依赖CFS的弹性性能特性 可以最高在腾讯内网体验到 10Gbps的文件传输带宽 标签:服务器CVM;文件存储CFS;命令行工具TCCLI ! image.png 5 再说两句 5.1 腾讯TDP介绍 腾云先锋(TDP,Tencent Cloud Developer Pioneer)是腾讯GTS官方组建并运营的技术开发者群体。 、大佬签名证书、更有机会参与腾讯线下沙龙、发布会交流等等 我们期待这样的您: 使用过腾讯或其他产品及服务,对服务有一定的了解; 问题或体验类需求敏感性高; 喜欢分享和讨论; 认同腾讯企业价值观 (创造、协作、进取、正直),愿意与腾讯一起成长。

    12.5K90编辑于 2021-12-14
  • 来自专栏开源部署

    腾讯服务器挂载CFS 文件系统

    CFS 是可扩展的共享文件存储服务,可通过内网方式将CFS挂载到腾讯服务器(CVM)中,目前可享受免费10G的存储,用来做网站备份还是可以的。 开通CFS 登录腾讯后台 - 基础产品 - 文件存储进行创建,或者直接访问https://console.cloud.tencent.com/cfs 新建一个文件系统,地域/可用区请选择和您腾讯服务器所在区域 CentOS 7挂载CFS #安装nfs客户端 sudo yum -y install nfs-utils #创建挂载目录 mkdir -p /home/backup #挂载CFS sudo mount 总结 CFS目前处于测试阶段,如果你已经购买了腾讯服务器可挂载CFS用来备份网站等数据,但是不建议将重要文件存放在COS中,以免出现风险。 之前还分享过《使用COS-Fuse工具将COS挂载到腾讯服务器》有兴趣的可参考。

    10.5K20编辑于 2022-08-13
  • 来自专栏云计算行业

    腾讯 CFS 文件存储给函数 SCF 带来的业务新场景

    关注腾讯大学,了解行业最新技术动态 戳【阅读原文】观看完整课程回顾 讲 师 介 绍  腾讯高级产品经理,曾经历过企业级存储、企业级容器平台等产品的架构与开发,对容器、微服务、无服务器、DevOps 腾讯高级产品经理,先后负责过对象存储、存储网关等多款存储产品,在存储领域有着丰富的经验。 文件存储 CFS + 函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展函数可以支持的使用场景。 文件存储 CFS函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有函数所实现的一些场景,也可以带来很多新的场景。 通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题

    1.9K30编辑于 2023-05-29
  • 来自专栏腾讯云存储

    腾讯升级多个存储解决方案 以智能化存储助力企业增长

    CFS Turbo 等多产品全新升级,能够为企业在 AI 时代提供更安全、高效的数据基础服务。 腾讯存储高级产品经理李沐霖进一步介绍了“腾讯数据万象”平台的最新进展。 腾讯存储高级产品经理杨飞介绍了腾讯高性能并行文件存储 CFS Turbo 的最新能力。 CFS Turbo 主要用于解决千亿级训练样本的并发读取、TB 级 Checkpoint 读写和十万核级的影视渲染的数据访问难题。 元石科技通过和腾讯存储的合作,采用了 COS 融合桶加速、GooseFS 和 CFS Turbo 高性能文件缓存加速、以及数据万象的处理和审核能力,让元石的自研大模型业务更高效、更快捷,也让基于其自研

    83810编辑于 2024-09-11
  • 来自专栏CSIG质量部压测团队

    腾讯TKE上购买集群文件共享存储CFS教程

    导语 在TCPS压测平台中,购买集群文件共享存储CFS,用于持久存储脚本、数据文件,购买CFS后需要获取CFS的ip地址,后续会用到。 购买CFS具体步骤 1. 在文件系统页面点击“创建”。 填写文件系统名称,选择CFS相应的地域和网络。点击下一步。 [qira8chqec.png] 4. 点击“立即购买”。 [x6pn2a222p.png] 5. 等待CFS创建状态为“可使用”,ip 那列就是 CFS 地址。 [n6r6tmctx9.png] 6. 若不需要使用CFS,则可以点击“删除”。注意,此时存储在CFS上的脚本、数据文件将会丢失。

    7.2K10编辑于 2022-04-07
  • 来自专栏腾讯云存储

    腾讯 AI 存储解决方案持续升级,为 AI 全业务场景提供全面支持

    其中,GooseFS 2.0为 AI 场景深度优化,提供 GBps 单链接性能,数据访问性能逼近硬件资源极限;文件存储 CFS Turbo 打通多云数据形成端到端的解决方案,提升 AI 场景运转效率;数据万象 CFS Turbo , 面向 AI 搭建全平台、全场景、平台级存储解决方案 为了更好支持 AI 场景(如大模型训练、自动驾驶)中,文件量级尤其是小文件总量快速攀升、数据源跨多云分布的特点,腾讯 CFS 在多云环境中,CFS Turbo 能够实现全局统一命名空间,让无状态的计算实例在多云环境中弹性扩缩;提供数据接管的能力,无缝接管多源存储,并支持增量同步。 此外,CFS Turbo 提供的数据分层管理能力,可以在业务无感情况下降本60%,千万级元数据检索能力效率提升100倍。 大模型能力加持,多款产品升级成存储"智能工坊" 除了基础存储能力的升级外,腾讯存储生态深度融合大模型技术,探索智能化升级,助力企业将海量数据转化为可交互的智能资产。

    57210编辑于 2025-04-04
  • 来自专栏云+直播

    腾讯 CFS 文件存储给函数 SCF 带来的业务新场景

    通过与函数产品的对接,CFS 可以提供按需扩展的存储空间,并按实际的使用容量来付费,符合 Serverless架构的特性。 文件存储 CFS + 函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展函数可以支持的使用场景。 文件存储 CFS函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有函数所实现的一些场景,也可以带来很多新的场景。 image.png 在使用函数进行对象存储文件上传触发的音视频转码场景中,CFS 的引入一样可以扩展音视频转码可以处理的文件大小。 通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题

    3.1K53发布于 2020-10-16
  • 企业上存储服务选型与规划:基于腾讯产品的全面指南

    腾讯CFS Turbo专为高性能计算设计,提供亚毫秒级延迟和TB级吞吐,适用于千亿级训练样本的并发读取场景。对于AI训练等数据密集型场景,GooseFS通过多级缓存可将数据加载性能提升6倍。 文件存储(CFS/CFS Turbo):共享访问与高性能计算的选择腾讯文件存储服务包括标准CFS和高性能CFS Turbo两个层级。 腾讯各存储产品都提供了明确的性能指标,如CBS的IOPS、吞吐量和延迟,CFS Turbo的亚毫秒级延迟和TB级吞吐。企业应在选型前进行概念验证(PoC),模拟真实工作负载测试性能表现。 GooseFS+CFS Turbo组合,加速数据处理流水线。 表:行业解决方案关键要点行业核心需求腾讯解决方案效益提升金融强一致性、低延迟极速SSD CBS+TDSQL+深度归档交易延迟微秒级,归档成本降69%医疗影像高速访问、长期归档CFS Turbo+COS

    96310编辑于 2025-06-28
  • 这届存储,为大模型而生!

    今天,更适合大模型的存储,来了!腾讯的最新存储解决方案,主打三个关键点://更全面:覆盖大模型数据采集与清洗、模型训练、模型推理和内容治理等全流程的数据处理。 - 模型训练环节:腾讯高性能并行文件存储CFS Turbo,拥有四大核心技术,让GPU不会闲下来——1、并行客户端:支持一个客户端同时和多个服务端通过N条链路传输,提升访问速率(好比仓库开了多扇门,客户自己从仓库取货 在这些技术的支撑下,腾讯CFS Turbo能提供业界第一的TiB/s级别总读写吞吐和百万OPS的每秒元数据性能,解决训练文件读写瓶颈。 腾讯高性能并行文件存储CFS Turbo基于国内首个自研原生并行文件存储引擎Histor,通过自研用户态协议栈和RDMA等技术以及自研并行文件传输协议,降低存储时延、提升吞吐性能,并支持多链路并行访问 此前,腾讯已经推出了大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路服务。大模型将开创下一代服务,我们也将继续为大模型加速落地,铺好路,架好桥。

    64410编辑于 2024-04-08
  • 来自专栏Tencent Serverless 官方专栏

    回顾|腾讯 CFS 文件存储给 Serverless 函数带来的业务新场景

    文件存储 CFS函数提供按需扩展的存储空间 ? 文件存储 CFS + 函数 SCF 的优势 通过 CFS 提供的共享文件存储服务,可以为函数解决在实际使用过程中碰到的存储方面的问题,并进一步扩展函数可以支持的使用场景。 文件存储 CFS函数带来的业务新场景 通过 CFS 文件存储产品获得的优势,可以改善和扩展现有函数所实现的一些场景,也可以带来很多新的场景。 ? 通过对接 CFS 文件存储与 SCF 函数,为函数带来了很多的扩展使用场景,除了上面提到的 3 种之外,还有很多方面可以去尝试,使用 CFS 来解决 Serverless 应用开发过程中碰到的存储问题 (Tencent Serverless Hours 第七期): https://cloud.tencent.com/edu/learning/live-2952 One More Thing 立即体验腾讯

    2.2K74发布于 2020-09-01
  • 腾讯AI互联网行业解决方案:量化效能提升与场景化应用实践

    Turbo/COS存储。 多场景量化应用效果与客户价值 游戏NPC:动态交互重塑沉浸感 巨人网络《太空杀》:接入腾讯混元Turbo S大模型,2亿注册玩家与超700万智能NPC在线竞技,上线首月AI参与近90万场对局,生成超700 通用效率提升:创作与工具双优化 Holopix AI美术创作:接入DeepSeek优化“文生图-提示词”“图生图-智能推词”,工作效率提升60%-70%,腾讯CFS Turbo+TKE推理集群保障生图效率 (来源:腾讯X Holopix AI美术创作案例)。 +; 基础设施韧性:星星海服务器+星脉网络(3.2T带宽)+TACO Kit(显存分配优化),GPU卡使用率提升60%+,CFS Turbo保障高吞吐存储; 全链路服务:从模型精调(TI平台)、

    29520编辑于 2026-04-12
  • 来自专栏TKE学习

    TKE跨联网挂载CFS

    目前TKE使用PVC和PV创建CFS,只能选择当前VPC下的CFS实例。 有时用户有诉求,想挂载其他VPC下的CFS实例可以参考如下:apiVersion: v1kind: PersistentVolumemetadata: name: pv-ccnspec: accessModes : - ReadWriteMany capacity: storage: 10Gi csi: driver: com.tencent.cloud.csi.cfs volumeAttributes : host: 10.2.2.66 path: / volumeHandle: cfs-pv2 persistentVolumeReclaimPolicy: Retain

    89110编辑于 2022-07-17
  • 腾讯存储,第一!

    刚刚,沙利文联合头豹研究院发布《2023年中国存储解决方案市场报告》腾讯存储入选“领导者”阵营位列第一鹅厂的存储之路,始于19年前的QQ空间。 技术积累多年,这是腾讯存储的答卷:-COS对象存储,底层采用腾讯自研的百EB级存储引擎YottaStore。 百川智能,借助高性能分布式缓存GooseFS与高性能并行文件存储CFS Turbo,提供千万级IOPS和百GiB/s吞吐,1分钟内完成checkpoint读写,大幅提升大模型训练GPU使用率和作业效率。 在作业高峰期,CFS Turbo支持上千节点高并发读写,CBS支持弹性创建数十倍规模主机,为项目加速提效。 让大家存得安心、省心,腾讯继续努力。

    2.4K10编辑于 2024-01-12
  • 来自专栏腾讯云原生团队

    容器产品2月报|TKE 多项新特性等你体验

    【新特性】上线 CFS-Turbo CSI 存储插件,支持动态创建并挂载 Turbo 类型的文件存储到业务负载,适用于AI 推理、大数据分析等大容量、高吞吐类业务,性能相较于通用 CFS 提升两个数量级 分布式 TDCC 【新特性】上线 TKE Anywhere 集群类型,支持通过上控制台一键在用户 IDC 创建、管理和升级 Kuberenetes 集群,上远程巡检集群故障并告警通知,降低本地集群部署升级和运维成本 读文章,赢好礼 活动规则 玩法 1:关注【腾讯原生】公众号,转发本文或以下任意推文到朋友圈并截图发送至公众号后台,我们将在 3月10日抽取 5名 读者送出腾讯视频月卡 互动奖品:腾讯视频月卡(共5份 将原生进行到底:腾讯百万级别容器平台实践揭秘 TKE 注册节点,IDC 轻量原生上的最佳路径 TKE 超级节点,Serverless 落地的最佳形态 节点运维新范式,原生节点助力企业全链路降本 玩法 2:关注【腾讯原生】公众号,点赞此篇推文并留言对容器产品的问题或建议,后台将在 3月10日抽取 5名 读者送出 QQ音乐月卡 互动奖品:QQ音乐月卡(共5份) 如需咨询购买产品 欢迎公众号后台留言产品名称

    65240编辑于 2023-03-30
领券