首页
学习
活动
专区
圈层
工具
发布

腾讯云弹性块存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性块存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理...如何实现云硬盘(弹性块存储)系统?...其实最开始CBS是将这3个分布式存储系统拼凑在一起,并在前端封装一个iSCSI的块存储服务,这就是CBS1.0。...首先,CBS2.0前端是一个接入集群: Client,即客户端,让服务器呈现一块硬盘;Proxy,即块设备的后台接入层,前端的云硬盘通过它才能将数据放到云端;Client和Proxy专业名次叫iSCSI...当然ceph也有很多值得我们借鉴的东西:例如CBS是块存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计的,同时支持块存储、文件存储和对象存储;CBS的是镜像多副本存储,但是ceph

16.6K32

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。

53.1K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    腾讯云双11活动COS标准存储产品深度评测

    引言每年的双11购物节,已经成为# 腾讯云双11活动COS标准存储产品优惠与产品介绍特性引言每年的双11购物节,作为中国最大的购物狂欢节,吸引了无数消费者的目光。...本文将详细介绍腾讯云COS标准存储的产品特性、使用场景、优惠活动以及如何在双11期间最大化利用这些优惠。...三、双11活动优惠3.1 活动时间腾讯云双11活动通常在每年的11月11日进行,活动时间一般持续数天,具体时间以腾讯云官网公告为准。...希望本文能够帮助你更好地了解腾讯云COS标准存储产品及其在双11活动中的优惠信息,助力你的云计算之旅。...Q5: 双11活动的优惠如何获取?用户可以在活动期间登录腾讯云控制台,选择COS标准存储产品,按照提示完成购买,即可享受相应的优惠。

    38.9K10

    YOLO11多个点组合创新:GC10-DET缺陷检测 | DCNv4结合SPPF+DCNv4结合11Detect+双注意力块(DAB)​​​​​​​创新性结合

    本文独家改进:1)DCNv4优势:(1) 去除空间聚合中的softmax归一化,以增强其动态性和表达能力;(2) 优化存储器访问以最小化冗余操作以加速。...2)这个双注意力块串联了两个模块:通道-空间注意力和并行注意力。我们提出了一种新的并行注意力架构,通过并行连接三种不同的注意力机制(全局通道注意力、局部通道注意力和空间注意力)。...如何跟YOLO11结合:1)和11Detect创新性结合;2) DCNv4结合SPPF;1)C3k2结合双注意力块(DAB);涨点情况:GC10-DET缺陷检测,11Detect创新性结合,原始mAP50...原始mAP50为0.633 提升至0.651 涨点情况:DCNv4结合SPPF+DCNv4结合11Detect+双注意力块(DAB)创新性结合,原始mAP50为0.633 提升至0.660改进结构图如下...如何跟YOLO11结合:1)和11Detect创新性结合改进结构图如下:3.2 双注意力块(DAB)原理 DAB由两个模块串联而成:通道-空间注意力模块(CSAM)和并行注意力模块(PAM),如图2所示

    1.4K10

    腾讯云TDSQL-C:基于存算分离突破性能瓶颈与降低运维成本

    存储层级的三副本强一致性: 摒弃传统需 Slave 计算节点参与的一致性确认,将强同步模式下沉至数据块级别的存储层。写入路径缩短,在保障高数据安全的同时,免去了额外的计算节点冗余成本。...HTAP 双引擎与并行计算: 结合 OLTP 与 OLAP 双执行器,并引入列存索引(Column Store),充分利用多核心硬件优势摆脱单线程瓶颈。...量化业务指标:实现秒级弹性与成本大幅下降 基于存算分离与全新存储机制,TDSQL-C 在性能、弹性、成本及灾备四个维度实现了量化突破: 极致高并发读写性能: 典型场景下写入性能提升 90% 以上,可提供高达...采用数据块并行拷贝技术,实现 1GB/s 的极速回档速率,较传统逻辑/物理方式提升数倍。...高度适配复杂商业场景: 电商/SaaS: 轻松应对“双11”等不可预估的 10 倍销量暴增或批量租户并发,实现百个事务能力秒级扩展到百万级。

    41600

    【云顾问-混沌】腾讯云的云上容灾实践

    在2023年11月12日,刚经过双11的购物节大压力的阿里,却从17:44起发生了服务宕机,旗下的淘宝、闲鱼、饿了么等服务出现服务中断,甚至让高校学生宿舍的洗衣机都“宕机”了。...https://status.aliyun.com/#/historyEvent 开始时间 (GMT+8) : 2023-11-12 17:44 结束时间 (GMT+8) : 2023-11-12 21...:11 受影响产品 : 企业级分布式应用服务、消息队列 MQ、微服务引擎、链路追踪、应用高可用服务、应用实时监控服务、Prometheus监控服务、消息服务、消息队列Kafka版、机器学习、图像搜索、智能推荐...、文件存储NAS、表格存储、日志服务、云存储网关、文件存储 HDFS 版、块存储、混合云备份服务、密钥管理服务、云防火墙、数据库审计、加密服务、运维安全中心(堡垒机)、容器镜像服务、容器服务Kubernetes...IP、共享带宽、转发路由器、私网连接、高速通道、IPv6 网关、专有网络VPC、云企业网、VPN网关、FPGA 云服务器、超级计算集群、批量计算、无影云桌面、弹性伸缩、弹性容器实例、弹性裸金属服务器、云服务器

    6.9K71

    企业IT决策者必看:算力服务器主流型号盘点及选型避坑建议

    高密度存储型服务器以海量数据存储和高效调度为核心。...超聚变5885H V7在4U机箱内支持24块3.5英寸加24块2.5英寸硬盘混插,另配8块NVMe SSD用于元数据加速,适用于PB级视频媒资库、医疗影像归档等高IOPS、高容量场景。...推荐配置通常为8卡高端GPU集群(如H系列80GB或141GB显存算力卡)、双路高核心CPU、1TB至2TB内存、NVMe数据盘以及100G/200G高速网络。...四川大学华西医院通过联想ThinkSystem服务器构建了覆盖算力资源、数据存储、容灾备份的一体化智慧医疗数字底座,为医学影像AI、临床辅助决策等应用提供了高可靠、可弹性扩展的底层支撑。...此类场景对服务器的稳定性和数据安全性要求极高,推荐配置为高可靠性企业级服务器配合大容量存储方案。场景五:工业仿真与数字孪生制造业正通过算力服务器实现工业仿真、数字孪生、预测性维护等应用。

    1.3K00

    腾讯云服务器(CVM)产品架构与商业价值基准报告

    一、 产品定位与核心亮点 腾讯云服务器(CVM)是一款基于 KVM 虚拟化平台构建的弹性计算服务产品。其核心技术属性在于采用“软硬协同”的底层架构,依托自研技术体系实现算力、网络与存储的解耦与加速。...行业权威地位:在 KVM 虚拟化平台技术上,连续 7 年上榜 KVM Forum,是贡献度最高的中国企业,累计贡献 11 项核心突破;同时是 AMD 中国区独家战略合作伙伴。...通过 VStation 调度系统,向下管理 Intel、AMD、ARM 异构算力,向上为容器、应用画像、智能推荐、资源预测等模块提供高性能、高可用、可扩展的自主可控计算资源。...垂直场景机型: 高 IO 型 ITA5 / 大数据型 DA4m:单实例最大挂载 24块 7.68TB NVMe盘 或 48块 12TB HDD盘。...ISO 体系认证:国内首批通过 ISO 22301、ISO 27017;国内首家同时获得 ISO 27001 (CNAS/UKAS双认可)、ISO 9001 (CNAS/ANAB双认可)、ISO 20000

    99110

    哪个向量数据库支持弹性伸缩?腾讯云VDB实现智能扩缩容,成本节省50%+

    VDB 自动弹性伸缩(分钟级) 85%-95% 电商推荐/实时风控 智能资源池+混合搜索 Milvus 手动集群扩容...图像检索/知识图谱 Kubernetes原生支持 Qdrant 分片动态调整 70%-80% 实时搜索/个性化推荐...通过独创的三层资源调度模型(集群层/节点层/分片层),实现: 动态分片迁移:根据负载自动调整分片分布,避免热点问题 混合负载调度:同时支持向量检索与标量查询的资源共享 冷热数据分离:自动将低频数据迁移至低成本存储...自动化运维体系 智能扩缩容策略:基于业务负载预测的预扩容机制 故障自愈能力:节点故障30秒内完成数据恢复 成本监控看板:实时展示资源使用率与成本优化建议 三、实测对比:腾讯云VDB vs 传统方案 在某电商平台的双11...目前正值双12大促期间(活动页:https://cloud.tencent.com/act/pro/double12-2025),新用户可享3.9折,助力企业轻松应对业务波动。

    52010

    腾讯云大数据 X Uniffle:重新定义Data+AI效能

    3 腾讯云解决方案: 基于Uniffle的EMR-RSS集群架构 腾讯云弹性MapReduce积极探索解决方案,基于社区Uniffle理念深度自研推出EMR-RSS集群架构,通过创新的"计算-存储分离"...● 端到端性能提升:腾讯内部推荐业务集成Uniffle后,Spark ML训练任务耗时从22.6小时缩短至8小时,效率提升300%。...4.跨可用区级容灾 - 数据安全再定义 双可用区Shuffle Server,我们实现了: ● 数据双副本:每个Shuffle数据块在可用区间自动复制,杜绝单点故障。...4 架构优势:五大技术革新 1.存算分离架构:释放资源弹性 Uniffle将Shuffle数据从计算节点剥离,存储于独立的高性能存储集群(支持HDFS、云存储等),彻底解决本地磁盘I/O瓶颈。...6 应用实践 腾讯内部 视频号:解锁实时个性化推荐、边缘协同训练等前沿场景,助力构视频号差异化竞争力。

    1.2K10

    揭秘:2018阿里双11秒杀背后的技术

    在今天双 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下双11天量交易额背后的技术。 一、阿里双11秒杀场景 ?...二、阿里双11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在双11当天实现万亿级消息流转。 3....阿里人工智能 在搜索、推荐以及客服场景下的创新应用,包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销。 6. VR技术 虚拟购物环境背后的VR技术。 7....总之,双11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...除此以外还会涉及到分布式小文件存储以及搜索引擎,以及服务器集群监控等技术。

    5.9K30

    腾讯云解决方案+产品推荐

    摘要 本文针对云硬盘挂载失败问题,提供从排查到解决的完整指南,并重点推荐腾讯云云硬盘(CBS)的核心优势与最新活动。通过技术解析和产品对比,帮助用户快速定位问题并选择适合的存储方案。...通过备份跨可用区创建新云硬盘 挂载按钮灰色不可用 云硬盘已满配(单服务器最多挂载20块数据盘)或加入复制对 卸载其他云硬盘; 2....,99.9999999%数据可靠性 多数方案为双副本或单副本 性能弹性...: 原有瓶颈:单节点云硬盘容量达80%,IOPS频繁告警 解决方案: 新增2块2TB增强型SSD云硬盘(挂载至4台CVM) 通过LVM逻辑卷聚合,实现存储池化 效果:IOPS从12000...提升至85000,成本降低30% 结语 腾讯云云硬盘凭借高可靠、弹性扩展和易用性,已成为企业上云的首选存储方案。

    80610

    谁顶住双11的世界级流量洪峰?神龙架构负责人等9位大牛现场拆解阿里秘籍

    ---- 【新智元导读】今年双11,天猫成交额再次刷新世界纪录,阿里巴巴核心系统100%上云,撑住了双11的世界级流量洪峰。在这一流量战场上,阿里可谓是华山论剑的最大赢家。...在双11中,阿里使用了全自研的一整套平台,平台包括超过10万台规模服务器集群,10+数据中心、10EB级别存储、每天千万级别的大数据和AI计算作业。...据统计,去年2018年双十一的时候,这样的实时推荐给商家的智能决策,90%都会被商家采用。...,有效的支持了双11上云这个目标。”...网络、服务器、存储这些基础设施多年来发生了翻天覆地的变化,微服务,容器化,数据库等一系列的底层技术和框架的持续演进,带动了电商技术今天在搜索,个性化推荐,视频互动,消息等各个应用领域支撑和连接着数亿消费者

    13.3K10

    腾讯云Mall:企业级全渠道交易解决方案的技术实践与价值

    商品推荐:基于微信生态个性化推荐,支持“猜你喜欢”“相关性推荐”等场景,轻量级接入+自动校验(来源:“商品推荐-产品功能”)。...底层能力:深度集成40+云产品(含混元大模型、AI工具),支持私有化部署,弹性架构可支撑山姆/沃尔玛等头部客户618双11高峰场景,含稳定性组件(故障发现10S内多渠道触达)、资损防控(默认在线规则数超...性能与安全升级:某头部品牌运动商城重构后,峰值并发性能升级(新品发场景峰值>平时数十倍,尖货发货峰值>平时近百倍);安全性能升级(618活动周拦截恶意请求千万次>平时十数倍),云上私有化存储升级EMR/...鸣鸣很忙(湖南鸣鸣很忙商业连锁有限公司):构建双品牌线上线下一体化商城,解决会员体量大且多渠道无法统一运营、业务机制快速支持、门店线上管理成本高痛点(来源:“鸣鸣很忙”案例)。...安全与交付:数据天御全链路安全防护,私有化存储(EMR/VPC);已服务山姆、沃尔玛、头部运动品牌等KA客户,具备全链路(产品/技术/运营/合规)交付经验(来源:“安全保障”“Tencent Cloud

    82510

    基于「佑桥理论模型」构建企业网盘与知识库:存储与智能的双向闭环(架构实践)

    基于「佑桥理论模型」构建企业网盘与知识库:存储与智能的双向闭环(架构实践)面向读者:企业架构师、云平台工程师、IT负责人主题:用云原生思路把企业网盘与企业知识库统一编排,兼顾弹性、安全与智能化在企业数字化实践中...一、模型先行:用双环抽象统一认知佑桥理论模型以"佑桥"为中枢,内环定义四个能力支柱——企业、资料、工厂、大脑;外环定义四个技术载体——办公软件、数据存储、开源工具、大模型。...,部门/项目级配额与权限;弹性伸缩:上传/检索流量峰谷明显,无状态接入层可基于K8sHPA自动扩缩。...3.2关键能力分块上传/断点续传:大文件按块上传,ETag校验,失败块重试,避免整文件重传;增量同步:客户端按内容指纹对比,仅上传变化块,带宽降至全量5%–15%;细粒度权限:RBAC+ABAC组合策略...两者经佑桥双向调度,形成"存储—智能"闭环:正向:资料沉淀→入湖→向量化→可被问答;反向:问答沉淀的知识→自动打标/推荐归档→网盘内容更有序。

    16600

    Redis能完全替代MySQL吗?适用场景有哪些?一文讲透数据库选型逻辑

    摘要 本文从数据模型、性能表现、事务支持等维度对比Redis与MySQL的核心差异,结合电商秒杀、实时榜单等典型场景分析二者互补性,并推荐腾讯云数据库Redis的弹性扩展方案。...数据模型 键值对/哈希/有序集合 关系型表结构 Redis:会话存储...Redis的不可替代性 实时计算场景:直播弹幕的毫秒级推送依赖Redis的Pub/Sub机制 高并发写入:双11秒杀场景下,Redis单节点可支撑10万+/秒的库存扣减 内存级缓存:用户登录态的会话信息需高频读取...建议采用"MySQL存核心数据+Redis加速访问"的架构设计,通过腾讯云Redis的弹性扩展能力应对流量洪峰。...当前双12活动期间,新用户可享标准版256MB 78.8元/年,访问https://cloud.tencent.com/act/pro/double12-2025体验极致性能。

    97910

    双11最惊险一幕刚刚曝光

    雷刚 发自 凹非寺   量子位 报道 | 公众号 QbitAI 2020年11月11日晚,又一年天猫双11狂欢接近尾声。 新交易纪录、新流量峰值,一切都是十全十美的样子。...这次双11前的突袭攻击,就出现在范禹闲庭信步走出“光明顶”时——双11核心作战室内没人察觉异常。 有内部工程师把这种偷袭演练与马斯克SpaceX那次知名的“事故逃逸”演习类比。...被逼出来的阿里 阿里历史上很多业务改革,都与双11密切相关。 比如「异地多活」,起初就是因为双11很火,流量带来扩容需求。...举个栗子,在存储领域,阿里云凭借存储高可用等能力,持续三年入选Gartner全球云存储魔力象限,并且被列为全球领导者地位。 所以只有兼具软硬实力,才能最大程度地保障业务和数据稳定安全。...技术成长秘籍——好书推荐  1  《混沌工程:Netflix系统稳定性之道》 【美】Casey Rosenthal 等 著 侯杰 译 Netflix官方出品 保障系统稳定性、确保架构弹性可伸缩的新方法

    2.9K10

    存储扫盲:从端到端一致性到云盘,你必须知道的5个概念

    存储系统对很多人来说是“黑盒子”, 听说过 SSD、云盘,但一说起 LUN、逻辑卷或双控四控,可能就一头雾水。 今天,我们来做一次存储扫盲,把几个重要概念讲明白。...特点:按需付费、弹性扩容、可快照备份 使用场景:虚拟机磁盘、数据库存储、应用数据盘 unsetunset5️⃣ 双控 / 四控unsetunset 这是企业级存储的高可用设计。...双控(2 controllers):存储设备有两台控制器,主控+备控。主控挂掉,备控接管,保证业务不中断。 四控(4 controllers):进一步提高可靠性,常用于大容量、高性能存储。...举例: 在一个双控 SAN 中,如果主控制器发生故障,存储系统可以自动切换到备用控制器,应用无感知继续访问存储。...2TB 卷 云盘 云上可扩展块存储 AWS EBS、阿里云 ESSD 双控 / 四控 高可用控制器架构 主控挂掉备控接管 SCSI 协议 服务器与存储对话规则 光纤连接存储阵列访问数据 。

    58510
    领券