首页
学习
活动
专区
圈层
工具
发布

腾讯云弹性块存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性块存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理...如何实现云硬盘(弹性块存储)系统?...其实最开始CBS是将这3个分布式存储系统拼凑在一起,并在前端封装一个iSCSI的块存储服务,这就是CBS1.0。...首先,CBS2.0前端是一个接入集群: Client,即客户端,让服务器呈现一块硬盘;Proxy,即块设备的后台接入层,前端的云硬盘通过它才能将数据放到云端;Client和Proxy专业名次叫iSCSI...当然ceph也有很多值得我们借鉴的东西:例如CBS是块存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计的,同时支持块存储、文件存储和对象存储;CBS的是镜像多副本存储,但是ceph

16.6K32

肥皂与手纸:神奇的电商大数据分析

11.11光棍节已经过去,12.12促销又要到来,回望双十一的疯狂与激情,哪些人在买小米、哪些人在买华为,哪些人在买林志玲,哪些人在买杜蕾斯,都将是有趣的话题。...11月27日,在京东举办的《京东技术解密》新书发布会上,笔者获得了不少11.11京东商城的趣闻大数据,京东网友的性福指数羞答答出炉,卖出80万块香皂、900万卷手纸,大北京的区县性福对比让我惊讶异常。...虽然市面上有不少大数据之类的书籍,但是真正专业电商技术解密和实践案例分享的书籍还真是独此一家,我马上去买几本送给我的程序猿朋友们。...肥皂和手纸热卖,京东攻陷卫生间 11.11这一天,京东商城卖出了80万块香皂,重量约115吨,相当于23头大象;基情无限的同时,手纸卖出900万卷,8亿多抽手纸,按一秒钟扯一抽的话,至少要扯3年,按一卷纸...按道理讲朝阳区北京夜生活最丰富的地区了,曾经的天上人间,灯红酒绿的三里屯都在这里,双十一朝阳区的青年们都跑哪里去了。

35.6K100
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    云成本优化:闲置资源盘点与规格右移的实操

    云成本优化不是省吃俭用——降配到影响性能、关停到影响业务——它是一套资产管理方法:每块钱花在哪里、哪些花得值、哪些是纯浪费。...闲置存储:冷数据的分层是存储账单的最大优化点。COS 的生命周期策略把 30 天未访问的对象转低频、90 天转归档——归档存储的单价是标准存储的 1/5。...快照是最容易忽视的:每天自动快照 + 从不清理 = 存储费翻倍。空转的网络产品:负载均衡绑了后端但流量为 0、弹性 IP 绑了关机的机器、带宽包按峰值买但 95 分位只有 30%。...策略:先看 6 个月用量曲线,稳定 80% 的部分买节省计划锁定,弹性 20% 留按量。竞价实例:无状态/可中断负载(批处理、CI 构建、离线计算)用竞价实例,价格是按量的 1~5 折。...存储与数据库的规格:数据库的规格是重灾区——按峰值买的 8C32G 库,实际 P95 CPU 15%。云数据库支持在线升降配,降一档省 40% 费用,对大部分业务无感。

    17710

    一文看懂存储资源盘活系统架构

    从本质上讲,存储本身就是一个软件行业。随着数据存储量的增大,也必然将由硬件提供的弹性向着由软件代替硬件提供弹性的方向发展,意味着专用存储硬件必然被商用硬件所替代。...这就注定了“软件定义存储”是存储行业发展的必然趋势。 软件定义存储的核心在于,用软件解决原先由硬件解决的(弹性)问题,例如EMC所发布的ViPR,与其存储阵列所组成的解决方案则可称之为软件定义存储。...其主要原因有以下三点(1) 互联网的业务发展很快,而且注意成本消耗,这就使得存储系统不能依靠传统的纵向扩展的方式,即先买小型机,不够时再买中型机,甚至大型机。...允许用户在空间利用率、性能和可靠性之间灵活选择,用户甚至能够为不同的卷指定不同的EC策略,降低存储成本和网络开销。 HBlock分布式块存储是中国电信为客户提供的存储资源盘活产品。...HBlock分布式块存储通过标准 iSCSI 协议提供块存储服务,将通用服务器及其管理的存储资源转换成高性能的虚拟存储阵列,承载企业核心业务数据。 HBlock提供了三种架构:(1)云盘阵(本地)。

    2.8K30

    运维超自动化中的容量规划与优化

    先说关键信息:容量规划的最大难题不是"要不要加资源",而是"凭什么做决策"很多企业每年都在为容量问题付学费:资源买多了,闲置浪费;买少了,高峰期系统卡顿,紧急扩容又来不及。...本质上,容量管理解决的是资源调度问题——目标是应对非线性业务需求的增长,可以弹性使用算力资源,同时让成本可控、满足业务性能要求 。而这个目标的第一块基石,是数据。...传统容量规划的三块短板第一,数据是"碎"的。 服务器、虚拟化、存储、网络各自为政,性能数据散落在不同工具里,想拼出一张完整的容量视图,全靠人工拼凑 。第二,判断是"经验"的。...当出现系统卡顿时,机器人可对应用相关的服务器、虚拟化、操作系统、光交换机、存储等全栈基础设施进行资源分析,结合AI智能体进行根因定位并给出决策建议 ——是CPU瓶颈、内存不足,还是存储IO争抢,数据说了算...统一运维平台深度融合AI技术后,基于历史运维数据的学习,能够精准检测性能波动、异常访问模式等异常情况并提前预警,使运维团队能够主动干预;同时为性能优化、容量规划等运维决策提供数据建议,并逐步实现预测性维护、智能弹性伸缩等高级功能

    12410

    公有云中的Hadoop

    Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 “公有云中的按需配给和弹性为Cloudera企业数据中心开辟了新的可能性...而公有云环境完美满足这些需求,因为企业可以在公有云中快速的获得和更改他们的评估环境,通过有限的使用成本在Poc周期内使用它们,更不用说可以避免买错硬件的问题了。...3.1.数据的位置 ---- 数据是在哪里生成的?数据可以被视为具有“质量”,因此可以证明从存储迁移到能计算是困难的(并且是昂贵的)。...Cloudera将继续成为下一代企业数据管理和分析的行业标准,无论数据和工作负载在哪里。...企业需要考虑多个因素,在决定EDH的哪一部分部署在哪里的时候。Cloudera有能力帮助企业探索这些因素并实现所有的部署方式。

    7.9K60

    腾讯云轻量应用服务器和CVM云服务器有什么区别?

    按需组合:计算、存储、网络独立选择,可单独升级某一项。网络架构简单扁平:自带公网IP,带宽固定或共享,配置极简。灵活复杂:需搭配VPC(私有网络)、SLB(负载均衡)、NAT网关等。...弹性扩展有限:只能整体升级配置(如2核变4核),不能单独加硬盘。极强:可随时调整CPU、内存、磁盘大小,支持自动伸缩。2....CVM云服务器 = “自建豪宅”优点:极致灵活:你可以为数据库单独买高性能SSD盘,为Web服务器买大内存,为前端买高带宽。...缺点:学习曲线陡:你需要理解VPC子网、路由表、安全组策略、弹性网卡等概念。初始成本高:最低配也要几十块一个月,且随着规模扩大,费用呈指数增长。3. 我该选哪个?

    15310

    写给小白的云计算入门科普

    资源少了(性能不足),需要再花钱买。资源多了(性能过剩),也不给退。 正因为传统计算在资源分配上缺乏足够的灵活度,所以才有了“云计算”概念的提出。...简单来说,相比传统计算,云计算的资源获取方式,从“买”变成了“租”。 所有我们前面提到的软硬件计算资源,全部都能租。提供资源租用服务的,就是云服务提供商。...如果你后期因为业务增长,需要更好的配置,可以加钱,买更多资源。 增加资源的过程,基本上是平滑升级。尽可能减小对业务的影响,也不需要进行业务迁移。...存储 块存储、文件存储、对象存储,全部配齐。 网络 包括带宽、公网IP、VPC专有网络、V**,能想到的都有。SLB负载均衡服务,CDN内容分发网络服务,也有。...人工智能和大数据 这两块是最值得关注的。大数据我之前专门介绍过,它本质上就是属于云计算的。人工智能也没有被云服务提供商放过,从接口到平台,都有所涉及。

    2.7K00

    我对云原生的通俗解释

    对象存储相对于块存储和对象存储而言,只需要提供简单的HTTP编程接口(API),以供客户端使用。 对象存储经济高效、可以轻松扩展、使用方式灵活、是一种非常适用于静态数据的存储系统。...成本优化:比如使用竞价实例,减少快存储的使用量(块存储的成本远高于对象存储)容错能力:可以使用弹性伸缩组,故障机器的移除不会造成数据丢失安全性:数据可以更好的追溯和监管开发优势:集中日志分析、这时应用容器化的前提...成本优化:比如使用竞价实例,减少快存储的使用量(块存储的成本远高于对象存储) 容错能力:可以使用弹性伸缩组,故障机器的移除不会造成数据丢失 安全性:数据可以更好的追溯和监管 开发优势:集中日志分析、这时应用容器化的前提...采用这四个实践后,应用就具有了基本的云原生能力,比如,应用因为尽可能多地使用云托管服务而更加轻便,应用使用云虚拟机的弹性伸缩能力来实现分钟级的弹性伸缩特性,通过更多地使用对象存储而不是块存储来降低成本,...但是,此阶段的云原生还有一些局限,比如虚拟机的弹性是分钟级的,还做不到非常快,基于虚拟机的DevOps落地也比较困难。 问题3:“我要到哪里去?”

    2.7K10

    构建全球化IT基座:企业出海痛点解析与云端架构降本增效实践

    该方案将独享云服务器弹性公网IP(EIP)与云主机直接关联,在无需办理 ICP 备案的前提下,有效规避跨网拥堵,实现端到端的网络延迟优化。...在同等算力配置下,针对性压降弹性计算的单核与存储成本。...峰值并发承载力提升(支撑 10倍 订单增长): 通过弹性资源池与CDN加速方案的融合,底层架构具备支撑业务流量爆发的能力,在实际大促场景中,支撑客户跨境总单量实现较上一年 8倍至10倍 的跨越式增长。...技术执行路径: 资源弹性预留: 启用腾讯云中国香港和新加坡节点的计算资源作为大促备用资源池,抵御瞬时流量洪峰。...应用效果验证: 在 2018 年 11.11 与 12.12 双线大促节点中,该架构保障了 Shopee 核心交易系统的零宕机。

    71300

    GPU 云服务器怎么选?AI 推理与训练场景选型指南

    给 AI 业务配多少 GPU,是很多团队都纠结过的问题:按峰值买,平时大半时间闲置;按均值买,一到业务高峰就排队。 更麻烦的是,模型在迭代、业务量在波动,今天算好的容量,下个月可能就不够用。"...场景不同,实例类型与软件栈差异很大,先定场景再选型可以避免"买错卡"。...网络与存储:RDMA 低延迟网络、云硬盘等是否到位。...弹性 RDMA 网卡低延迟高带宽;存储支持云硬盘(系统盘、数据盘);大规模训练可关注高性能计算集群 HCC 其中两项自研加速能力有官方数据支撑:TCCL(Tencent Collective Communication...两类案例的共同点,是先把场景与模型规格定下来,再按"算力—网络—存储"三块配齐:多机多卡靠 RDMA 加集合通信库(如 TCCL)压低通信开销,数据侧用并行文件系统(如 GooseFS)避免 I/O 拖慢训练

    25410

    今天聊聊云计算

    主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。...主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。   ...虚拟办公 对于云计算来说,最常见的应用场景可能就是让企业主“租”服务而不是“买”软件来开展业务部署。...对云计算技术的产生、概念、原理、应用和前景又在哪里?   一、云计算思想的产生   传统模式下,企业建立一套IT系统不仅仅需要购买硬件等基础设施,还有买软件的许可证,需要专门的人员维护。...主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。

    3.9K70

    存储成本直降70%!TDSQL Boundless 助力能源行业打造无限归档数据底座

    买台配着 50T 大容量的廉价磁盘、大内存的机器,搭个 MySQL 做归档库,通过 pt-archiver 或者 DTS 工具周期性归档。...面对海量数据归档,腾讯云 TDSQL Boundless 提供给能链的方案不是妥协,而是 – 存得下(无限容量)、存得省(极致压缩)、易扩展(弹性伸缩)、查得快,还能备份、敢恢复。...结合 ZSTD 等先进压缩算法,它能对数据块进行深度去重。...相比于 RDS,TDSQL Boundless 在架构上更适应海量数据的弹性扩展;相比于 Hadoop,TDSQL Boundless 免去了维护复杂的生态组件的负担,不仅内置了 Multi-Raft...腾讯云TDSQL Boundless 利用 Bloom Filter(布隆过滤器) 和多级缓存策略,精准定位数据块。对于“查询三年前某位用户的电费明细”这种典型点查场景,性能几乎与热数据无异。

    56710

    从月账单5万到3.5万:云数据库成本优化的完整复盘

    一、云账单三大“黑洞”黑洞一:资源的“过度保险”心态本地部署时代,买服务器是“够用就行”。上云之后,心态变了——“反正按量付费,先买大一点再说”。...也就是说,每花100块钱,有30多块是在买空气。二、这些成本黑洞到底长什么样?1.计算资源:规格买高了一台8核16GB的服务器只跑了几个轻量级应用。...实例规格买高了,CPU常年低负载,但账单一分不少。历史数据全堆在SSD上,成本是普通云盘的几倍。备份策略不合理,保留周期过长,存储费用不断累积。...3.存储:僵尸资源在“吸血”创建了没挂载的云盘、过期快照没清理、弹性IP挂着没用、测试环境用完没销毁——这些东西都在持续产生费用。单个看起来没多少钱,但几十个加起来,一年也是笔不小的数目。...以前买服务器是一次性投入,花多少钱心里有数。现在变成了每个月一张账单,而这张账单上的每一项费用——计算、存储、网络、备份——都在动态变化。很少有团队有能力实时追踪每一笔费用的来源。

    22910

    弹性公网ip有必要买吗 弹性公网ip价格分析

    因为弹性公网ip有很多种计费模式,所以就会有人问弹性公网ip有必要买吗?计费标准不一样的话,那具体要买哪一种。...因为现在还是有疫情的问题存在,弹性公网ip能更好的帮助大家进行工作,尤其是不能去上班,在家办公的人,实际上是很需要弹性公网ip的。...弹性公网ip有必要买吗 对于上班族来说是有必要的,因为弹性公网ip可以尽可能的满足各大用户的要求,在购买以后,如果觉得容量不够大的话,实际上是可以联系专业的工作人员去帮忙升级的,不管是什么时间段,都会有人帮助解决困难...根据价格分析方面来看弹性公网ip有必要买吗,大家可以先买一个月的试试看,毕竟一个月最贵的也就40块钱,也就是每天只需要1块钱。...如果觉得用起来不好的话,也是可以选择下个月退订的,所以弹性是很大的,买不买看各位的经济实力还有需求度是否真的很高。

    12.6K10

    基于「佑桥理论模型」构建企业网盘与知识库:存储与智能的双向闭环(架构实践)

    基于「佑桥理论模型」构建企业网盘与知识库:存储与智能的双向闭环(架构实践)面向读者:企业架构师、云平台工程师、IT负责人主题:用云原生思路把企业网盘与企业知识库统一编排,兼顾弹性、安全与智能化在企业数字化实践中...,部门/项目级配额与权限;弹性伸缩:上传/检索流量峰谷明显,无状态接入层可基于K8sHPA自动扩缩。...3.2关键能力分块上传/断点续传:大文件按块上传,ETag校验,失败块重试,避免整文件重传;增量同步:客户端按内容指纹对比,仅上传变化块,带宽降至全量5%–15%;细粒度权限:RBAC+ABAC组合策略...四、佑桥企业知识库:检索增强的智能层在网盘沉淀的干净资料之上,构建智能层:4.1链路入湖:多源采集(文档Wiki工单/会议纪要),清洗、脱敏、格式归一;切片:按语义段落切分,长表格/代码块特殊处理;向量化...比"先买网盘、再上知识库"的拼凑方案少一套数据搬运和权限维护,治理成本显著降低。

    16900

    第一次修U盘,没想到...

    不过这几个u盘没有一个是我出钱买的,要么是公司发的,要么是搞活动送的。我也不是啥u盘重度用户,但偶尔带出去复印文件还是挺方便的。 02 故事起源 这还得从上周六说起。...我问我爸你这是在哪里买的劣质产品(总得为这40大洋的损失找个落脚点),他说是pdd,好吧,都上pdd,还在乎啥质量啊。 我想既然坏了就算了,再重新买一个。...但又想了一下,40块可以买20斤米了呀,一个月都吃不完,要不咱们还是再折腾一下。 03 问题分析 首先初步分析,这玩意肯定是哪里故障了,可能是软件故障,也有可能是芯片故障,我也不确定,得先定位问题。...电脑上还是能识别出来有u盘,只是读不出来,都到这里了,也不能轻易放弃,这可是40块的事业,得进一步借助工具手段才行。 04 进一步诊断 现在需要确认是不是芯片坏了。...08 总结 总算修好了u盘,又省下了40块,这盘速度确实慢,不过能用就行,一般也不会用于大型文件的存储。建议买个32g的usb3.0的就可以了。

    1.6K20

    云服务器部署量化交易的成本优化思路

    主要思路包括:按需选择配置(不盲目求高配)、选对计费方式(长期稳定用包年包月、临时任务用按量付费)、区分场景弹性使用(实盘用低配常驻、大规模回测临时用高配)、善用竞价实例等优惠、以及合理规划存储成本。...自己买物理服务器,你得一次性投入、还得按峰值配置(怕不够用),平时用不满就是浪费。而云服务器是弹性的——需要多少资源就用多少、需要多久就用多久,不用了就释放。用好这个弹性,成本就能大幅优化。...很多新手怕不够用,一上来就买高配,结果资源大量闲置、白白多花钱。...云服务器通常有几种计费方式,用对了能省不少: 包年包月:预付费、按时间买。适合长期稳定运行的场景——比如你的实盘策略要 7×24 长期跑,用包年包月单价更低、更划算。...这种"低配常驻 + 高配临时"的组合,是成本优化的高招——你不用为"偶尔的大规模计算"长期承担高配的费用,需要高算力时临时买、用完释放。

    25610
    领券