首页
学习
活动
专区
圈层
工具
发布

淘宝应对双11的技术架构分析

双“11”最热门的话题是TB ,最近正好和阿里的一个朋友聊淘宝的技术架构,发现很多有意思的地方,分享一下他们的解析资料:   淘宝海量数据产品技术架构   数据产品的一个最大特点是数据的非实时写入,正因为如此...图1 淘宝海量数据产品技术架构   按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。...内存磁盘比过低导致的后果是,总有一天,即使所有内存用完也存不下数据的索引了——这个时候,大量的查询请求都需要从磁盘中读取索引,效率大打折扣。   ...图8 glider的技术架构   有经验的读者一定可以想到,从本质上来讲,这就是广义上的异构“表”之间的JOIN操作。那么,谁来负责这个事情呢?...我相信,过不了几年,淘宝数据产品的技术架构一定会是另外的样子。 其他文章摘要 【1】海量数据领域涵盖分布式数据库、分布式存储、数据实时计算、分布式计算等多个技术方向。

3.5K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    首次揭秘双11双12背后的云数据库技术!| Q推荐

    从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在 2021 年双 11 双 12 中,有一种无所不在的技术力保证了整体系统的稳定,如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。...朱成表示,以前消费者更强调买买买,现在则更喜欢逛逛逛,有两个明显的诉求,一是价格能够更加清晰,知道这个东西到手价是多少、券后价是多少,二是用户希望一个订单里面可以支持多个地址,可以在一键下单的时候享受更多的优惠和折扣...写在最后 双 11 双 12 背后的数据库技术支持远不止于此。一个订单达成交易的背后,数据库层面有近 50 次请求的实现,远不是一款单一的数据库产品提供的支持。

    51.8K50

    揭秘:2018阿里双11秒杀背后的技术

    在今天双 11 这个万众狂欢的节日,对于阿里员工来说,每个环节都将面临前所未有的考验,特别是技术环节,今天我们就一起来探讨下双11天量交易额背后的技术。 一、阿里双11秒杀场景 ?...二、阿里双11背后的技术 ? 1. 云计算 利用云计算弹性能力,支撑交易峰值每秒32.5万笔、支付峰值每秒25.6万笔的混合云弹性架构。 2. 分布式消息引擎 在双11当天实现万亿级消息流转。 3....Docker技术 交易核心应用容器化撑起双11交易下单峰值,解放资源的超大规模Docker化技术。 4....总之,双11将涉及:基础设施、存储、中间件、云计算、业务架构、大数据、认知计算与人工智能、交互技术等技术领域。...由于篇幅有限无法完全详细展开,我就以其中一个大家最关心的双11秒杀场景为例,贯穿这些部分技术的应用和设计思路。

    5.8K30

    阿里双11技术总指挥汤兴:淘宝确实变了

    鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 总交易额达4982亿元。 订单创建峰值58.3万笔/秒。 这是今年阿里双11创下的新纪录。...消费者在线上已经不单是“买买买”,而是有了更多“边逛边买”的决策行为。 在阿里巴巴集团副总裁、双11技术总指挥汤兴(花名平畴)看来,这种消费者选择商品的路径的变化,正在带来更本质的影响。...对于了解流量并发和技术压力的工程师来说,难度是不言自明的。 究竟是怎样的技术挑战? 这样一道内外变化带来的难题,即使对于经历过11次双11的阿里而言,同样挑战不小。...还有线上试鞋、试口红、试美甲、染发等等全新AR体验…… 汤兴表示,阿里有个传统,所有新技术都需要经历双11的考验。...因为只有经过双11这样一个爆发点的验证,才能证明技术对于消费者的价值,证明其大规模应用的可能。

    3.4K20

    “天猫双11”背后的流量治理技术与标准实践

    作者 | 赵奕豪 (宿何):Sentinel & OpenSergo 开源项目负责人 一年一度的天猫双 11 正在火热进行中,大家在疯狂买买买的过程中一定会有疑问:如何保障微服务在双十一的超级峰值下也能如丝般顺滑稳定...这背后的技术原理是怎样的,有没有一些最佳实践与标准?这篇文章就为大家介绍如何结合 Sentinel 与 OpenSergo 玩转双十一背后的流量治理技术与标准。 1 OpenSergo 是什么?...Sentinel 在内部承载非常多的服务可用性与容错的场景,保障了近十年天猫双 11 流量峰值的稳定。...如果您有时间,有热情,有意愿,欢迎联系社区加入开源贡献小组,一起共同完善 OpenSergo 和 Sentinel,一起主导微服务治理技术与标准演进。Now let's start hacking!

    1.4K20

    将天猫双11的技术用到化工电商平台,马云的这步棋有何考量?

    拥有双11金字招牌的阿里云受青睐 正是瞄准传统企业IT架构的痛点,阿里云推出了企业级互联网架构(Aliware),现已成为阿里云PaaS的核心产品。...尤其值得一提的是,阿里巴巴的IT架构经受了双11多年来的洗礼,“扛得住双11”成为其金字招牌。...2016年,天猫双11成交额已经达到1207亿,2017年还将继续增加,阿里云与天猫双11已是彼此成就的正循环关系:阿里云支撑了天猫应对每年都在增值的双11成交规模和复杂业务场景,同时又通过这种极端场景来对自身能力进行压力测试...,并倒逼自己进一步优化升级,来应对下一年的双11。...事实上,不只是阿里云,菜鸟物流、蚂蚁金服诸多业务与天猫双11都已形成类似的关系。

    8.9K70

    MySql中int(10)与int(11)有什么区别吗?

    0 1 引言 依稀还记得有次面试,有面试官问我int(10)与int(11)有什么区别,当时觉得就是长度的区别吧!面试官最后也没有给反馈,我也就以为自己答对了。...直到有一次有个同学又跟我谈起这个事,才去查了以下,发现事情并没有哪么简单... ......最后查出的结果是:这里的M代表的并不是存储在数据库中的具体的长度,以前总是会误以为int(3)只能存储 3个长度的数字,int(11)就会存储 11 个长度的数字,这是大错特错的。...int(10)也可以代表 2147483647 这个值int(11)也可以代表。 要查看出不同效果记得在创建类型的时候加 zerofill这个值,表示用 0 填充,否则看不出效果的。...2147483647(有符号型)和4294967295(无符号型)。

    6.4K30

    京东商品详情页应对“双11”大流量的技术实践

    【编者按】此文是根据京东资深Java工程师张开涛11月21日在msup主办的 into100沙龙第14期《京东商品详情页应对大流量的一些实践》演讲中的分享内容整理而成。...最早期的时候,我们商品详情页采用.NET技术,但是随着商品数量增加,而且随着商品数据库结构设计复杂性的变化,后来我们就生成了静态页,通过JAVA生成页面的片段,像商品介绍等等,都是通过一个一个片段输送出去的...假设我们现在依赖的有二十个,每一个页面要调动二十多个来源来拿到相应的数据。...像双十一我们有一个集群,比如商品挂了,前端还是可以提供服务,只是数据不更新了。...工作之余喜欢写技术博客,有《跟我学 Spring》、《跟我学Spring MVC》、《跟我学Shiro》、《跟我学Nginx+Lua开发》等系列教程,目前博客访问量有460万+。 ?

    2.5K100

    双11在即,分享一些稳定性保障技术干货

    每年一次的双十一大促临近,因此上周末公司组织了一次技术交流闭门会,邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛,一起探讨了一些大促稳定性保障相关的技术话题。...我作为会议主持人,也和这些技术大牛交流了很多案例经验,从他们身上汲取了很多新的思路和技术实践。我将其中一些比较干货的技术实践案例整理了出来,供大家学习参考下。...,计算层便于扩容,将DB节点放到容器中,有需要扩容; 2)灾备:对于大流量读场景可通过流量切换方式,将部分流量迁移到备份集群分流; 3)巡检:慢SQL是常见的问题,可通过自动监控和历史数据分析,提供辅助式决策...+写操作不刷盘方式; 非交易业务的查询放在备库,降低主库压力; 梳理落地SOP机制,遇到问题时首先快速线上止血,解决故障; 存在主备延迟情况,可以开启参数调整方式来处理(临时开启,快启快关) ; 同城双活架构下...,可通过定时任务的方式自动检测MySQL的双0模式,定时改写数据; 高并发下MySQL主库往往写压力比较大,事务日志和binlog IO比较频繁,导致备库拉取binlog比较卡,较好的方式是通过降级延时方式做数据同步

    3.5K20

    今年你的双11包裹,也是自动驾驶卡车送来的吗?

    允中 发自 副驾寺 量子位 报道 | 公众号 QbitAI 你的双11包裹,到货了吗? 家住上海虹口区场中路的谢先生,已在今日上午完成收货。 谢先生购买的是最新款无人机,为的是体验最新的黑科技。...从山东济南到上海,一条自动驾驶双11专线已经启用,前装量产智能驾驶重卡,已经投入真正的商业实战运营。 背后的自动驾驶系统提供方——嬴彻科技。 怎样的自动驾驶双11专线?...有了它,我就不需要那么长时间、高度紧张的驾驶,精神状态会更放松。” 不过参与自动驾驶重卡运营,目前仍需要培训。...所以双11上岗服役,不仅是技术落地的验证,更是以真正的商业实战,来展现嬴彻轩辕系统的技术领先性和可靠性。...很欣慰看到嬴彻的轩辕系统在双11繁忙的运输场景下,近乎全程实现辅助驾驶,让司机轻松安全的运达货物,向双11买家准时交付。

    2.9K40

    助力双 11 个性化会场高效交付:Deco 智能代码技术揭秘

    Tech 导读 在这次双11的个性化会场我们大规模使用Deco进行研发,带来了48%左右的效率提升,本文将为大家揭秘Deco提效之秘。...Deco 经过 618 大促的初步验证,随后不断升级打磨,在正在火热进行的双 11 个性化会场研发中已经广泛投入使用,覆盖 90% 左右的大促楼层模块,为业务研发带来 48% 左右的效率提升。...图3 双11部分个性化会场及模块 03如何实现一个设计稿生成代码方案 1、生成静态代码 设计稿智能生成代码的第一步是生成静态化的代码,而这一步的核心是如何根据设计稿生成一份「结构化的数据描述」信息,这份数据称为...在布局推导之后,Layout 结构已经有了明晰的层级关系及相邻关系,我们就能获得分割良好、成组合理,结构化的节点结构。...路漫漫其修远兮,需要技术人上下而求索。

    5.3K20

    历经8年双11流量洗礼,淘宝开放平台如何攻克技术难关?

    在双11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...在双11场景中,也会有一些特殊的流量控制场景,比如单个API提供的能力有限,例如只能提供20万QPS的能力而实际的调用需求可能会有40万QPS。...数据读取基于FileRegion零拷贝技术,减少内存拷贝消耗,数据读取速度极快。存储系统部署在多个机房,有一定容灾能力。...资源动态调配与隔离 在双11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在双11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    4K10

    历经8年双11流量洗礼,淘宝开放平台如何攻克技术难关?

    作者|风胜 来源|阿里技术 淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年双11成倍流量增长的洗礼...在双11场景下,元数据获取QPS高达上千万,如何优化元数据获取的性能是API网关的关键点。...数据读取基于FileRegion零拷贝技术,减少内存拷贝消耗,数据读取速度极快。存储系统部署在多个机房,有一定容灾能力。...资源动态调配与隔离 在双11场景下如何保证数据同步的高可用,资源调配是重点。...如何降低数据写入开销 在双11场景下,数据同步的瓶颈一般不在淘宝内部服务,而在外部用户的DB性能上。数据同步是以消息的方式保证实时性。

    4.6K20

    双11京东将用无人机多地配送,安全隐患有木有?

    进入双11以来,京东无人机在宿迁、西安、北京等多地同时投入运营,这意味着继今年618首飞之后,京东无人机在成熟应用领域又进了一步。...京东无人机助力双11,不仅为广大农村客户带来便捷和惊喜,同时也体现了京东无人机技术给电商物流行业带来的巨大变革,用户的购物体验将进一步提升。 ?...技术方面,京东已开发出包括多旋翼、垂直起落以及电动、油动或油电混合动力等多形态、多动力的无人机机型,能够执行最大30公斤载货量、30公里飞行距离的配送任务。...随着今年双11全国购物季的帷幕拉起,农村用户也迫切的希望能够享受到与城市同质同价的好货和优质服务。...而无人机,正是为解决广大农村最后一公里配送难题而生,京东无人机多地配送订单,使这个双11与往年的大不相同。 ? 京东无人机在宿迁旱闸村送货 ?

    5.7K60

    这11家跨国顶尖银行正在探索利用量子计算技术,值得关注!

    有不少专家认为量子计算将是一个潜在的游戏规则改变者,尤其是在银行业等领域,量子算法可以应用于风险价值 (VAR) 计算和投资组合优化问题。...另一方面,量子技术有可能威胁到银行在安全问题方面的现有运作方式。意识到这一点,全球银行正在计划使用量子安全协议等方案。...本文列出 全球11家开展量子技术研究和应用的主要银行,无论这些项目是处于早期阶段还是全面的计划。这些银行来自美国、加拿大、英国以及日本。 1....他对量子技术的态度很明确: “这个行业有三个阵营。有一个阵营说量子永远不会投入生产。有些人认为它需要很长时间才能投入生产,很长一段时间被定义为 10 年或 15 年,甚至可能更长。...11. 高盛 高盛集团 (Goldman Sachs Group, Inc.)是量子技术的备受瞩目的采用者之一,是一家总部位于纽约市的美国跨国投资银行和金融服务公司。

    3.4K20

    win11最低硬件要求有什么?达不到要求可以安装吗?

    各种类型的系统会经历更新换代的过程,虽然人们很清楚最新版本的windows系统,并不一定符合自己的要求,但是还是有不少的人愿意亲自尝试一番,只不过并不是所有的硬件都符合windows系统所提出的要求。...win11最低硬件要求有什么? image.png win11最低硬件要求有什么? win11最低硬件要求有什么?...达不到要求可以安装吗?...以上就是对win11最低硬件要求的相关介绍,如果人们对于整个的安装要求实在是不怎么了解的话,那么当务之急,肯定是应当进行一番审核,并且看一看硬件是否符合要求,倘若并不符合要求的话,那么还不如尽快放弃,并且选择其他的系统

    5.2K30

    2018高薪趋势的6大IT技术岗位,有你吗?

    源 | 华清远见 据国外多家媒体调查:世界企业平均在技术岗位的预算将增长19%,93%的企业正在计划增加IT员工数量。面对IT人才的需求如此旺盛的情况下,技术人员的薪资也都在随之提升。...2018年高薪趋势的6大IT技术岗位如下: 1....这也比2017年的薪资118,750美元到182,250美元有较大增长。 ? 3. 信息安全工程师 安全工程师应具备以下技能:防火墙,Linux,网络安全,信息安全和网络安全。...自由技术家Rick Delgado认为,物联网架构师应该培养一套有用的技能,可以分为三个方面:技术,编程语言和个人技术路线规划。...由于是新兴行业,所以有很多创业公司涌现,市场的人才缺口一直很大,感兴趣的程序员可以考虑该方向。

    1.1K70
    领券