首页
学习
活动
专区
圈层
工具
发布

首次揭秘双11双12背后的云数据库技术!| Q推荐

从 2009 年到 2021 年,从千万交易额到千亿交易额,双 11 已经开展了 12 年。如今,每年的双 11 以及一个月后的双 12,已经成为真正意义上的全民购物狂欢节。...刚刚过去的 2021 年双 11,就有超过 8 亿消费者参与。 与攀升的交易额和参与人数相反,双 11 的主要阵地“淘宝 APP”、双 12 的主要阵地“天猫 APP”的崩溃情况逐年减少近无。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行?...《数据 Cool 谈》第三期,阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏,一同揭秘了双 11 双 12 背后的数据库技术...在双 11 双 12,这种方式的弊端会被进一步放大。数据显示,在双 11 秒杀系统中,秒杀峰值交易数据每秒超过 50 万笔,是一个非常典型的电商秒杀场景。

53.2K50

【CLS数据淘金第四期】网络流日志-云联网日志分析

导语云联网(Cloud Connect Network,CCN)云联网覆盖全球 20+ 地域,提供云上私有网络间(VPC)、VPC 与本地数据中心间(IDC)内网互联的服务,具备全网多点互联、路由自学习...用户可使用日志服务(Cloud Log Service,CLS)更快速便捷的采集云联网流日志,并通过 CLS 提供的检索分析、仪表盘、告警等功能发现与定位云联网问题,支撑业务服务。...为此,小秦通过CLS日志服务对云联网流日志进行监控告警。监控 被拒绝流量 的占比情况。图片如图所示,每隔5分钟,查询近5分钟内被拒绝流量的占比情况。当占比大于 1% 时,触发告警。...小秦打开CLS的CCN 流日志_高级分析仪表盘,在顶部过滤出流量类型为REJECT(被拒绝)的流日志。...Demo体验CLS日志服务提供免费的 CCN 云联网流日志 Demo 快速体验,一键开箱即可使用,全景体验 CCN 检索分析、预置仪表盘、实时告警等功能。

1.6K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    腾讯云天御金融反电诈:基于“资金流+网络流”双维模型的精准风控实践

    第一章:应对黑产日常化渗透与全业务扩散的治理困境 当前金融反电信网络诈骗面临三重核心挑战,导致传统风控手段边际效应递减: 作案模式转变(日常化渗透): 黑产从直接作案转向“诱骗无辜好人作案”,利用日常缴费...第二章:构建“资金流+网络流”双剑合璧的AI风控体系 腾讯云天御提出通过引入互联网“空域”安全网,与行内资金流模型形成互补,构建覆盖全流程的治理方案。...双流融合: 结合“鲜活”的互联网涉诈风险洞察力(网络流)与行内交易数据(资金流),从诈骗动机、意图与模式切入。 全生命周期覆盖: 建立“事前预测-事中阻断-事后处置”的闭环机制。

    76910

    腾讯云天御金融反诈治理:基于资金流与网络流双剑合璧的AI风控体系

    内容溯源:基于腾讯云天御反诈高级产品专家 廖宇星 发布的《金融反电信网络诈骗治理实践》报告。...应对欺诈黑产高频变异,打破风控与展业“不可能三角” 在《中华人民共和国反电信网络诈骗法》等监管政策出台的背景下,金融机构面临严峻的合规与风控压力。...融合网络流与资金流特征,构建全业务流程AI防线 为解决单一资金流风控的局限性,腾讯云天御从诈骗的动机、意图与模式切入,引入鲜活的互联网涉诈风险洞察力(网络流),结合银行行内资金流模型,构建了覆盖“事前-...结合金融侧资金流与行为特征,实时查询天御受害者预警API,动态评估被骗风险等级。...压降客诉与提升拦截并行,量化联合建模的核心业务指标 基于大型商业银行(千万级至近亿级储户量)的实际应用案例,引入外部网络特征并进行多方协同共建模型后,实现了以下三项高价值核心业务指标的显著优化(数据来源

    89910

    CIKM22「清华+华为」DualRec:考虑过去和未来信息的双网络序列推荐模型

    导读 序列推荐(SR)在个性化推荐系统中发挥着重要作用,因为它从用户的实时增长行为中捕获动态和多样的偏好。...为了缓解训练推理的差距,本文提出了一种新的框架DualRec,该框架通过一个新的双网络实现了过去-未来的解耦和过去-未来相互增强。具体而言,利用双重网络结构分别对过去和未来的环境进行建模。...双向知识迁移机制增强了双网络学习的知识。 2. 方法 2.1 问题定义 用户集合为 \mathcal{U}=\{u_1,......在双网络模型中,两个编码器(分别表示为过去的编码器和未来的编码器)使用基础编码器实例化,通过基础编码器,过去和未来的建模被明确地分离。...2.4 双向信息迁移 上述双网络独立地计算具有过去和未来信息的商品的表征,这忽略了两个编码器之间的交互。然而,过去和未来编码器捕捉到的用户偏好是密切相关和互补的。

    4K20

    海量日志处理挑战?腾讯云MongoDB这些优化让效率提升70%

    2025年12月,随着各大云服务商“双12”促销活动的开启,选择一款适合海量日志场景的云数据库服务,不仅能提升业务处理能力,还能显著降低成本。...成本优化策略:在腾讯云“双12”活动期间,云数据库MongoDB提供极具竞争力的价格,入门配置低至月付几十元,满足不同规模企业的日志处理需求。...腾讯云MongoDB的变更流功能让实时日志分析变得简单,开发者可以实时捕获数据变更,构建响应式的日志监控系统。这一功能对于需要实时告警的业务场景尤为有用。...四、实战建议与最佳实践 针对海量日志处理,推荐以下腾讯云MongoDB配置方案: 对于日均日志量在100GB以下的中小型应用,可选择腾讯云MongoDB的1核2GB基础配置,结合时间序列集合特性,有效管理日志数据生命周期...尤其是在“双12”期间,其性价比进一步提升,是部署或升级日志处理系统的绝佳时机。

    57110

    国外、国内Hadoop的应用现状

    12.Openstat 主要利用Hadoop定制一个网络日志分析并生成报告,其生产环境下超过50个节点集群(双路四核Xeon处理器,16GB的RAM,4~6硬盘驱动器),还有两个相对小的集群用于个性化分析...14.Rapleaf 超过80个节点的集群(每个节点有2个双核CPU,2TB×8存储,16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据,并引入Cascading简化数据流穿过各种处理阶段...使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心,超过100TB的存储,并计划大幅扩容。...日志分析平台。 数据仓库系统。 推荐引擎系统。 用户行为分析系统。...日志统计分析。 推荐引擎等。

    5.8K20

    新玩法实战|解锁QClaw「离线巡检+微信远程复盘」双闭环工作流:智慧航道无人值守创新方案

    今天我就结合智慧航道工控内网、断网频发、无人值守、夜间巡检的行业问题,原创一套QClaw专属本地离线巡检 + 联网自动复盘归档双闭环创新工作流。...二、核心玩法原理2.1 双闭环定义离线闭环(兜底层):断网状态下,QClaw本地进程独立运行,自动扫描航标日志、水文报表、设备离线记录,本地保存异常快照,不依赖任何云端接口;联网闭环(复盘层):网络恢复瞬间自动触发批量复盘...步骤2:搭建【离线自动巡检工作流】(核心新玩法)新建自定义工作流,命名:航道夜间离线智能巡检节点配置顺序:定时触发节点:每30分钟执行一次,全天候无间断;本地文件读取节点:读取本地D盘固定目录的航标遥测日志...步骤3:搭建【联网自动复盘推送工作流】网络唤醒触发节点:监测网络从断开→恢复状态,自动激活工作流;批量汇总节点:读取离线期间所有缓存异常记录,去重、过滤基站瞬断误报;AI结构化复盘节点:自动分类:设备故障...四、本玩法核心创新点模式创新:首创双闭环值守机制 打破所有QClaw教程“依赖网络”的固有逻辑,实现工业场景离线可用、联网闭环,适配所有封闭内网工控场景。

    55910

    一份 CIS等保 双视角的云安全配置检查清单

    三、双视角核心配置清单(30 项) 以下清单按"身份与权限 / 网络与边界 / 数据与加密 / 日志与监控 / 漏洞与补丁 / 应用与代码"六大板块整理,每项标注: CIS 对应章节 等保对应条款 配置建议...(6 项) 配置项 CIS 等保 建议值 RAS 能力 7 安全组最小暴露 CIS 5.2 区域边界 5.1 禁用 0.0.0.0/0 + 22/3389 云业务评估 + 暴露面测绘 8 网络流日志开启...白名单 云业务评估 11 TLS 版本 CIS 2.x 通信网络 3.1 ≥ TLS 1.2 暴露面测绘 12 公网绑定审计 CIS 5.x 区域边界 5.1 有审批流程 云业务评估 3.3 数据与加密...3.x 管理中心 7.2 SIEM/SOC 汇聚 云业务评估 3.5 漏洞与补丁(4 项) 配置项 CIS 等保 建议值 RAS 能力 23 高危漏洞修复时限 CIS 推荐 计算环境 4.2 ≤...七、为什么 RAS 的"双视角"是市场上稀缺的能力 多数云厂商的 CSPM 工具只覆盖自家云原生资产的一套标准。

    66410

    向量数据库如何应对实时数据洪峰?腾讯云VDB揭秘高并发处理黑科技

    正文 当电商平台每秒产生万级用户行为数据,当金融系统需要毫秒级检测异常日志,传统数据库的批处理模式已无法满足实时性需求。...混合负载压力undefined同时处理实时流数据与历史数据查询时,资源竞争导致查询性能下降40%以上。...混合检索加速 独创的双路混合索引架构(HNSW+IVF_FLAT),在保证95%召回率的同时,查询延迟降低至8ms。针对金融日志场景,异常检测准确率提升至99.3%。 3....某推荐系统接入后,CPU利用率从75%降至42%,吞吐量提升2.3倍。...现通过双12活动(https://cloud.tencent.com/act/pro/double12-2025),新用户可享3.9折优惠。立即体验,开启实时智能新纪元!

    77810

    从 Loki 到 VictoriaLogs:云原生日志架构的性能跃迁与迁移全方案

    、灰度切换、逐步切流,无停机、无数据丢失 兼容性优先:采集端(Promtail/Vector/FluentBit)、查询端(Grafana)最小改动 性能可视:全链路监控迁移过程,确保性能与稳定性达标...回滚保障:保留 Loki 集群,支持快速回滚,风险可控 2.2 目标架构(生产级) [日志采集层] Promtail/Vector/FluentBit —— 双写 Loki + VictoriaLogs...阶段四:下线 Loki(1天) 全流量切至 VictoriaLogs,停止双写,下线 Loki 集群 三、VictoriaLogs 生产级部署实践 3.1 部署模式(K8s 生产推荐) 3.1.1...采集端批处理 Vector:batch.max_events=1000, batch.timeout=1s Promtail:batchsize: 1024 * 1024, batchwait: 1s 网络优化...s)、写入错误率、延迟(P95/P99) 查询:QPS、查询延迟(P95/P99)、全文检索耗时、错误率 存储:磁盘使用率、数据量、压缩比、索引大小 系统:CPU、内存、磁盘 I/O、网络流量 6.2

    1K10

    推荐系统遇上深度学习(五十)-使用强化学习优化用户的长期体验

    在现有的推荐模型中,往往优化的目标是点击率,而忽略了用户的长期体验。特别是在信息流推荐中,给用户推荐一个标题很吸引人但内容比较无聊的消息,往往点击率很高,但用户会觉得体验很差。...本文介绍京东与清华大学合作发表的论文,该论文使用强化学习来优化信息流推荐中用户的长期体验。咱们一起来学习一下。...这里好像是没有用到双网络结构的。因为文中给出的损失函数计算公式中,下一个状态-动作对的价值仍然使用网络θq来计算得到。...这样,Q网络的策略π和日志中的策略πb是有一定的偏差的。但我们希望S网络的策略πb与Q网络的策略π更相近。这里的策略可以理解为在某个状态s下推荐某个物品的概率。...首先我们会通过日志记录预训练一个S网络,这里应该不会对比Q网络的策略对损失进行加权。 随后,我们依次训练Q网络和S网络。这里Q网络的训练数据就可以配合S网络来生成。

    1.9K30

    机柜微环境温湿度监测与风机自联动控制系统设计解决方案

    机柜温湿度测量及联动控制风机风扇解决方案 1一、方案概述 1.1 背景与需求 机柜作为IT设备、工业控制模块和网络设备的核心承载单元,其内部温湿度环境直接决定设备的运行寿命与业务连续性。...二、系统组成 2.1 设备清单 序号设备名称关键规格说明1机柜​标准19英寸承载IT/网络设备2POE温湿度控制器/传感器​RJ45、POE+12VDC双供电、开关量输出核心设备​3POE交换机​IEEE...POE供电(推荐) POE交换机 ──一根网线──► 传感器(数据+电力一体)方式二:12VDC外接供电 12VDC适配器 ──电源线──► 传感器DC端子 网线 ──► RJ45口(仅数据)双供电冗余...NO触点 ──► 风机电源(220V) │ └── DO2 ──► 声光报警器(可选)四、参数配置建议 参数项推荐设置说明温度启动阈值​...Step 7 ▸ 接入监控(可选)─ SNMP/Modbus对接平台七、注意事项 继电器容量:确认DO触点容量,超过额定值必须使用中间继电器 感性负载保护:风机为感性负载,继电器触点建议并联RC吸收电路或续流二极管

    23610

    API 版本管理三大核心实践:兼容旧版、平滑升级与灰度切流

    version=1实现简单,调试方便临时性兼容、灰度测试工程推荐:对外 API 采用 URL 路径版本,内部服务间调用采用 Header 版本,兼顾可读性与规范度。...,文档同步发布,通知接入方升级稳定期:新旧版本并行,新版逐步成为主流废弃期:旧版标记 deprecated,响应头增加 Deprecation 警告下线期:旧版正式下线,返回 410 Gone 状态码推荐周期...:小版本兼容至少 3 个月,大版本至少 6 个月,核心业务接口不低于 12 个月。...2.2 废弃通知机制在接口废弃阶段,必须通过多重渠道告知调用方:响应头标注:Deprecation: true + Sunset: 2024-12-31接口文档醒目提示废弃时间与升级指引调用日志中定期统计旧版调用方...:涉及数据结构变更时,先双写再迁移,最后下线旧字段三、灰度切流方案与流量控制3.1 灰度切流的常见策略灰度发布是降低版本升级风险的核心手段,按流量维度可分为四类:策略切流维度适用场景比例切流按请求百分比随机分配全量上线前验证稳定性用户维度指定用户

    70910

    现代化物联网服务器机柜内文温湿度及风扇以太网控制解决方案

    二、系统组成 2.1 设备清单 序号设备名称关键规格说明1机柜​标准19英寸承载IT/网络设备2POE温湿度控制器/传感器​RJ45、POE+12VDC双供电、开关量输出核心设备​3POE交换机​IEEE...✅ POE供电(IEEE 802.3af,48V)✅ 外接12VDC直流供电,双供电可选​信号输出​RJ45以太网接口,10/100M自适应通信协议​TCP/IP、UDP、SNMP、Modbus TCP...IP55(工业级可达IP65)安装方式​导轨式/壁挂式/磁吸式双供电方式 方式一:POE供电(推荐) POE交换机 ──一根网线──► 传感器(数据+电力一体)方式二:12VDC外接供电 12VDC...适配器 ──电源线──► 传感器DC端子 网线 ──► RJ45口(仅数据)双供电冗余(高端型号) POE + 12VDC 同时接入,自动切换,避免断电三、联动控制原理 3.1 控制逻辑 机柜内部空气...Step 7 ▸ 接入监控(可选)─ SNMP/Modbus对接平台七、注意事项 继电器容量:确认DO触点容量,超过额定值必须使用中间继电器 感性负载保护:风机为感性负载,继电器触点建议并联RC吸收电路或续流二极管

    27410

    不仅仅是双11大屏—Flink应用场景介绍

    双11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。...应用场景 在实际生产过程中,大量的数据不断的产生,例如金融交易数据、互联网订单数据、GPS定位数据、传感器信号、移动终端产生的数据、通信信号数据等,以及我们熟悉的网络流量监控,服务器产生的日志数据,这些数据最大的共同点就是实时从不同的数据源中产生...针对这些数据类型主要包括实时智能推荐,复杂事件处理,实施欺诈检测,实时数仓,与ETL类型、流数据分析类型、实时报表类型等实施业务场景,而Flink对于这些类型的场景都有着非常好的支持。...实时智能推荐 智能推荐会根据用户历史的购买行为,通过推荐算法训练模型,预测用户未来可能会购买的物品。...利用Flink流计算帮助用户构建更加实时的智能推荐系统,对用户行为指标进行实时计算,对模型进行实时更新,对用户指标进行实时预测,并将预测的信息推送给Web/App端,帮助用户获取想要的商品信息,另一方面也帮助企业提升销售额

    7.5K21
    领券