- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
第四篇 - 大主子表关联--SPL轻量级文件存储提速查询实践
这一篇介绍主键关联的提速。主表订单表和子表明细表的关联就是主键关联。SQL 中，这种关联仍用 JOIN 实现，在两个表都很大的情况下，常常出现计算速度非常慢的现象。 如果预先将主子表都按照主键有序存储，就可以使用归并算法实现关联。这种算法只需要对两个表依次遍历，不必借助外存缓存，可以大幅降低计算量和 IO 量。 esProc SPL 支持有序归并算法，可以大幅提升主子表关联计算性能。先做数据准备，把历史数据从数据库导出为 CTX 文件。在 ETL 中定义 Q4.etl：修改两个表的名字，加上 Q4。 =8group by o.order_date;执行时间是 40 秒，在主子表关联后计算去重计数，这两种计算 SQL 的性能都不佳。 2、思考：在自己熟悉的数据库中有没有大主子表关联？是否可以用有序归并方法提速？
19610编辑于 2025-10-20 - 来自专栏应用计算
第五篇 - 大主子表关联时的 EXISTS--SPL轻量级文件存储提速查询实践
大主子表之间进行 EXISTS 计算往往会导致较差的性能。这样的计算本质上是在做主键关联，如果能预先将主子表都按照主键有序存储，也可以使用有序归并算法有效提速。 esProc SPL 可以把主子表的 EXISTS 转化为有序归并，从而提升计算性能。下面通过订单表和订单明细表的例子，介绍这种情况的外置提速方法。 2、思考：在自己熟悉的数据库中有没有大主子表关联计算 EXISTS？是否可以用有序归并方法提速？
11010编辑于 2025-10-30 - 来自专栏完美Excel
使用Python将多个Excel文件合并到一个主电子表格中
3.将数据从步骤2移动到主数据集（我们称之为“数据框架”）。 4.对多个文件，重复步骤2-3。 5.将主数据框架保存到Excel电子表格。 导入库 现在，让我们看看如何用Python实现上述工作流程。 我们使用这个库将Excel数据加载到Python中，操作数据，并重新创建主电子表格。 我们将从导入这两个库开始，然后查找指定目录中的所有文件名。 将多个Excel文件合并到一个电子表格中 接下来，我们创建一个空数据框架df，用于存储主电子表格的数据。 2.如果是，则读取文件内容（数据），并将其追加/添加到名为df的主数据框架变量中。 3.将主数据框架保存到Excel电子表格中。 简洁的几行代码将帮助你将所有Excel文件或工作表合并到一个主电子表格中。 图4 注：本文学习整理自pythoninoffice.com。
8.8K20编辑于 2022-11-16 - 来自专栏java大数据
如何做大表和大表的关联？
如何做大表和大表的关联？ 对于大表和大表的关联： 1.reducejoin可以解决关联问题，但不完美，有数据倾斜的可能，如前所述。 2.思路：将其中一个大表进行切分，成多个小表再进行关联。
1.4K20发布于 2021-07-06 - 来自专栏凯哥Java
mysql 小表A驱动大表B在内关联时候，怎么写sql？那么左关联呢？右关联有怎么写？
一：mysql 小表A驱动大表B在内关联时候，怎么写sql在MySQL中，可以使用INNER JOIN语句来内关联两个表。如果要将小表A驱动大表B进行内关联，可以将小表A放在前面，大表B放在后面。 B.column3, B.column4FROM tableA AINNER JOIN tableB B ON A.columnX = B.columnY其中，tableA和tableB分别代表小表A和大表 B的表名，column1、column2、column3、column4分别代表需要查询的列名，columnX和columnY是用于内关联的列。 二：mysql 小表A驱动大表B在右关联时候，怎么写sql？左关联怎么写？在MySQL中，通过RIGHT JOIN（右连接）可以将小表A驱动大表B的连接操作。 通过RIGHT JOIN，将小表A作为驱动表，并通过指定的条件（例如id字段）与大表B进行连接。这将返回包括大表B的所有行以及与小表A匹配的行。
90610编辑于 2023-12-20 - 来自专栏DT数据侠
想做“开放数据”这门大生意？先让数据“关联”起来
▍大数据应用需求大，但痛点是获取成本高 从理论上来说，大数据可以应用在各行各业。特别是最近几年，人工智能火热的形势下，数据源作为大数据的基础设施，其价值已经体现得淋漓尽致。 对于开放数据来说，它的体量本身是非常大的。至于各种企业、机构的内部数据，其对外公开的难度更大，使用会受到各种层面的影响。未来，开放数据的体量一定是远远大于内部数据。 在早期，这种APP可能只能够查询企业的工商信息，但这样并没有大的发展空间，但你现在看到在这类APP上能够查询到企业的多维度信息，比如股权、股东、知识产权、商标专利、相关的报告等等。 有了这种多维的信息，将多维的数据打通，对于C端用户来说其价值就非常大了。 所以，我想说的是，不管是开放数据还是非开放数据。要让其发挥最大的价值就要做数据之间的关联。 这样的关联模型一旦建好之后，其在未来的应用将非常大。 注：以上内容根据马建军在数据侠线上实验室的演讲实录整理，有部分删节。图片来自其现场PPT，已经本人审阅。本文仅为作者观点，不代表DT财经立场。
80500发布于 2018-08-08 - 来自专栏WordPress果酱
PHP 关联数组的十大使用技巧
关联数组是 PHP 中使用最广泛的一种数据类型，PHP 内置多种操作关联数组的函数，对开发人员来说，要从中找出最有效，最合适自己所开发程序的方法来操纵这些数组。 weixin_card_types['GROUPON'] = '团购券'; 如果正在处理数字索引数组，可能想使用明确的函数来前置和追加元素，如 array_push()和 array_unshift() 函数，但这些函数不能操作关联数组 2、删除数组元素 从关联数组中删除一个元素，请使用 unset() 函数，如： unset($weixin_card_types['GIFT']); 使用数字索引数组时，删除数组元素的办法更多，更灵活 另外可以通过函数 krsort() 按照键对关联数组降序排序。 7、随机排序 如果要对关联数组随机排序，可以使用 shuffle() 函数来实现 shuffle($weixin_card_types); 如果不需要打乱数组顺序，只是想随机选择一个值，那么使用 array_rand
1.4K60编辑于 2023-04-15 - 来自专栏全栈程序员必看
数据挖掘十大算法（四）：Apriori（关联分析算法）
同样的该算法也是在一堆数据集中寻找数据之间的某种关联，这里主要介绍的是叫做Apriori的‘一个先验’算法，通过该算法我们可以对数据集做关联分析——在大规模的数据中寻找有趣关系的任务，本文主要介绍使用Apriori 算法发现数据的（频繁项集、关联规则）。 这些关系可以有两种形式：频繁项集、关联规则。 ->葡萄酒的关联规则，这意味着有人买了尿布，那很有可能他也会购买葡萄酒。 有了可以量化的计算方式，我们却还不能立刻运算，这是因为如果我们直接运算所有的数据，运算量极其的大，很难实现，这里说明一下，假设我们只有 4 种商品：商品0，商品1，商品 2，商品3.
3K20编辑于 2022-08-14 - 来自专栏主数据管理
主数据管理的五大成功要素
本文将探讨主数据管理成功的五大要素，包括高层领导的支持与参与、业务方的深度参与和认责、合适的主数据管理模式、技术工具的选择以及主数据的度量与评估。 主数管理的成功要素 一、高层领导的支持和参与 主数据管理是一项跨部门、跨层级甚至跨企业的系统工程，需要高层领导的全力支持和深度参与。 三、合适的主数据管理模式 面对多样的主数据管理模式，企业应根据自身特性进行选择。无论是集中式、联邦式还是分析式管理，都应以明确的业务需求和目标为基础。 此外，选择具有专业知识和丰富行业经验的主数据服务商和成熟的主数据管理平台，将有助于更好地挖掘主数据价值，缩短解决方案的实施周期。 企业应将这五大要素融入到主数据管理的实践中，不断优化和完善，以确保主数据管理能够为企业带来实实在在的效益，推动企业在激烈的市场竞争中保持领先地位。
26600编辑于 2024-11-11 - 来自专栏APP源码开发
成为大主播的必懂知识：直播源码推流
常见的推流协议包括RTMP（Real-Time Messaging Protocol）、RTSP（Real Time Streaming Protocol）、HLS（HTTP Live Streaming）等。
65940编辑于 2023-08-12 腾讯大模型最新发布：主打一个实用
这也是今天腾讯大模型想传达的信息之一：让AI更实用。至于多实用，请看到最后。强大AI应用的基础和底座，是越来越强大的通用大模型。腾讯混元大模型持续升级。 作为实用级的大模型，目前混元大模型已经在600多个腾讯内部业务和场景中落地测试，比如，微信读书基于混元大模型推出了AI问书（强烈推荐你试试）、AI大纲等新功能。 随着腾讯混元大模型的升级，我们也积极拥抱开源，希望与行业共享腾讯的实践经验和研究成果，共建大模型开源生态，推动大模型行业加速发展。 目前，混元文生图大模型已全面开源，多种尺寸的腾讯混元MoE模型也即将对外开源。是的，你已经发现，我们的一大努力方向——持续降低大模型的开发、应用门槛。 目前，大模型知识引擎已经在金融、教育、出行、零售等行业落地。大模型图像创作引擎、大模型视频创作引擎同理，企业通过标准化API接口，就可以调用强大的大模型能力，来做出专属应用。
76810编辑于 2024-05-17- 来自专栏新智元
《主算法》作者 Pedro Domingos 谈机器学习十大误解
为此，机器学习专家、《主算法》作者、华盛顿大学计算机科学教授 Pedro Domingos 日前撰文，指出当下对于机器学习最为常见的十大误解。
65150发布于 2018-03-23 - 来自专栏数据狗说事儿
央企标杆实践：搭建7大主数据域，多业态集团主数据管理体系迈入新时代
作为项目核心技术服务商，亿信华辰深度参与了从需求调研到系统上线的全周期建设，以 “技术适配 + 管理创新 + 业务赋能” 的三维能力，助力企业构建了覆盖 7 大主数据域、适配集团多业态的主数据管理体系。 项目启动时，C集团明确提出主数据管理系统的三大战略目标：标准统一：建立集团级主数据标准体系，实现 “一数一源”；全域贯通：与集团统建及下属企业系统无缝集成，打破数据孤岛；自主可控：系统适配集团PKS体系 系统能力：全场景覆盖，技术适配性100%验收报告显示，主数据管理系统已全面覆盖客商、组织、人力、财务、项目、物料7 大主数据域，支持：全流程管理：从数据建模、清洗、审核到分发、监控的全生命周期管理，配置化工具支持业务人员自主调整模型 技术攻坚：破解多业态集团的 “适配难题”C集团业务场景复杂（如制造业的物料管理、服务业的客户管理），主数据需求差异大。 价值深挖：基于主数据构建 “集团数据资产地图”，支撑跨业务场景的数据分析（如 “客户 - 供应商 - 项目” 关联分析），为战略决策提供更深度的数据支撑。
45200编辑于 2025-08-08 - 来自专栏路人甲Java
MySQL关联查询时，我们为什么建议小表驱动大表？
作者：留兰香丶 blog.csdn.net/codejas/article/details/78632883 有的时候我们在操作数据库时会将两个或多个数据表关联起来通过一些条件筛选数据，在关联表时我们要遵循一些原则 一、优化原则 小表驱动大表，即小的数据集驱动大得数据集。在知道什么是小表驱动达大表之前，我们先来了解两个查询关键字，IN 与 EXISTS。我们通过两段查询语句先来了解一下它们的作用。 我建立了两张表，一张员工表，一张部门表，员工表中有部门id 这个属性，将这两张表关联起来。 ，根据结果TRUE 和 FALSE 来决定主查询中的数据是否需要保留。 在一开始我们就讲了一个优化原则即：小表驱动大表，在我们使用IN 进行关联查询时，通过上面IN 操作的执行顺序，我们是先查询部门表再根据部门表查出来的id 信息查询员工信息。
6.9K22发布于 2020-07-06 - 来自专栏crudapi
零代码实现一对一表关系和无限主子表级联保存
客户资料和客户：一对一（子主方向） [customerRelation] 建立子主方向一对一关系，客户资料customerProfile的客户编号customerId字段，指向客户customer表的编号 id字段，关系的英文名称customer用于查询关联对象的时候，设置导航属性名称为customer，和之前订单和客户多对一关系有点类似，关联对象都是customer对象，不过那个时候多个订单可以关联同一个客户 ，现在一个客户资料只能关联一个客户。 无限子表 通过设置表关系，一对多和一对一（主子方向）理论上可以无限关联下去，所有的表一次性级联保存，比如省市区通常可以达到3级子表，目录文件属于无限子表。 crudapi系统通过配置的方式实现了对象之间的关联，无需编程实现了主子表CRUD操作。
99430发布于 2021-08-21 - 来自专栏1996
机器学习十大经典算法之PCA主成分分析
PCA主成分分析法简介 主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度 也就是说，如果初始变量的范围之间存在较大差异，那么范围较大的变量占的比重较大，和较小的变量相比（例如，范围介于0和100之间的变量较0到1之间的变量会占较大比重），这将导致主成分的偏差。 C 的特征值 λ 和相对应的特征向量 u （每一个特征值对应一个特征向量）： Cu=\lambda u 特征值 λ 会有 N 个，每一个 λ_{i} 对应一个特征向量 u_{i} ，将特征值λ按照从大到小的顺序排序 各主成分之间正交，可消除原始数据成分间的相互影响的因素。 计算方法简单，主要运算是特征值分解，易于实现。 PCA算法的主要缺点 主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。 方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。
1.3K20编辑于 2022-09-23 - 来自专栏罗超频道
OTT大屏“新收视率体系”来了，广告主不再迷茫？
从互联网大厂Q1财报的广告营收数据来看，网络广告行业日子难过：腾讯同比降低17.56%，百度同比下降6.44%…… OTT大屏广告则成为一抹亮色，因为广告主越来越重视品牌建设，这正是OTT大屏擅长的。 再加上有着互联网平台的智能投放能力，因此近年来成为广告主新宠。 凯度在6月联合发布的《2022 智能大屏营销价值报告》调研发现，77%广告主有计划继续投放 OTT，其中31% 的计划增加投入。 要不要投OTT大屏不是问题，问题在于怎么投。 MDS接下来或许将在一定程度上让品牌主更加有的放矢地展开OTT大屏营销，在过程中做到控本增效。 什么是MDS？ 先介绍下提出MDS的凯度。 而在广告呈现方式上，小米在开机、屏保、贴片、插播、主界面、植入广告外，也提供多种贴合OTT大屏特性的创新互动广告。
99210编辑于 2022-07-19 - 来自专栏主数据管理
【KPaaS】数据治理：解决主数据冗余和重复的三大方法
那么，如何有效治理主数据，消除冗余与重复？本文将从实践角度出发，系统阐述解决主数据问题的三大核心方法，并探讨如何借助高效解决方案，构建可持续的主数据治理体系。 ，在财务系统中又简化为“ABC公司”——这种“同物异名”现象直接导致数据无法关联、分析失真。 构建逻辑数据模型（LDM）：统一字段含义、数据类型、必填项及关联关系，确保跨系统语义一致。这一过程并非一次性工程，而需通过制度化流程持续维护。 实践示例：让主数据治理更轻盈高效面对上述三大方法的落地挑战，具备扩展性能的的数据集成解决方案，其在主数据治理场景中展现出独特价值：1. 主数据模型管理KPaaS支持定义主数据实体结构、字段约束与校验规则。企业可快速搭建符合自身业务的客户、物料等主数据模型，并与现有标准对齐。2.
41110编辑于 2025-11-14 - 来自专栏数据魔术师
代码 | 自适应大邻域搜索系列之(2) - ALNS算法主逻辑结构解析
stats.generateStatsFile(pathGlob,pathOp); 21 return (*(bestSolManager->begin()))->isFeasible(); 22 } 03 小结 至此，ALNS主逻辑的代码已经讲完了 并且……后面还有一大波代码有得大家酸爽。 不过还是先把碗里的吃完吧~咱们下期代码再见！
94410发布于 2019-10-18 - 来自专栏QQ大数据团队的专栏
腾讯云ChatBI：多表关联重磅来袭，四大能力升级提升智能分析体验
本文共计2261字 预计阅读时长7分钟 腾讯云ChatBI是腾讯云BI打造的智能分析Agent，基于大模型AI技术，支持用户以自然语言提问获取数据，并从数据中发现变化趋势和潜在问题，进行数据波动归因分析 近期，腾讯云ChatBI新版本发布，推出四大核心能力升级，涵盖选表、数据洞察、知识库和性能等全链路提升，数据智能分析更强大、更灵活！ 精准定位关联：结合数据特征匹配，经智能算法优化，快速锁定表间关联点。 细致关联字段：用 “规则 + 语义” 双重办法，兼顾强关联匹配与柔性关联场景。 深挖隐藏关系：LoRA微调大语言模型，捕捉间接关联，打破传统匹配局限。 智能生成验证：结合领域知识推理，结果可追溯、可验证。 四、性能提升：全链路优化，问答平均耗时降低60%+ 1.大模型服务深度优化，打造极致性能 基于腾讯内部大模型服务团队的深度支持，围绕DeepSeek系列模型从三大维度进行加速： 硬件协同：深度利用NVIDIA
79210编辑于 2025-07-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号