- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL 轻量级多源混算实践
但混算目前技术解决的并不好，同构库之间某些数据库还能支持，而完全异构的数据源实施混算就比较麻烦。 逻辑数据仓库可以一定程度上实现多源混算，由于逻辑数仓大部分是基于 SQL 的，RDB 数据源可以通过表映射访问。但其他类型的数据源就比较困难，需要借助复杂的数据虚拟化技术，还只能部分实现。 SPL 很轻，可以嵌入到应用中使用，让应用本身就能具备多源混算能力。而且，SPL 语法的简洁度甚至超过 SQL，所以用 SPL 做多源混算不仅功能满足，在工程实现上也更加方便。 这里列出了 SPL 支持的部分数据源，基本包含了常见的数据源。 这里使用 SPL 做多源计算包括以下内容：目录实践 1：在 RDB 上跑 SQL学习 SPL 基本使用，如何与数据库交互，SPL 如何与应用集成实践 2：查询 csv/xls 等文件查询分析文件数据源，
15800编辑于 2025-07-15 - 来自专栏应用计算
SQL 移植--SPL 轻量级多源混算实践 7
SPL 提供了标准 JDBC 支持，不过与一般数据库 JDBC 不同，SPL 的 URL 允许传递参数，指定 jobVars 代表 SPL 中的任务变量（线程有效），这样我们可以为每次执行脚本传递数据源信息 jobVars=dbType:MYSQL,dbName:mysqlds"代表传递的是 MySQL 数据库类型，数据源名字是 mysqlds。 A1 中判断 dbName 变量是否存在，如果不存在则在 B1 调用初始化脚本 initGlobalVars.splx：这个脚本读取配置文件中的数据源名称和数据库类型，用 ENV 函数放置在全局变量 dbType A4 进行数据源连接，这个数据源是在 raqsoftConfig.xml 中配置的，增加 DB 节点配置相应数据源连接信息即可，多个数据源可以依次配置。 至此，我们实践完了 SPL 如何完成多源混算。诚然，这里并没有穷尽所有多源混算情况，但理解了 SPL 的运行原理，知道如何连接各类数据源，进行多源还是单源计算都是一样的了。
29610编辑于 2025-08-20 - 来自专栏应用计算
查询 RestfulJSON 数据--SPL 轻量级多源混算实践 3
Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。
21210编辑于 2025-08-05 - 来自专栏应用计算
查询 MongoDB--SPL 轻量级多源混算实践 4
除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。导入 MongoDB 数据。 外部库SPL 支持的多种数据源大概分两类，一类是像 RDB 有 JDBC 直接使用，或者文件等直接读取；另一类是像 MongoDB 等非关系数据源是在官方驱动上进行了简单封装，具体以“外部库”的形式提供 外部数据源种类繁多，也不是每种数据源都很常用，所以将这些连接器以外部库的形式提供会更为灵活，以后发现有新的数据源也可以及时补充而不影响现有的数据源。 这里以 MongoDB 来举例说明 SPL 连接特殊数据源时的处理方式。其他数据源也是类似配置外部库，然后使用对应的原生语法访问即可。 但读数是写在 SPL 脚本里的，而且使用了原生接口，这就意味着如果数据源变化时还要修改脚本，没法做到像逻辑数仓那样对底层数据源完全透明。逻辑数仓的数据源接入依赖的专用连接器，可以做到完全对底层透明。
22600编辑于 2025-08-07 - 来自专栏应用计算
查询 csvxls 等文件--SPL 轻量级多源混算实践 2
where year(order_date)=2024 group by order_status直接基于 CSV 执行 SQL，不仅仅是 CSV，XLS\MongoDB\Restful\Json 各类数据源都可以
24400编辑于 2025-07-31 - 来自专栏应用计算
跨库 JOIN---SPL 轻量级多源混算实践 6
数据结构不一样的多源混合计算会更常见，比如不同业务系统混合分析。 traffic_violation 和 vehicle_master 这两个表也是一对多的关系，规模都可能很大，从后者的角度来看，traffic 更像一个子表，这两个表构成主子关系（plato_no 是 日常的等值 JOIN 基本都会涉及主键（多对多的关联基本没有业务意义），大体可以分为两种：维表关联是一种，是普通字段和维表的主键关联（如 citizen_event 和 owner_info）；另一种是某个表的主键与另一个表的主键或部分主键的关联 配置数据源连接vehicle：jdbc:mysql://127.0.0.1:3306/db_vehicle? 再次强调，无论是跨库还是跨其他任何数据源，SPL 在处理时只要数据源能接入，后续计算都一样，因为 SPL 提供了统一的序表和游标数据对象。
26810编辑于 2025-08-14 - 来自专栏应用计算
跨库 Union，比对--SPL 轻量级多源混算实践 5
相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。 事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同的接口 / 函数）。 useSSL=false&useCursorFetch=true混算把两个表的数据合并一起计算。A2 和 A4 分别查询两个库的 orders 数据，@x 选项表示查询后关闭连接。 无论是跨库，还是跨其他数据源，SPL 就都能很容易完成了。
24600编辑于 2025-08-12 - 来自专栏应用计算
在 RDB 上跑 SQL----SPL 轻量级多源混算实践 1
RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都可以使用 了解了 SPL 的基本使用，以及如何基于 RDB 查询数据以后，再读取其他数据源就比较容易了。
18810编辑于 2025-07-17 - 来自专栏数据计算
SPL轻量级多源混合计算
但混算需求目前技术解决的并不好，同构库之间某些数据库还能支持，而完全异构的数据源实施混算就比较麻烦。 经常要借助逻辑数据仓库，但基于SQL的逻辑数仓不仅能力有限，而且体系过于沉重，经常会比应用本身还复杂，只适合应用于大型场景中，并不适合众多日常的轻量多源混算场景。 SPL很轻，可以嵌入到应用中使用，让应用本身就能具备多源混算能力。而且，SPL语法的简洁度甚至超过SQL，所以用SPL做多源混算不仅功能满足，在工程实现上也更加方便。 以MongoDB为例，SPL连接、读取、和MySQL混算也是一气呵成：SPL不仅能处理小数据，当数据大到内存装不下时，就要用到SPL提供的游标机制，分批加载到内存处理数据。 我们已经将SPL做多源混合计算的各种情况做成了免费课程，6月20日线上直播~~乾学院通过本课程，您将快速掌握多源数据融合计算能力，轻松实现跨库/文件/API/NoSQL的混合计算，完成从轻量级方案设计到
21800编辑于 2025-06-19 - 来自专栏宜信技术实践
大数据虚拟混算平台Moonbox配置指南
moonbox-0.3.0-beta下载：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta
75660发布于 2019-07-11 - 来自专栏腾讯云开发者社区头条
混元之力・腾讯混元 AIGC 多模态挑战赛
，在高质量的内容创作、数理逻辑、代码生成、多轮对话、图像与视频生产上性能表现优越，处于业界领先水平。 目前，腾讯混元已形成覆盖文本、图像、视频、3D生成的多模态模型矩阵，助力行业客户与用户打造全场景AIGC应用。 本次征集包含文章赛道和视频赛道两类征集，鼓励从多角度、多领域探索腾讯混元大模型AIGC能力应用，建议围绕以下方向创作投稿： 1. 混元AIGC+多模态协同应用 探索混元生文、生图、生视频、生3D能力与腾讯云文字识别、语音识别、语音合成等AI基础产品协同或集成应用，例如： ● 营销内容生成：使用混元生文编写广告文案、短视频脚本，使用混元生图 ● 教育培训内容生产：通过腾讯云OCR提取教材文字，使用混元生文生成讲义摘要、生图辅助可视化、生视频生成讲解内容，并结合腾讯云TTS配音，快速生成多模态课程资源与微课视频。
8.9K76编辑于 2025-10-22 - 来自专栏java之旅
SpringBoot连接多RabbitMQ源
spring.rabbitmq.publisher-returns=true v1.spring.rabbitmq.listener.simple.prefetch=5 重写连接工厂 需要注意的是，在多源的情况下 consumer(String message) { System.out.println(message); } } 这样就完成了SpringBoot连接多个RabbitMQ源的示例了 topicProducerTest() { topicProducer.sendMessageByTopic(); } } 执行测试代码，验证结果为： [验证结果] 验证SpringBoot连接多RabbitMQ 源成功！
3.5K30发布于 2020-01-07 - 来自专栏数据结构与算法
1077 多源最短路
1077 多源最短路 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题解 查看运行结果 题目描述 Description 已知n个点(n<=100)，给你n*
71680发布于 2018-04-12 - 来自专栏C/C＋＋、数据结构、算法
BFS：多源BFS问题
const int dy[4]={0,0,1,-1}; vector<vector<int>> updateMatrix(vector<vector<int>>& mat) { //多源 q.emplace(i,j); vis[i][j]=true; } //进行多源 { q.emplace(i,j); vv[i][j]=0; } //多源 grid[i][j]==1) { q.emplace(i,j); vv[i][j]=0; } //多源
29410编辑于 2024-07-16 - 来自专栏不一样的科技宅
SpringBoot多邮件源发送邮件
最近由于业务需要，需要使用邮件对用户进行通知，但是单个邮箱有发送限制，当推送量过多时，经常会出现失败，于是考虑使用多个邮箱进行发送，由于spring-boot-starter-mail不支持同时配置多个邮件源， 为了实现多邮件源，可以参照上述逻辑。在配置文件内配置好，多个邮件源。然后读取配置文件，手动对JavaMailSender进行配置，并将其初始化完毕的JavaMailSender存储容器内。 拓展 上述是将邮箱配置写入配置文件，在没有使用配置中心的情况下，如果邮箱源被限制，更改起来相对麻烦。可以将配置存入数据库，在启动的时候从数据库进行加载。 如果邮箱源发生更改，可直接更改数据库邮箱源配置，然后调用MailSenderConfig.clear()方法，等待下次发送的时候，会重新初始化配置。
6.2K194172发布于 2020-09-19 - 来自专栏运维经验分享
MySql5.7-多源复制（多主单从） 原
information_schema binlog-ignore-db=performance_schema binlog-ignore-db=sys #这个比较重要，直接影响同步的性能 延时等问题.mysql5.7多源复制参数 slave-skip-errors = 1062,1053,1146,1213,1264,1205,1396 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES #mysql5.7多源复制必须添加的参数 ,之前都是单间单主多从。 听到多主单从后，表示一脸懵比。查询一番话。原来是MySql5.7新出的功能。 MySql5.7新功能-多源复制，可以节省服务器成本。提高服务器利用率。搭建和之前的版本大致步骤类似。 以后也可以放到内网的yum源上，方便重复安装，每天记录一点点。 (adsbygoogle = window.adsbygoogle || []).push({});
3.3K21发布于 2019-03-11 - 来自专栏GitHubDaily
一个比 SQL 还快的数据库语言，开源了！
总体来说，像涉及跑批慢、查询慢等性能问题；数据库压力问题；SQL 难写难维护问题；多数据源混算问题；应用结构不合理问题，这些都是 esProc SPL 要解决的。 多源混算 esProc SPL 的开放体系允许计算来自不同数据源的数据，并可以实施混合计算。这样不仅可以保持数据源多样性的优势（各类数据源有自身的优点），数据的实时性和计算的灵活性也更高。 4. 实时数据 实时数据源可以直接接入 esProc SPL，不需要做外部映射，直接读取和使用更加高效。在多源混算能力的支持下，接入实时数据就可以轻松实现 T+0 查询，有利于更高效地发挥数据价值。 esProc SPL 对多数据源的支持再一次体现了全功能，同时 esProc SPL 由于没有元数据，多数据源可以直接访问并进行混合计算因此更轻，这是 esProc SPL 轻量级的另一面。 灵活开放esProc SPL 支持多数据源混合计算，有效利用多源优势的同时还能以最小代价实现 HTAP。而且 esProc SPL 还可以集成嵌入到应用中使用，做到真正的开放、灵活。
1.9K20编辑于 2023-04-27 - 来自专栏SEian.G学习记录
MySQL多源复制之复制过滤
在上一篇文章《深入了解MySQL多源复制》中，介绍了MySQL多源复制的相关内容，本文将继续讲解MySQL多源复制，主要内容是过滤复制以及在已有复制过滤配置中新增复制对象； 首先，来看一下MySQL 复制中复制过滤器 区别就在于，在多源复制的情况，可以为单独的复制通道配置复制过滤，而在8.0之前的版本是无法做到的 如果是在5.7环境中执行下面的语法 CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE ，就需要在把多个源需要过滤的库表进行进行配置；这样是不是就不如8.0支持FOR CHANNEL channel更方便一些了呢； 上面说完了多源复制中的复制过滤的相关内容，那么在实际的生产中有如下的需求： 使用mysqldump 导出 db2（记录pos1)，并导入多源从库。 2. 停止多源从库的sql线程（STOP SLAVE SQL_THREAD ），并记录此刻同步到主1的位置pos2。 3. 在线修改多源从库的过滤条件（CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE = (‘db1.%’,’db2.%’,’db3.%’);） 5.启动sql_thread
2.7K40发布于 2021-04-15 - 来自专栏数据库相关
MySQL5.7的多源复制
MySQL5.7多源复制的实验 环境： node1: 192.168.2.171 主库1 node3: 192.168.2.170 主库2 node2: 192.168.2.172 归档用的从库
71720发布于 2019-09-17 - 来自专栏指点的专栏
Floyd算法--多源最短路径
那么Floyd算法的时间复杂度呢，在这个代码中算法的时间复杂度是O(N^3)，相比其他最短路算法，还是比较高的，但是这个算法可以求多源最短路径，而且代码相对简单，所以这个算法还是较优的。
1.9K10发布于 2019-01-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号