- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL 轻量级多源混算实践
但混算目前技术解决的并不好，同构库之间某些数据库还能支持，而完全异构的数据源实施混算就比较麻烦。 逻辑数据仓库可以一定程度上实现多源混算，由于逻辑数仓大部分是基于 SQL 的，RDB 数据源可以通过表映射访问。但其他类型的数据源就比较困难，需要借助复杂的数据虚拟化技术，还只能部分实现。 SPL 很轻，可以嵌入到应用中使用，让应用本身就能具备多源混算能力。而且，SPL 语法的简洁度甚至超过 SQL，所以用 SPL 做多源混算不仅功能满足，在工程实现上也更加方便。 这里使用 SPL 做多源计算包括以下内容：目录实践 1：在 RDB 上跑 SQL学习 SPL 基本使用，如何与数据库交互，SPL 如何与应用集成实践 2：查询 csv/xls 等文件查询分析文件数据源， 学会分别使用 SPL 原生语法和 SQL 语法处理文件实践 3：查询 Restful/JSON 数据学会使用 SPL 处理多层数据实践 4：查询 MongoDB以 MongoDB 为例学习连接查询其它外部数据源实践
16200编辑于 2025-07-15 - 来自专栏应用计算
查询 RestfulJSON 数据--SPL 轻量级多源混算实践 3
Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。 ,order_details.sum(price*quantity):amount)A3 进行条件过滤，这里直接用点（.）操作符引用下一层级的数据，多层就直接点下去就可以，表达很清晰。 nameOrEmail=tom&userPassword="+md5("mypass")+"&rememberLogin=true")2=A1.read()3=A1.property(" Set-Cookie")4=httpfile("https://192.168.2.52:8503/dataid/1628656263716";"Cookie":A3)5=A4.read()服务器返回 "{\"userId\":\"abc\",\"password\":\"sdfikje87kd908\"}";"Content-Type":"application/json")2=A1.read()3=
21210编辑于 2025-08-05 - 来自专栏应用计算
SQL 移植--SPL 轻量级多源混算实践 7
ORDERDATE) QUA, AMOUNT FROM ORDERS转换后：ORACLE: SELECT EID,AREA,FLOOR((EXTRACT(MONTH FROM ORDERDATE)+2)/3) jobVars=dbType:MYSQL,dbName:mysqlds"代表传递的是 MySQL 数据库类型，数据源名字是 mysqlds。 A3 计算参数个数。B3 将参数拼成一个串，比如两个参数的时候 B3 的结果是这样的。 A4 进行数据源连接，这个数据源是在 raqsoftConfig.xml 中配置的，增加 DB 节点配置相应数据源连接信息即可，多个数据源可以依次配置。 至此，我们实践完了 SPL 如何完成多源混算。诚然，这里并没有穷尽所有多源混算情况，但理解了 SPL 的运行原理，知道如何连接各类数据源，进行多源还是单源计算都是一样的了。
29810编辑于 2025-08-20 - 来自专栏应用计算
查询 MongoDB--SPL 轻量级多源混算实践 4
除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。导入 MongoDB 数据。 外部数据源种类繁多，也不是每种数据源都很常用，所以将这些连接器以外部库的形式提供会更为灵活，以后发现有新的数据源也可以及时补充而不影响现有的数据源。 product_name": "Wireless Mouse", "quantity": 2, "price": 19.99 } ]}现在要查询：orders 集合中订单金额前 3 取出 1 条看看：A3：按客户分组汇总订单金额，后续的计算就都一样了。A4：使用 top 函数取前 3 大客户我们再做个过滤，查询 2025-02-01 之前的订单。 但读数是写在 SPL 脚本里的，而且使用了原生接口，这就意味着如果数据源变化时还要修改脚本，没法做到像逻辑数仓那样对底层数据源完全透明。逻辑数仓的数据源接入依赖的专用连接器，可以做到完全对底层透明。
22700编辑于 2025-08-07 - 来自专栏应用计算
查询 csvxls 等文件--SPL 轻量级多源混算实践 2
orders1.csv（有标题），统计 2024 年各类订单状态的订单金额SPL 语法编写脚本A1：读入 CSV，T() 函数会根据文件扩展名读出文件内容，返回成序表全部加载到内存A2：过滤 2024 年数据A3： A1：加了 @b 选项代表处理无标题文件，读出后字段名会用 _1 _2 _3…来表示A2：就用 _3（第三列）来过滤 2024 年数据。后面的计算是类似的。 where year(order_date)=2024 group by order_status直接基于 CSV 执行 SQL，不仅仅是 CSV，XLS\MongoDB\Restful\Json 各类数据源都可以 需要借助 SPL 语法读入数据再用 SQL 查询：$select _10 order_status,sum(_8) tamt from {T@b("orders2.csv")} where year(_3)
24400编辑于 2025-07-31 - 来自专栏应用计算
跨库 Union，比对--SPL 轻量级多源混算实践 5
相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。 事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同的接口 / 函数）。 useSSL=false&useCursorFetch=true混算把两个表的数据合并一起计算。A2 和 A4 分别查询两个库的 orders 数据，@x 选项表示查询后关闭连接。 无论是跨库，还是跨其他数据源，SPL 就都能很容易完成了。
24700编辑于 2025-08-12 - 来自专栏应用计算
跨库 JOIN---SPL 轻量级多源混算实践 6
数据结构不一样的多源混合计算会更常见，比如不同业务系统混合分析。 日常的等值 JOIN 基本都会涉及主键（多对多的关联基本没有业务意义），大体可以分为两种：维表关联是一种，是普通字段和维表的主键关联（如 citizen_event 和 owner_info）；另一种是某个表的主键与另一个表的主键或部分主键的关联 配置数据源连接vehicle：jdbc:mysql://127.0.0.1:3306/db_vehicle? 找出近一年获得表彰（Commendation）的车主姓名和事件描述，用以识别“优秀市民”3. 再次强调，无论是跨库还是跨其他任何数据源，SPL 在处理时只要数据源能接入，后续计算都一样，因为 SPL 提供了统一的序表和游标数据对象。
27010编辑于 2025-08-14 - 来自专栏应用计算
在 RDB 上跑 SQL----SPL 轻量级多源混算实践 1
RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都可以使用 编写脚本A1：连接数据库A2：执行 SQL 查询，其中 d_year 为脚本参数A3：关闭数据库连接将脚本保存成 1.1DB_SQL.splx，并放置到 寻址路径（Search path）下。 A3：用 SPL 语法进行分组汇总。 了解了 SPL 的基本使用，以及如何基于 RDB 查询数据以后，再读取其他数据源就比较容易了。
18810编辑于 2025-07-17 - 来自专栏宜信技术实践
大数据虚拟混算平台Moonbox配置指南
MOONBOX_LOCAL_HOSTNAME=localhost export MOONBOX_MASTER_HOST=localhost export MOONBOX_MASTER_PORT=2551 请根据实际情况修改 step 3:
75660发布于 2019-07-11 - 来自专栏腾讯云开发者社区头条
混元之力・腾讯混元 AIGC 多模态挑战赛
目前，腾讯混元已形成覆盖文本、图像、视频、3D生成的多模态模型矩阵，助力行业客户与用户打造全场景AIGC应用。 产品介绍：腾讯混元生图_AI图像生成_AI图像处理_大模型图像创作- 腾讯云 API调用：腾讯混元生图 API 概览_腾讯云 混元生3D： 体验入口：腾讯混元3D 产品介绍：腾讯混元生3D_大模型3D 生成_大模型3D创作-腾讯云 API调用：腾讯混元生3D API 概览_腾讯云 混元生视频： 体验入口：腾讯混元AI视频 产品介绍：腾讯混元生视频_大模型视频生成_大模型视频处理_大模型视频创作-腾讯云 本次征集包含文章赛道和视频赛道两类征集，鼓励从多角度、多领域探索腾讯混元大模型AIGC能力应用，建议围绕以下方向创作投稿： 1. 混元AIGC+多模态协同应用 探索混元生文、生图、生视频、生3D能力与腾讯云文字识别、语音识别、语音合成等AI基础产品协同或集成应用，例如： ● 营销内容生成：使用混元生文编写广告文案、短视频脚本，使用混元生图
8.9K76编辑于 2025-10-22 - 来自专栏java之旅
SpringBoot连接多RabbitMQ源
spring.rabbitmq.publisher-returns=true v1.spring.rabbitmq.listener.simple.prefetch=5 重写连接工厂 需要注意的是，在多源的情况下 consumer(String message) { System.out.println(message); } } 这样就完成了SpringBoot连接多个RabbitMQ源的示例了 topicProducerTest() { topicProducer.sendMessageByTopic(); } } 执行测试代码，验证结果为： [验证结果] 验证SpringBoot连接多RabbitMQ 源成功！
3.5K30发布于 2020-01-07 - 来自专栏C/C＋＋、数据结构、算法
BFS：多源BFS问题
const int dy[4]={0,0,1,-1}; vector<vector<int>> updateMatrix(vector<vector<int>>& mat) { //多源 q.emplace(i,j); vis[i][j]=true; } //进行多源 { q.emplace(i,j); vv[i][j]=0; } //多源 grid[i][j]==1) { q.emplace(i,j); vv[i][j]=0; } //多源
29610编辑于 2024-07-16 - 来自专栏数据结构与算法
1077 多源最短路
1077 多源最短路 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题解 查看运行结果 题目描述 Description 已知n个点(n<=100)，给你n* 样例输入 Sample Input 3 0 1 1 1 0 3 1 3 0 1 2 3 样例输出 Sample Output 2 数据范围及提示 Data Size & Hint n<=100，Q可能非常大 1 #include<iostream> 2 #include<cstdio> 3 #include<cstring> 4 using namespace std; 5 int map[1001
71780发布于 2018-04-12 - 来自专栏不一样的科技宅
SpringBoot多邮件源发送邮件
最近由于业务需要，需要使用邮件对用户进行通知，但是单个邮箱有发送限制，当推送量过多时，经常会出现失败，于是考虑使用多个邮箱进行发送，由于spring-boot-starter-mail不支持同时配置多个邮件源， 为了实现多邮件源，可以参照上述逻辑。在配置文件内配置好，多个邮件源。然后读取配置文件，手动对JavaMailSender进行配置，并将其初始化完毕的JavaMailSender存储容器内。 拓展 上述是将邮箱配置写入配置文件，在没有使用配置中心的情况下，如果邮箱源被限制，更改起来相对麻烦。可以将配置存入数据库，在启动的时候从数据库进行加载。 如果邮箱源发生更改，可直接更改数据库邮箱源配置，然后调用MailSenderConfig.clear()方法，等待下次发送的时候，会重新初始化配置。
6.2K194172发布于 2020-09-19 - 来自专栏全栈程序员必看
kalilinux更换源(pip3换源)
文件位置：/etc/apt/soucrce.list 注释kali原来的源，下面添加任意一个源即可 # kali官方源 deb http://http.kali.org/ moto main non-free main contrib non-free deb-src http://security.kali.org/ moto/updates main contrib non-free #中科大kali源 non-free contrib deb http://mirrors.ustc.edu.cn/kali-security kali/updates main contrib non-free #新加坡kali源 non-free deb-src http://mirror.nus.edu.sg/kali/kali-security kali/updates main contrib non-free #阿里云kali源 contrib deb http://mirrors.163.com/debian-security wheezy/updates main non-free contrib #阿里云kali源
2.6K21编辑于 2022-07-25 - 来自专栏运维经验分享
MySql5.7-多源复制（多主单从） 原
information_schema binlog-ignore-db=performance_schema binlog-ignore-db=sys #这个比较重要，直接影响同步的性能 延时等问题.mysql5.7多源复制参数 1.4从库配置 #确保唯一 server-id = 3 #复制的库，不指定默认备份全部库 replicate-do-db = master1 replicate-do-db = master2 #不复制的库 slave-skip-errors = 1062,1053,1146,1213,1264,1205,1396 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES #mysql5.7多源复制必须添加的参数 ,之前都是单间单主多从。 听到多主单从后，表示一脸懵比。查询一番话。原来是MySql5.7新出的功能。 MySql5.7新功能-多源复制，可以节省服务器成本。提高服务器利用率。搭建和之前的版本大致步骤类似。
3.3K21发布于 2019-03-11 - 来自专栏SEian.G学习记录
MySQL多源复制之复制过滤
在上一篇文章《深入了解MySQL多源复制》中，介绍了MySQL多源复制的相关内容，本文将继续讲解MySQL多源复制，主要内容是过滤复制以及在已有复制过滤配置中新增复制对象； 首先，来看一下MySQL 复制中复制过滤器 ，就需要在把多个源需要过滤的库表进行进行配置；这样是不是就不如8.0支持FOR CHANNEL channel更方便一些了呢； 上面说完了多源复制中的复制过滤的相关内容，那么在实际的生产中有如下的需求： 1的db1 和 主2的db3，已经运行一段时间了。 使用mysqldump 导出 db2（记录pos1)，并导入多源从库。 2. 停止多源从库的sql线程（STOP SLAVE SQL_THREAD ），并记录此刻同步到主1的位置pos2。 3. 在线修改多源从库的过滤条件（CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE = (‘db1.%’,’db2.%’,’db3.%’);） 5.启动sql_thread
2.7K40发布于 2021-04-15 - 来自专栏数据库相关
MySQL5.7的多源复制
MySQL5.7多源复制的实验 环境： node1: 192.168.2.171 主库1 node3: 192.168.2.170 主库2 node2: 192.168.2.172 归档用的从库 2、先将node1、node3上的备份mysqldump -uxx -pxx -q --single-transaction --master-data=2 导入到node2上。 3、在node2上配置主从复制 node2上执行： change master to master_host='192.168.2.171', master_user='rpl', master_password
71720发布于 2019-09-17 - 来自专栏指点的专栏
Floyd算法--多源最短路径
那么Floyd算法的时间复杂度呢，在这个代码中算法的时间复杂度是O(N^3)，相比其他最短路算法，还是比较高的，但是这个算法可以求多源最短路径，而且代码相对简单，所以这个算法还是较优的。
1.9K10发布于 2019-01-18 - 来自专栏SEian.G学习记录
MySQL多源复制你了解多少？
本文主要讲解MySQL多源复制相关内容，包括搭建一个简单的多源复制环境； 一、概述 MySQL多源复制使副本能够并行接收来自多个数据源的事务。 在多源复制拓扑中，副本应该为每个数据源创建一个复制通道。在多源复制拓扑中的一个从服务器上最多可以创建256个通道。 每个复制通道必须具有唯一的（非空）名称； 多源复制可以满足的场景： （1）将多个服务器备份到单个服务器。 （2）合并表碎片。 （3）将数据从多个服务器整合到单个服务器。 在应用事务时，多源复制不会实现任何冲突检测或解决方案，并且如果需要，这些任务将留给应用程序。 注意 多源复制的从库上的每个通道必须从不同的源复制。 多源复制拓扑至少需要配置两个源和一个副本。
1.4K20发布于 2021-04-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号