- 综合排序
- 最热优先
- 最新优先
- 来自专栏应用计算
SPL 轻量级多源混算实践
但混算目前技术解决的并不好，同构库之间某些数据库还能支持，而完全异构的数据源实施混算就比较麻烦。 逻辑数据仓库可以一定程度上实现多源混算，由于逻辑数仓大部分是基于 SQL 的，RDB 数据源可以通过表映射访问。但其他类型的数据源就比较困难，需要借助复杂的数据虚拟化技术，还只能部分实现。 SPL 很轻，可以嵌入到应用中使用，让应用本身就能具备多源混算能力。而且，SPL 语法的简洁度甚至超过 SQL，所以用 SPL 做多源混算不仅功能满足，在工程实现上也更加方便。 这里列出了 SPL 支持的部分数据源，基本包含了常见的数据源。 这里使用 SPL 做多源计算包括以下内容：目录实践 1：在 RDB 上跑 SQL学习 SPL 基本使用，如何与数据库交互，SPL 如何与应用集成实践 2：查询 csv/xls 等文件查询分析文件数据源，
16200编辑于 2025-07-15 - 来自专栏应用计算
SQL 移植--SPL 轻量级多源混算实践 7
xml version="1.0" encoding="utf-8"? SPL 提供了标准 JDBC 支持，不过与一般数据库 JDBC 不同，SPL 的 URL 允许传递参数，指定 jobVars 代表 SPL 中的任务变量（线程有效），这样我们可以为每次执行脚本传递数据源信息 jobVars=dbType:MYSQL,dbName:mysqlds"代表传递的是 MySQL 数据库类型，数据源名字是 mysqlds。 A4 进行数据源连接，这个数据源是在 raqsoftConfig.xml 中配置的，增加 DB 节点配置相应数据源连接信息即可，多个数据源可以依次配置。 至此，我们实践完了 SPL 如何完成多源混算。诚然，这里并没有穷尽所有多源混算情况，但理解了 SPL 的运行原理，知道如何连接各类数据源，进行多源还是单源计算都是一样的了。
29810编辑于 2025-08-20 - 来自专栏应用计算
查询 RestfulJSON 数据--SPL 轻量级多源混算实践 3
Restful 数据源也很常见，而且 Restful 的数据几乎都是 json 格式的，所以这两个放在一起来讲。
21210编辑于 2025-08-05 - 来自专栏应用计算
查询 MongoDB--SPL 轻量级多源混算实践 4
除了以上常见数据源，还有 NoSQL、MQ 等数据源，其中以 MongoDB 最为常用。我们用 SPL 连接 MongoDB 做计算。导入 MongoDB 数据。 外部库SPL 支持的多种数据源大概分两类，一类是像 RDB 有 JDBC 直接使用，或者文件等直接读取；另一类是像 MongoDB 等非关系数据源是在官方驱动上进行了简单封装，具体以“外部库”的形式提供 外部数据源种类繁多，也不是每种数据源都很常用，所以将这些连接器以外部库的形式提供会更为灵活，以后发现有新的数据源也可以及时补充而不影响现有的数据源。 这里以 MongoDB 来举例说明 SPL 连接特殊数据源时的处理方式。其他数据源也是类似配置外部库，然后使用对应的原生语法访问即可。 但读数是写在 SPL 脚本里的，而且使用了原生接口，这就意味着如果数据源变化时还要修改脚本，没法做到像逻辑数仓那样对底层数据源完全透明。逻辑数仓的数据源接入依赖的专用连接器，可以做到完全对底层透明。
22700编辑于 2025-08-07 - 来自专栏应用计算
查询 csvxls 等文件--SPL 轻量级多源混算实践 2
where year(order_date)=2024 group by order_status直接基于 CSV 执行 SQL，不仅仅是 CSV，XLS\MongoDB\Restful\Json 各类数据源都可以 处理无标题 CSV 时要复杂一些，需要借助 SPL 语法读入数据再用 SQL 查询：$select _10 order_status,sum(_8) tamt from {T@b("orders2.csv
24400编辑于 2025-07-31 - 来自专栏应用计算
跨库 Union，比对--SPL 轻量级多源混算实践 5
相同结构的数据按照年份存储到不同数据库时，要进行数据统计就会涉及多库混合计算。 事实上，不管是数据库还是其他任何存储介质，相同结构数据合并都是类似的，只是读取数据这一步有所不同（不同数据源有不同的接口 / 函数）。 useSSL=false&useCursorFetch=true混算把两个表的数据合并一起计算。A2 和 A4 分别查询两个库的 orders 数据，@x 选项表示查询后关闭连接。 但奇怪的是只有 B7 有结果，B8-B10 都是空的。这是因为游标是一次性的，一次遍历完就结束了，后面的计算也就没法再进行了。 无论是跨库，还是跨其他数据源，SPL 就都能很容易完成了。
24700编辑于 2025-08-12 - 来自专栏应用计算
跨库 JOIN---SPL 轻量级多源混算实践 6
数据结构不一样的多源混合计算会更常见，比如不同业务系统混合分析。 traffic_violation 和 vehicle_master 这两个表也是一对多的关系，规模都可能很大，从后者的角度来看，traffic 更像一个子表，这两个表构成主子关系（plato_no 是 日常的等值 JOIN 基本都会涉及主键（多对多的关联基本没有业务意义），大体可以分为两种：维表关联是一种，是普通字段和维表的主键关联（如 citizen_event 和 owner_info）；另一种是某个表的主键与另一个表的主键或部分主键的关联 配置数据源连接vehicle：jdbc:mysql://127.0.0.1:3306/db_vehicle? 再次强调，无论是跨库还是跨其他任何数据源，SPL 在处理时只要数据源能接入，后续计算都一样，因为 SPL 提供了统一的序表和游标数据对象。
27010编辑于 2025-08-14 - 来自专栏应用计算
在 RDB 上跑 SQL----SPL 轻量级多源混算实践 1
RDB 是 SPL 的 Native 数据源，SPL 通过 JDBC 与数据库交互，可以动态生成 / 拼接 SQL，也可以为 SQL 传递参数，原来在 Java 等语言与 SQL 结合的场景都可以使用 了解了 SPL 的基本使用，以及如何基于 RDB 查询数据以后，再读取其他数据源就比较容易了。
18810编辑于 2025-07-17 - 来自专栏宜信技术实践
大数据虚拟混算平台Moonbox配置指南
moonbox-0.3.0-beta下载：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta
75660发布于 2019-07-11 - 来自专栏禅境花园
centos 8 源更新
Centos 8 在 2021年底仓库全部停止运营, 之前的源都不能用了 问题 centos yum报错 - Status code: 404 for https://mirrors.aliyun.com /centos/centos/8/AppStream/x86_6 替换源 在进行修改之前最好将 /etc/yum.repos.d/ 下的所有文件做一个备份，当出现不可知的情况时，可以通过 cat /var gpgcheck=1 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial 2.如果是外网服务器，可以用facebook的源， 修改方法同上： AppStream 的 baseurl 填： http://mirror.facebook.net/centos/8-stream/AppStream/x86_64/os/ BaseOS 的 baseurl 填： http://mirror.facebook.net/centos/8-stream/BaseOS/x86_64/os/ 重建cache并更新 $ dnf clean all
1.7K40编辑于 2022-10-25 - 来自专栏腾讯云开发者社区头条
混元之力・腾讯混元 AIGC 多模态挑战赛
（15个工作日内） 腾讯混元大模型由腾讯全链路自研，在高质量的内容创作、数理逻辑、代码生成、多轮对话、图像与视频生产上性能表现优越，处于业界领先水平。 目前，腾讯混元已形成覆盖文本、图像、视频、3D生成的多模态模型矩阵，助力行业客户与用户打造全场景AIGC应用。 本次征集包含文章赛道和视频赛道两类征集，鼓励从多角度、多领域探索腾讯混元大模型AIGC能力应用，建议围绕以下方向创作投稿： 1. 混元AIGC+多模态协同应用 探索混元生文、生图、生视频、生3D能力与腾讯云文字识别、语音识别、语音合成等AI基础产品协同或集成应用，例如： ● 营销内容生成：使用混元生文编写广告文案、短视频脚本，使用混元生图 ● 教育培训内容生产：通过腾讯云OCR提取教材文字，使用混元生文生成讲义摘要、生图辅助可视化、生视频生成讲解内容，并结合腾讯云TTS配音，快速生成多模态课程资源与微课视频。
8.9K76编辑于 2025-10-22 - 来自专栏java之旅
SpringBoot连接多RabbitMQ源
spring.rabbitmq.publisher-returns=true v1.spring.rabbitmq.listener.simple.prefetch=5 重写连接工厂 需要注意的是，在多源的情况下 consumer(String message) { System.out.println(message); } } 这样就完成了SpringBoot连接多个RabbitMQ源的示例了 topicProducerTest() { topicProducer.sendMessageByTopic(); } } 执行测试代码，验证结果为： [验证结果] 验证SpringBoot连接多RabbitMQ 源成功！
3.5K30发布于 2020-01-07 - 来自专栏C/C＋＋、数据结构、算法
BFS：多源BFS问题
const int dy[4]={0,0,1,-1}; vector<vector<int>> updateMatrix(vector<vector<int>>& mat) { //多源 q.emplace(i,j); vis[i][j]=true; } //进行多源 { q.emplace(i,j); vv[i][j]=0; } //多源 grid[i][j]==1) { q.emplace(i,j); vv[i][j]=0; } //多源
29610编辑于 2024-07-16 - 来自专栏数据结构与算法
1077 多源最短路
1077 多源最短路 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题解 查看运行结果 题目描述 Description 已知n个点(n<=100)，给你n* include<cstdio> 3 #include<cstring> 4 using namespace std; 5 int map[1001][1001]; 6 int main() 7 { 8
71780发布于 2018-04-12 - 来自专栏新智元
智源Emu开源！超越DeepMind，刷新8项SOTA，首个「多模态-to-多模态」全能高手
新智元报道 来源：智源研究院 【新智元导读】最近，智源研究院开源了全新的统一多模态预训练模型——Emu。不仅在8项基准测试中表现优异，而且还超越了此前的一众SOTA。 首个打通从多模态输入到多模态输出的「全能高手」，统一多模态预训练模型Emu开源，来自智源研究院「悟道·视界」研究团队。 超越了此前DeepMind的多模态大模型Flamingo，Emu刷新8项性能指标；并且模型能力覆盖图像与文本的生成及视频理解，更通用，能完成任意图生文以及文生图的多模态任务。 如何把海量多模态数据包括视频数据纳入一个更加「统一」的多模态学习框架，从而提升多模态大模型的通用性，智源视觉团队解决了几个重要问题： 1. 智源视觉团队采用的多模态交错数据具体包括图像-文本对 (LAION-2B、LAION-COCO)、交错图像-文本数据 (MMC4)、视频-文本对 (Webvid-10M) 和交错视频-文本数据 (YT
61721编辑于 2023-08-07 - 来自专栏Python 知识大全
8-用算符（中）
=的优先级相等，<、<=、>、>=的优先级相等，且前者的优先级低于后者 例如2==3>1 ：先算3>1，条件成立，结果为1。再计算2==1，条件不成立，结果为0。因此2==3>1的结果为0。 2> 关系运算符的结合方向为“从左往右” 例如4>3>2 ：先算4>3，条件成立，结果为1。再与2比较，即1>2，条件不成立，结果为0。因此4>3>2的结果为0。 3> 关系运算符的优先级小于算术运算符 例如3+4>8-2 ：先计算3+4，结果为7。再计算8-2，结果为6。最后计算7>6，条件成立，结果为1。因此3+4>8-2的结果为1。
56720发布于 2020-02-13 - 来自专栏不一样的科技宅
SpringBoot多邮件源发送邮件
为了实现多邮件源，可以参照上述逻辑。在配置文件内配置好，多个邮件源。然后读取配置文件，手动对JavaMailSender进行配置，并将其初始化完毕的JavaMailSender存储容器内。 password: 123456 host: smtp.qq.com port: 25 protocol: smtp default-encoding: UTF-8 password: 123456 host: smtp.qq.com port: 25 protocol: smtp default-encoding: UTF-8 拓展 上述是将邮箱配置写入配置文件，在没有使用配置中心的情况下，如果邮箱源被限制，更改起来相对麻烦。可以将配置存入数据库，在启动的时候从数据库进行加载。 如果邮箱源发生更改，可直接更改数据库邮箱源配置，然后调用MailSenderConfig.clear()方法，等待下次发送的时候，会重新初始化配置。
6.2K194172发布于 2020-09-19 - 来自专栏运维经验分享
MySql5.7-多源复制（多主单从） 原
information_schema binlog-ignore-db=performance_schema binlog-ignore-db=sys #这个比较重要，直接影响同步的性能 延时等问题.mysql5.7多源复制参数 slave-skip-errors = 1062,1053,1146,1213,1264,1205,1396 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES #mysql5.7多源复制必须添加的参数 ,之前都是单间单主多从。 听到多主单从后，表示一脸懵比。查询一番话。原来是MySql5.7新出的功能。 MySql5.7新功能-多源复制，可以节省服务器成本。提高服务器利用率。搭建和之前的版本大致步骤类似。 以后也可以放到内网的yum源上，方便重复安装，每天记录一点点。 (adsbygoogle = window.adsbygoogle || []).push({});
3.3K21发布于 2019-03-11 - 来自专栏建站闲谈
CentOS 8: yum设置为源
repo backup/ 2、下载源文件 curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.
10.8K31编辑于 2022-02-25 - 来自专栏SEian.G学习记录
MySQL多源复制之复制过滤
在上一篇文章《深入了解MySQL多源复制》中，介绍了MySQL多源复制的相关内容，本文将继续讲解MySQL多源复制，主要内容是过滤复制以及在已有复制过滤配置中新增复制对象； 首先，来看一下MySQL 复制中复制过滤器 区别就在于，在多源复制的情况，可以为单独的复制通道配置复制过滤，而在8.0之前的版本是无法做到的 如果是在5.7环境中执行下面的语法 CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE ，就需要在把多个源需要过滤的库表进行进行配置；这样是不是就不如8.0支持FOR CHANNEL channel更方便一些了呢； 上面说完了多源复制中的复制过滤的相关内容，那么在实际的生产中有如下的需求： 使用mysqldump 导出 db2（记录pos1)，并导入多源从库。 2. 停止多源从库的sql线程（STOP SLAVE SQL_THREAD ），并记录此刻同步到主1的位置pos2。 3. 在线修改多源从库的过滤条件（CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE = (‘db1.%’,’db2.%’,’db3.%’);） 5.启动sql_thread
2.7K40发布于 2021-04-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号