首页
学习
活动
专区
圈层
工具
发布
首页标签数据集成

#数据集成

轻量化、可视化、开放化的数据集成工具

多系统数据每天汇总,如何从人工处理走向稳定数据流程?

吴同

通过数据连接接入需要使用的数据库,通过数据开发完成数据准备和加工,再通过数据集成建立数据同步任务。任务执行后,可以继续查看运行实例和日志;同步完成以后,还可以直...

2400

3 月开始贡献,半年成长为 Committer:Apache SeaTunnel 贡献者牛志伟的开源故事

Apache SeaTunnel

最近,Apache SeaTunnel 社区迎来了一位新 Committer!相信很多社区成员对他并不陌生:他长期活跃于 GitHub Issue 讨论中,积极...

4600

企业数据集成服务商选型指南:破解数据孤岛落地攻略

用户12769577

数据集成是企业数字化体系中的核心基础工程,指针对企业内部ERP、CRM、财务、招采、仓储、OA、自建业务系统、云端SaaS平台等多源异构数据,通过标准化的采集、...

10610

记一次连接器改造经历:为什么我把 BigQuery Sink 从待处理流重构为缓冲流?

Apache SeaTunnel

在为 Apache SeaTunnel 开发 BigQuery Sink 连接器的过程中,我最初认为最大的挑战会很直接:确保数据能够正确写入 BigQuery。

7300

异构数据集成衔接实战:位点锚定+分片校验,割接不再丢两小时数据

数据库小学妹

异构数据集成做落地,全量初始化跑完只算走了一半。真正定成败的是下一步:增量怎么接上,接上之后怎么证明两边真的一致。这篇就按"锚位点—并行追—判追平—分片校验—熔...

13410

Kafka Topic 扩容后,Apache SeaTunnel 不重启也能消费新分区数据

Apache SeaTunnel

在一个SeaTunnel使用流任务获取Kafka topic中的数据时,如果topic从2 个分区扩到了4个分区。结果呢?新分区里的数据,任务一条都消费不到——...

5700

2026 异构数据集成终极指南:CDC、ETL、DTS 方案选型全拆解

这个DBA有点耶

异构数据集成这个事,是我在实际项目里见过翻车最多的场景之一。很多人一上来就问"怎么把 Oracle 的数据同步到 MySQL",连"异构"和"同构"的区别都没搞...

12310

深度学习基于YOLOv11公交车吸烟检测系统 公交车上人员吸烟手机检测数据集,9725张,yolo,voc,coco三种标注方式 图像尺寸:720*1280

目标检测数据集合

深度学习基于YOLOv11公交车吸烟检测系统 公交车上人员吸烟手机检测数据集,9725张,yolo,voc,coco三种标注方式图像尺寸:720*1280

9200

195 次合并、13 个新连接器!Apache SeaTunnel 8 月有哪些新进展?

Apache SeaTunnel

Apache SeaTunnel 8 月社区持续高频迭代!本月共合并 195 次提交,60 位贡献者参与贡献,新增 13 个连接器,进一步拓展数据源生态;Zet...

9010

Redis 数据迁移不用写脚本:SeaTunnel 支持 String、Hash、Set、ZSet 四种数据类型

Apache SeaTunnel

Apache SeaTunnel 的 Redis 连接器支持 string、hash、set、zset 类型的读取和写入,Redis 到 Redis 的数据搬运...

8010

从IM SDK到UIKit:即时通讯接入中的部署、成本与业务集成问题

小天互连IM

在 App、商城、游戏、订单系统、社区或行业平台中增加聊天功能,常见做法并不是从零实现长连接、消息路由、离线消息和多端同步,而是接入现有的即时通讯 SDK。

15710

AEC工程与资产空间数据集成平台

用户12699774

AEC工程与资产空间数据集成平台通常包含CAD/BIM设计系统、GIS与空间数据库、工程及资产业务系统,以及位于这些系统之间的数据集成与自动化层。

12310

一个关于数据集成的真相:链路 Success 不等于数据真实可靠

Apache SeaTunnel

在数据工程领域,Fivetran 经常被认为是“简单、省运维”的代表,而 Apache SeaTunnel 等开源项目则意味着更高的灵活性和更强的自主控制能力。...

11310

企业采购动环监控系统,这些核心参数一定要重点关注

和嘉科技微模块化机房

机房承载服务器、存储、网络设备等企业核心IT资产。配电异常、蓄电池劣化、机房漏水、温湿度超标、消防隐患,都有可能直接引发业务中断。动环监控系统承担7×24小时基...

7500

数据接入与同步不能是“黑盒”!

Apache SeaTunnel

当企业的数据管道成为核心生产系统时,真正的风险往往不是“同步失败”,而是你不知道它为什么成功,也不知道它为什么失败。

16810

从 JSON 到 JSONL,Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题?

Apache SeaTunnel

SeaTunnel可以从HTTP中获取数据,一般来说,HTTP会返回一个JSON格式的字符串,SeaTunnel解析JSON后分解出来数据类型,然后输出到目标系...

13210
领券