首页
学习
活动
专区
圈层
工具
发布
首页标签数据同步

#数据同步

195 次合并、13 个新连接器!Apache SeaTunnel 8 月有哪些新进展?

Apache SeaTunnel

Apache SeaTunnel 8 月社区持续高频迭代!本月共合并 195 次提交,60 位贡献者参与贡献,新增 13 个连接器,进一步拓展数据源生态;Zet...

2000

Redis 数据迁移不用写脚本:SeaTunnel 支持 String、Hash、Set、ZSet 四种数据类型

Apache SeaTunnel

Apache SeaTunnel 的 Redis 连接器支持 string、hash、set、zset 类型的读取和写入,Redis 到 Redis 的数据搬运...

900

异构数据集成"搬追对"三步落地复盘:Oracle、MySQL迁国产库

数据库小学妹

先说上周的事。周一早上九点,运营要周报,财务说ERP和报表库对不上账,开发同事一脸无奈:ETL昨晚又没跑完,字段映射错了,还在补数。三个系统、三套口径、一个早上...

16110

用 Apache SeaTunnel 同步 DynamoDB 到 Redis,一个配置文件就够

Apache SeaTunnel

假设你把客户数据存储在 Amazon DynamoDB 中,作为应用的唯一数据源(single source of truth)。但如今你需要同样的数据放在 R...

7710

实践心得 | 用 Apache SeaTunnel 搞定 PostgreSQL 到平凯数据库云服务的数据迁移

Apache SeaTunnel

我们业务初期采用 PostgreSQL 作为 OLTP 兼分析型数据库,采用本地自建部署方式。实际运维过程中,需要投入大量人力处理数据库高可用架构维护、定时备份...

12010

db-archive:跨数据库、低峰窗口与分区表归档实践

石头1678

项目地址:https://github.com/elison2000/db-archive

17310

worker不是越多越好:主从延迟调优的量化方法

这个DBA有点耶

主从延迟是DBA绕不过去的坎,但延迟背后的原因,不同的人看到的完全不同。有人遇到延迟就翻慢查询日志,有人一上来就改并行复制参数,还有人选择“重启大法”。折腾一晚...

11310

一个关于数据集成的真相:链路 Success 不等于数据真实可靠

Apache SeaTunnel

在数据工程领域,Fivetran 经常被认为是“简单、省运维”的代表,而 Apache SeaTunnel 等开源项目则意味着更高的灵活性和更强的自主控制能力。...

10610

数据接入与同步不能是“黑盒”!

Apache SeaTunnel

当企业的数据管道成为核心生产系统时,真正的风险往往不是“同步失败”,而是你不知道它为什么成功,也不知道它为什么失败。

15910

从 JSON 到 JSONL,Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题?

Apache SeaTunnel

SeaTunnel可以从HTTP中获取数据,一般来说,HTTP会返回一个JSON格式的字符串,SeaTunnel解析JSON后分解出来数据类型,然后输出到目标系...

12310

# 让 AI 跨设备记住你:一个跨设备同步 WorkBuddy 记忆的技能

用户12654912

技能已在 SkillHub 发布(名称:记忆同步助手,当前版本 v1.0.9),配套压缩包含技能说明、配置样例、同步脚本与变更说明。

36810

异构增量同步延迟高怎么办?全链路并行+调参,割接从4小时缩到40分钟

数据库小学妹

凌晨两点,我盯着同步延迟的监控面板。源端数据库的变更日志不断堆积,目标端数据库的CPU只跑到了35%。当时用的是默认的串行同步模式,一条链路把增量同步拖成了龟速...

15210

从 60万行/秒说起,看 SeaTunnel Zeta 基准测试如何做到”测得准“

Apache SeaTunnel

图 1:同一轮运行中的 JMH 汇总,包括完整 Pipeline 和 SeaTunnelRow 热点操作

8600

Seconds_Behind_Master为0但业务已炸?主从延迟的“监控盲区”排查

这个DBA有点耶

早上10点,业务方在群里@你:“用户反馈刚下的单查不到了,是不是数据库有问题?”你打开监控,Seconds_Behind_Master显示0,复制状态正常,从库...

16510

Apache SeaTunnel 提交一个任务都经过了什么?

Apache SeaTunnel

一次 SeaTunnel 任务提交,看起来只是一次 submitJob 请求;但在 Server 内部,它会经过 Master 判断、任务协调、JobMaste...

11600
领券