- 综合排序
- 最热优先
- 最新优先
- 来自专栏java开发的那点事
11-Elasticsearch-logstash数据同步
logstash数据同步 简介 集中, 转换和存储数据, logstach是免费且开放的服务器端数据处理管道, 能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的"存储库"中 官网 https 作为同步边界 logstash-input-jdbc 插件 在es中, 预先创建索引 logstash安装 上传MySQL的驱动包和logstatch的安装包 # 解压 tar -zxvf logstash mkdir sync # 进入sync cd sync/ # 将驱动包拷贝到当前目录 cp /home/software/mysql-connector-java-5.1.41.jar ./ # 创建同步配置文件 elasticsearch { # es 地址 hosts => ["192.168.247.142:9200"] # 同步的索引名 index /logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf 记录时间 Logstash 多表同步到ES https://www.jianshu.com
1K20编辑于 2022-10-04 - 来自专栏数据和云
这样做，免费从Oracle同步数据
(一般称为双写),直到某个时间点(一般是两边数据库数据同步时间差距比较小的时候),进行一次业务stop the world,然后切换过去. 而本文讨论的,则是在假设不对应用进行改造(队列化,DAO双写等)的情况下,从Oracle直接同步数据到MySQL的手段. 并且是不花钱的. 比如oracle的确是支持闪回,但具体恢复到哪个scn编号,就得需要logminer来确定了. 而本文要用的的功能,则是用这种日志分析,来处理”近”实时的数据同步问题. 第二种方式需要定时执行以同步数据字典(比方DDL变更表结构之后),需要注意,否则会导致解析识别错误. 2.添加需要分析的日志文件进入分析队列 这部分执行的,是DBMS_LOGMNR.ADD_LOGFILE Options INBINARY_INTEGER default 0 ); 抛开显而易见的start,end的四个参数,首先简单说一下dictfilename.前文提到过,为了同步元数据
2.7K31发布于 2019-05-13 - 来自专栏开源部署
OGG实现Oracle数据同步到Kafka
环境： 源端：Oracle12.2 ogg for Oracle 12.3 目标端：Kafka ogg for bigdata 12.3 将Oracle中的数据通过OGG同步到Kafka 源端配置： 1 、为要同步的表添加附加日志 dblogin USERID ogg@orclpdb, PASSWORD ogg add trandata scott.tab1 add trandata scott.tab2 /dirdat/f1,format release 12.3 SOURCECATALOG orclpdb TABLE scott.tab1; table scott.tab2; 4、添加数据初始化进程( Oracle initial load) 可以多个表分开初始化也可以一起初始化，此处选择分开初始化 GGSCI> add extract ek_01, sourceistable 编辑参数： GGSCI gg.handler.kafkahandler.format.includePrimaryKeys=true --包含主键 gg.handler.kafkahandler.SchemaTopicName= topic1 --此处指定为要同步到的目标
2.7K10编辑于 2022-08-16 - 来自专栏公众号：Lucifer三思而后行
数据同步软件SharePlex For Oracle搭建手册
目前从事Oracle DBA工作，曾从事 Oracle 数据库开发工作，主要服务于生产制造，汽车金融等行业。 现拥有Oracle OCP，OceanBase OBCA认证，擅长Oracle数据库运维开发，备份恢复，安装迁移，Linux自动化运维脚本编写等。 前言 什么是SharePlex? SharePlex是一种基于分析oracle的redo log文件，把数据改变从一个Oracle数据库复制到另外一个或多个oracle数据库的逻辑数据复制软件。 ? 支持redo文件存在文件系统，裸设备，ASM上 准实时复制 支持在不同的硬件，软件平台以及不同的Oracle版本之间的复制 支持双向复制（包括DDL） 复制过程中检验数据不一致问题 在线比对，修复数据 'R' and owner in ('SAJET','SMT','ERP','WIQ','SJ'); --禁用job alter system set job_queue_processes=0; 11
1.8K10发布于 2021-08-17 - 来自专栏全栈程序员必看
Oracle 11g安装教程_oracle11g数据库教程
11684小编花了一个多小时才把Oracle 11g安装折腾好了，其中有些步骤可能很多人不知道怎么选择，本篇文章就为大家介绍下如何安装Oracle 11g，11684小编折腾SQL Developer 授权：免费软件 类型：国产软件 语言：简体中文 大小：2.1 GB 日期：2016-03-23 环境：WinXP, Win7, Win8, Win10 Oracle 11g数据库详细安装步骤图解 1.进入 oracle 11g安装界面，不用任何操作直接点击下一步即可 2.选择创建和配置数据库，点击进入下一步 3.选择服务器类安装，进入下一步 4.选择单实例数据库安装，进入下一步 5.此处选择高级安装 安装目录，建议找一个大些的盘符安装，然后点击进入下一步 9.此处默认是一般用途/事务处理，点击进入下一步 10.此处输入数据库实例名称，默认是orcl，点击进入下一步 11.此处是分配oracle 】 19.oracle安装完成，可以通过命令或工具进行数据库操作。
1.1K20编辑于 2022-11-08 - 来自专栏数据库与编程
多种技术实现 Oracle 数据实时同步
在现代企业中，数据是至关重要的资产，确保数据在不同数据库间的实时同步变得尤为重要。Oracle数据库作为业界领先的数据库管理系统，提供了多种技术方案用于实现实时数据同步。 本文将介绍几种常见的Oracle数据同步方案，包括使用GoldenGate、数据库触发器与自定义应用、第三方ETL工具以及LogMiner方式。 1. 使用GoldenGate进行数据复制 Oracle GoldenGate是一种功能强大的实时数据复制工具，可以在多个异构数据库之间实现高效的数据同步。 使用LogMiner方式进行数据同步 利用Oracle数据库内置的LogMiner功能，实时捕获数据库的变更日志，然后将这些变更应用到多个异构目标数据库中。 以上介绍了多种Oracle数据同步方案，每种方案都有其优势和限制，可以根据实际需求和技术环境进行选择。
5.5K30编辑于 2023-09-01 - 来自专栏Greenplum
oracle数据同步到Greenplum的shell脚本
脚本下载地址:https://github.com/xfg0218/oracle-to-greenplum oracle数据同步到Greenplum的shell脚本 此脚本在运行时会先把oracle数据按照指定的分隔符下载到磁盘的目录下 存放oracle数据落地的目录 select-sql sql文件存放的路径,oracle的sql文件以及greenplum的sql文件 util 常用工具的存放路径 DROP TABLE CREATE TABLE real 0m0.200s user 0m0.003s sys 0m0.004s 导入 updateinfo_xiaoxu.csv 数据开始 总结说明 1、在以上可以看出使用sqluldr2linux64导数据,大概6s就能抽取100W行数据，大概有172M 2、替换分隔符与ASCII码耗时1m32s 3、创建表结构与导入表数据耗时:19.699s 4、总耗时2m32.29s Oracle 带有 RAW 类型的表结构 1、在oracle中数据类型转换 请修改util下的oracle-conversion.sh脚本，并在-- oracle sql
1.8K30发布于 2019-05-14 - 来自专栏Greenplum
oracle数据同步到Greenplum的shell脚本
oracle数据同步到Greenplum的shell脚本 此脚本在运行时会先把oracle数据按照指定的分隔符下载到磁盘的目录下,再用替换脚本替换需要的分隔符和ascii字符,具体的替换方法请查看fileAsciiReplaceScriptAll.sh 存放oracle数据落地的目录 select-sql sql文件存放的路径,oracle的sql文件以及greenplum的sql文件 util 常用工具的存放路径 .bin 抽取oracle的工具 oracle-to-greenplum 使用说明 su - oracle time sh export-oracle.sh 0 rows exported DROP TABLE CREATE TABLE real 0m0.200s user 0m0.003s sys 0m0.004s 导入 updateinfo_xiaoxu.csv 数据开始 总结说明 1、在以上可以看出使用sqluldr2linux64导数据,大概6s就能抽取100W行数据，大概有172M 2、替换分隔符与ASCII码耗时1m32s 3、创建表结构与导入表数据耗时:19.699s
1.6K20发布于 2019-08-05 - 来自专栏沃趣科技
Oracle集群时间同步
在RAC中集群的时间应该是保持同步的，否则可能导致很多问题，比如：依赖于时间的应用会造成数据的错误，各种日志打印的顺序紊乱，这将会影响问题的诊断，严重的可能会导致集群宕机或者重新启动集群时节点无法加入集群 在11gR2前，集群的时间是由NTP同步的，而在11gR2后，Oracle引入了CTSS组件，如果系统没有配置NTP，则由CTSS来同步集群时间。 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production With the Partitioning, Real Application Clusters, OLAP, Data Mining and Real Application Testing options ORACLE_HOME = /opt/oracle/products/ | 作者简介 管海涛·沃趣科技高级数据库技术专家 熟悉Oracle数据库内部机制，丰富的数据库及RAC集群层故障诊断、性能调优、OWI、数据库备份恢复及迁移经验。
2.2K40发布于 2018-07-02 - 来自专栏开源部署
Oracle Linux 7.3 下Oracle 11g数据库安装
使用的软件：Xmanager Enterprise 5 操作系统：Oracle Linux 7.3 数据库：Oracle 11gR2 配置参数： CPU 2 内存：4G 交换分区：8G IP：192.168.159.13 创建oracle用户 #useradd -g oinstall -G dba oracle 4、数据库安装用户的profile文件的设置 首先确定数据库名及数据库实例名，对于单实例（非RAC）环境下 按照实际情况，选择企业版本，如下图 填写Oracle的软件路径和基本路径，如下图： 选择安装日志目录，如下图所示： 选择dba组 继续下一步安装操作 可以忽略，因为版本较高，所以11g check 完成后继续oracle数据库的创建。 ，如下图所示： 等待35分钟后，数据库创建完毕，之后点击，如下所示： 简单验证 [oracle@oracle ~]$ sqlplus "/ as sysdba" 数据库启动 lsnrctl start
3.1K21编辑于 2022-08-17 - 来自专栏Oracle DBA
Oracle 增量修复DG同步
当时也在国庆假期，考虑到此为灰度测试环境备库供公司开发人员内部查询使用，就没有及时追平同步。 假期结束后，发现归档差距有点大，于是考虑通过Oracle的增量备份恢复来修复DG的同步问题。 RMAN> catalog start with '/home/oracle/rman'; RMAN恢复31、32号数据文件 – 新添加的数据文件必须restored到备库，无法通过备份恢复 RMAN SQL>alter database add standby logfile group 10 ('/u01/oradata/two/s_redo10.log') size 500M, group 11 ('/u01/oradata/two/s_redo11.log') size 500M, group 12 ('/u01/oradata/two/s_redo12.log') size 500M, group 从而降低备份成本：减少备份的数据量、存储的数据量以及备份数据传输的网络带宽。
68010编辑于 2025-01-26 - 来自专栏全栈程序员必看
安装oracle11g oci.exe,oracle 11g安装图解|安装oracle数据库软件详细教程
oracle是非常强大的数据库软件，有很多朋友对oracle安装并不是很了解，因为除了安装还有一些变量需要设置，下面一起来看看oracle 11g安装图解，定能帮助你快速安装oracle 11g。 Oracle 11g安装图解： 1、首先下载Oracle 11g R2 for Windows的版本 本站下载地址： 其中包括两个压缩包：win64_11gR2_database_1of2.zip，win64 (2)OracleServiceORCL：表示数据库的主服务，命名规则：OracleService数据库名称。此服务必须打开，否则Oracle根本无法使用。 winwin7.com 如下图：(如果不配这个环境变量，plsql工具无法连接数据库实例) 安装PL/SQL前，需要先安装Oracle客户端。 我的系统环境： 1、64位Windows 7旗舰版 2、64位Oracle 11g R2 DB 3、32位Oracle 11g Client(64位Oracle 11g Client会出错) 4、PL/
2.5K20编辑于 2022-11-08 - 来自专栏小工匠聊架构
Oracle 不使用DBCA在Oracle 11中删除数据库
概述 本博文将介绍如何不使用DBCA（数据库配置助手）在Oracle 11中删除数据库。 ? ---- 1- 导入数据库的SID，如果没有定义的话 export ORACLE_SID=SIDNAME 2- 以操作系统认证连接数据库 [oracle@Oracle11 ~]$ sqlplus / as Connected to an idle instance. 3- 启动数据库实例 SQL> startup ORACLE instance started. ORACLE instance shut down. 5- 启动独占模式 SQL> startup mount exclusive restrict ORACLE instance started. Disconnected from Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production With the
1.8K10发布于 2021-08-16 - 来自专栏DB说
Oracle GoldenGate 19 Microservices数据同步实战与故障处理
【概要】 由于公众号单篇文章的限制,上一篇文章只讲OGG Microservices for oracle数据库安装与配置，对于如何通过WEB端配置数据同步、如何通过命令行查看与管理服务、进程以及简单故障处理都没有讲解 通过学习本篇文章,你将快速掌握如下内容: 配置oracle数据库来满足OGG同步要求 通过web端能够快速配置ogg的数据同步功能，包括创建与管理抽取进程、传输进程、应用进程以及验证数据同步 通过 【总结】至此完成oracle goldengate Microservices的经典同步数据过程,包括extract、Distribution Server、replicat配置。 【总结】至此完成oracle goldengate Microservices的DDL+DML数据同步过程。 【总结】oracle goldengate 19 Microservices安装、配置以及数据同步实战到此结束。
2.7K30发布于 2020-08-05 - 来自专栏公众号：Lucifer三思而后行
数据同步软件 Shareplex 异常重建详细步骤（Oracle 数据库）
经过与客户确认repo库没有历史数据需保留，直接重建修复！ 目标端链接 NMO 库文件 cd $ORACLE_HOME/lib ln –s /usr/lib/libnwora.so libobk.so 至此，networker 目标端已安装完成。 ### 恢复数据 由于数据库大概有 1-2 T 的大小，恢复时间很长，因此建议将恢复脚本放在后台进行执行，脚本如下： ```bash #! /bin/bash source ~/.bash_profile backtime=`date +"20%y%m%d%H%M%S"` rman target / log=/home/oracle/rman_repo 重建后检查 qstatus show post queue q2 show log reverse 通过命令查看同步是否正常，以及同步速度是否正常。再次确认邮件告警是否恢复正常。
1.3K10发布于 2021-08-31 - 来自专栏Reck Zhang
Networks 11 - 游戏同步模式
游戏同步模式 常见的游戏同步方式分为帧同步和状态同步. 帧同步 帧同步是在关键帧的时候同步操作到服务器, 服务器转发操作给客户端. 客户端只有接收到关键帧后才会进行操作. 区别 核心交互逻辑写在哪 状态同步和帧同步最大区别在于, 核心交互逻辑写在哪里. 帧同步的核心逻辑是写在客户端, 服务器做的仅仅是分发操作. 状态同步下客户端仅仅是用来进行表现的, 逻辑运算是在服务器上的. 流量 状态同步的流量消耗要大过帧同步. 因为一个角色自身属性就有可能有上百条, 每次服务器都需要对这些数据进行同步, 并且对于一个操作, 也要分阶段分发状态, 以完成一次操作. 而帧同步只需要对操作进行上传和分发, 甚至可以可以进行状态压缩, 控制发送数据大小. 回放观战 对于帧同步, 只需要保存整局玩家的所有操作, 在客户端上重新运行即可.
1.1K10发布于 2021-08-11 - 来自专栏Java学习网
Oracle数据库，总结oracle11g的安装注意事项
2、在安装选项这里，就选择第一个“创建和配置数据库”，就是安装完整的oracle数据库软件 第二个“仅安装数据库软件”，意思就是只安装实例，并不安装数据库。 4、我们的软件位置和数据库文件位置都是安装在oracle及目录下的，我们一般都是安装的c盘之外的盘符。 全局数据库名我们学习使用一般默是orcl就可以（一定记住这四个字母）。 6、这里很多电脑都会出现某些条件检查失败的情况，但是我们发现自己的电脑其实都是复合oracle安装条件的，这里就是oracle软件自身的原因，我们直接点击全部忽略即可。 然后点击下一步。 ? 8、此时就开始了oracle数据库的安装 这个安装过程还是比较慢的。 ? 然后他会弹出这个安装进程，不用管，继续等待即可 ? 9、然后会弹出这个窗口，代表安装已经完成： ? 此时oracle的安装就已经完成了。
1K30发布于 2021-05-06 - 来自专栏冰河技术
【Oracle】还想着花钱实现Oracle数据同步迁移？一招教你搞定！！
写在前面 最近在研究如何实现Oracle数据库之间的数据同步，网上的资料确实比较少。最好用的Oracle数据库同步工具是：GoldenGate ，而GoldenGate是要收费的。 那么还有什么好的办法来同步Oracle的数据吗？没错，就是使用LogMiner来实现Oracle数据同步迁移。 实现过程 1.创建目录 在服务器上创建/home/oracle/tools/oracle11g/oradata/orcl/LOGMNR目录来存储数据库的字典信息，如下所示。 ; STARTUP; 5.创建数据同步用户 创建数据同步用户，如果已经有可以跳过，直接赋予权限。 切换到要同步数据的用户，以DBA身份登录，创建数据字典文件，如下所示。
1.2K10发布于 2020-10-29 - 来自专栏爱可生开源社区
数据传输 | 如何使用 DTLE 将 Oracle 数据同步到 MySQL
---- 前言：过年前 DTLE 发布了 4.22.01.0 版本，该版本最重要的特性是支持 Oracle-MySQL 增量数据同步。今天我就来给大家介绍一下这个功能。 一、现状 1. 已支持类型 Oracle MySQL 限制 BINARY_DOUBLE float mysql 不支持Inf/-Inf/Nan数据，用NULL来存储 CHAR(n), CHARACTER(n) CHAR 待支持类型 Oracle MySQL 当前不支持原因 BINARY_FLOAT float MySQL不支持Inf/-Inf/Nan数据, MySQL float类型无法精确匹配，导致更新失败 BLOB Oracle 数据库开启归档日志 shell> su oracle shell> mkdir /u01/app/oracle/oradata/archive_log shell> sqlplus sys 和 MySQL 是异构数据库，所以在源端 Oracle 能执行的 Oracle SQL 语句通过 DTLE 转换到目标端的 MySQL SQL 语句后有可能无法正确执行。
2.3K20编辑于 2022-04-06 - 来自专栏杨建荣的学习笔记
Oracle数据不同步的问题分析和解决思路
其实帮助很多的朋友解决过Oracle数据库数据不同步的问题，看似简单的问题分析出来的原因也是五花八门。 比如： Oracle数据库问题的一点总结 在查看一些没有专业DBA维护的数据库的时候，会发现很多的潜在问题，有些可能无伤大雅，看起来是不规范不标准的问题，倒不会直接造成问题，而有些问题会让人后背发凉，正如同歌词里唱的 这次帮朋友看的问题，现象还是老三样，数据不同步，无法登陆，无法启动中的数据不同步。这类问题的愿意确实很多，可能是系统级的空间不足，或者是闪回区的空间不足，表空间不足等等。 当然简单确认问题，只是说数据同步有问题，面对各种可能性，只能让日志告诉方向了。 这是一个一主一备的环境，11gR2的版本，开启了ADG，快速查看了主库，发现业务处理是正常的，而且查看数据库日志也没有发现什么和空间相关的错误信息。所以很快主库的系统级，表空间的可能性排除了。
1.2K40发布于 2018-03-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号