首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

oracle并行拆分,goldengateogg常用调优方法–并行处理与进程拆分

作者：Aerotic | 来源：互联网 | 2024-10-21 15:13
为了提高性能，我们分别配置了五个replicat进程来对数据进行插入操作Oracle数据库的replicatADDREPLICATrep1,EXTTRAILhomeo

为了提高性能&＃xff0c;我们分别配置了五个replicat进程来对数据进行插入操作

Oracle数据库的replicat

ADD REPLICAT rep1, EXTTRAIL /home/oracle/ogg/dirdat/ma, BEGIN now

ADD REPLICAT rep2, EXTTRAIL /home/oracle/ogg/dirdat/ma, BEGIN now

ADD REPLICAT rep3, EXTTRAIL /home/oracle/ogg/dirdat/ma, BEGIN now

ADD REPLICAT rep4, EXTTRAIL /home/oracle/ogg/dirdat/ma, BEGIN now

ADD REPLICAT rep5, EXTTRAIL /home/oracle/ogg/dirdat/ma, BEGIN now

REPLICAT rep1

USERID goldengate,PASSWORD goldengate

ASSUMETARGETDEFS

REPERROR (default,abend)

DBOPTIONS LIMITROWS DEFERREFCONST

BATCHSQL BATCHESPERQUEUE 1000, BATCHTRANSOPS 2000 ,OPSPERBATCH 6000 , OPSPERQUEUE 6000

GROUPTRANSOPS 20000

ALLOWNOOPUPDATES

DDL include all

map test.T_BILL_BALANCE_DETAIL_201112_0, target settle.T_BILL_BALANCE_DETAIL_201112_0 , FILTER (&＃64;RANGE (1, 5));

map test.T_BILL_BALANCE_DETAIL_201112_1, target settle.T_BILL_BALANCE_DETAIL_201112_1 , FILTER (&＃64;RANGE (1, 5));

map test.T_BILL_BALANCE_DETAIL_201112_2, target settle.T_BILL_BALANCE_DETAIL_201112_2 , FILTER (&＃64;RANGE (1, 5));

map test.T_BILL_BALANCE_DETAIL_201112_3, target settle.T_BILL_BALANCE_DETAIL_201112_3 , FILTER (&＃64;RANGE (1, 5));

map test.T_BILL_BALANCE_DETAIL_201112_4, target settle.T_BILL_BALANCE_DETAIL_201112_4 , FILTER (&＃64;RANGE (1, 5));

map test.T_ACCOUNT_1, target settle.T_ACCOUNT_1;

map test.T_SERVICE_1, target settle.T_SERVICE_1;

map test.T_CUSTOMER_1, target settle.T_CUSTOMER_1;

MAP TEST.TF01 ,TARGET SETTLE.TF01 , COLMAP (F2&＃61;F2,F4&＃61;F4,F6&＃61;F6,F1&＃61;&＃64;COLSTAT (NULL),F3&＃61;&＃64;COLSTAT (NULL),F5&＃61;&＃64;COLSTAT (NULL),dd&＃61;&＃64;datenow (

));

MAP TEST.*, TARGET SETTLE.*;

REPLICAT rep2

USERID goldengate,PASSWORD goldengate

ASSUMETARGETDEFS

REPERROR (default,abend)

DBOPTIONS LIMITROWS DEFERREFCONST

BATCHSQL BATCHESPERQUEUE 1000, BATCHTRANSOPS 2000 ,OPSPERBATCH 6000 , OPSPERQUEUE 6000

GROUPTRANSOPS 20000

DDL exclude all

map test.T_BILL_BALANCE_DETAIL_201112_0, target settle.T_BILL_BALANCE_DETAIL_201112_0 , FILTER (&＃64;RANGE (2, 5));

map test.T_BILL_BALANCE_DETAIL_201112_1, target settle.T_BILL_BALANCE_DETAIL_201112_1 , FILTER (&＃64;RANGE (2, 5));

map test.T_BILL_BALANCE_DETAIL_201112_2, target settle.T_BILL_BALANCE_DETAIL_201112_2 , FILTER (&＃64;RANGE (2, 5));

map test.T_BILL_BALANCE_DETAIL_201112_3, target settle.T_BILL_BALANCE_DETAIL_201112_3 , FILTER (&＃64;RANGE (2, 5));

map test.T_BILL_BALANCE_DETAIL_201112_4, target settle.T_BILL_BALANCE_DETAIL_201112_4 , FILTER (&＃64;RANGE (2, 5));

REPLICAT rep3

USERID goldengate,PASSWORD goldengate

ASSUMETARGETDEFS

REPERROR (default,abend)

DBOPTIONS LIMITROWS DEFERREFCONST

BATCHSQL BATCHESPERQUEUE 1000, BATCHTRANSOPS 2000 ,OPSPERBATCH 6000 , OPSPERQUEUE 6000

GROUPTRANSOPS 20000

DDL exclude all

map test.T_BILL_BALANCE_DETAIL_201112_0, target settle.T_BILL_BALANCE_DETAIL_201112_0 , FILTER (&＃64;RANGE (3, 5));

map test.T_BILL_BALANCE_DETAIL_201112_1, target settle.T_BILL_BALANCE_DETAIL_201112_1 , FILTER (&＃64;RANGE (3, 5));

map test.T_BILL_BALANCE_DETAIL_201112_2, target settle.T_BILL_BALANCE_DETAIL_201112_2 , FILTER (&＃64;RANGE (3, 5));

map test.T_BILL_BALANCE_DETAIL_201112_3, target settle.T_BILL_BALANCE_DETAIL_201112_3 , FILTER (&＃64;RANGE (3, 5));

map test.T_BILL_BALANCE_DETAIL_201112_4, target settle.T_BILL_BALANCE_DETAIL_201112_4 , FILTER (&＃64;RANGE (3, 5));

REPLICAT rep4

USERID goldengate,PASSWORD goldengate

ASSUMETARGETDEFS

REPERROR (default,abend)

DBOPTIONS LIMITROWS DEFERREFCONST

BATCHSQL BATCHESPERQUEUE 1000, BATCHTRANSOPS 2000 ,OPSPERBATCH 6000 , OPSPERQUEUE 6000

GROUPTRANSOPS 20000

DDL exclude all

map test.T_BILL_BALANCE_DETAIL_201112_0, target settle.T_BILL_BALANCE_DETAIL_201112_0 , FILTER (&＃64;RANGE (4, 5));

map test.T_BILL_BALANCE_DETAIL_201112_1, target settle.T_BILL_BALANCE_DETAIL_201112_1 , FILTER (&＃64;RANGE (4, 5));

map test.T_BILL_BALANCE_DETAIL_201112_2, target settle.T_BILL_BALANCE_DETAIL_201112_2 , FILTER (&＃64;RANGE (4, 5));

map test.T_BILL_BALANCE_DETAIL_201112_3, target settle.T_BILL_BALANCE_DETAIL_201112_3 , FILTER (&＃64;RANGE (4, 5));

map test.T_BILL_BALANCE_DETAIL_201112_4, target settle.T_BILL_BALANCE_DETAIL_201112_4 , FILTER (&＃64;RANGE (4, 5));

REPLICAT rep5

USERID goldengate,PASSWORD goldengate

ASSUMETARGETDEFS

REPERROR (default,abend)

DBOPTIONS LIMITROWS DEFERREFCONST

BATCHSQL BATCHESPERQUEUE 1000, BATCHTRANSOPS 2000 ,OPSPERBATCH 6000 , OPSPERQUEUE 6000

GROUPTRANSOPS 20000

DDL exclude all

map test.T_BILL_BALANCE_DETAIL_201112_0, target settle.T_BILL_BALANCE_DETAIL_201112_0 , FILTER (&＃64;RANGE (5, 5));

map test.T_BILL_BALANCE_DETAIL_201112_1, target settle.T_BILL_BALANCE_DETAIL_201112_1 , FILTER (&＃64;RANGE (5, 5));

map test.T_BILL_BALANCE_DETAIL_201112_2, target settle.T_BILL_BALANCE_DETAIL_201112_2 , FILTER (&＃64;RANGE (5, 5));

map test.T_BILL_BALANCE_DETAIL_201112_3, target settle.T_BILL_BALANCE_DETAIL_201112_3 , FILTER (&＃64;RANGE (5, 5));

map test.T_BILL_BALANCE_DETAIL_201112_4, target settle.T_BILL_BALANCE_DETAIL_201112_4 , FILTER (&＃64;RANGE (5, 5));

mysql 数据库的replicat

replicat rep1

DBOPTIONS HOST 127.0.0.1, CONNECTIONPORT 3306

TARGETDB ogg,userid goldengate,password goldengate

SOURCEDEFS /home/oracle/ogg/mysql/dirdef/record.def

reperror (default,abend)

MAP TEST.TESTSQL, TARGET OGG.TESTSQL;

MAP TEST.T_BILL_BALANCE_DETAIL_201112_9, TARGET OGG.T_BILL_BALANCE_DETAIL_201112_9 , FILTER (&＃64;RANGE (1, 5));

replicat rep2

DBOPTIONS HOST 127.0.0.1, CONNECTIONPORT 3306

TARGETDB ogg,userid goldengate,password goldengate

SOURCEDEFS /home/oracle/ogg/mysql/dirdef/record.def

reperror (default,abend)

MAP TEST.T_BILL_BALANCE_DETAIL_201112_9, TARGET OGG.T_BILL_BALANCE_DETAIL_201112_9 , FILTER (&＃64;RANGE (2, 5));

replicat rep3

DBOPTIONS HOST 127.0.0.1, CONNECTIONPORT 3306

TARGETDB ogg,userid goldengate,password goldengate

SOURCEDEFS /home/oracle/ogg/mysql/dirdef/record.def

reperror (default,abend)

MAP TEST.T_BILL_BALANCE_DETAIL_201112_9, TARGET OGG.T_BILL_BALANCE_DETAIL_201112_9 , FILTER (&＃64;RANGE (3, 5));

replicat rep4

DBOPTIONS HOST 127.0.0.1, CONNECTIONPORT 3306

TARGETDB ogg,userid goldengate,password goldengate

SOURCEDEFS /home/oracle/ogg/mysql/dirdef/record.def

reperror (default,abend)

MAP TEST.T_BILL_BALANCE_DETAIL_201112_9, TARGET OGG.T_BILL_BALANCE_DETAIL_201112_9 , FILTER (&＃64;RANGE (4, 5));



推荐阅读
  • java

    深入理解org.neo4j.helpers.collection.Iterators.single()方法及其应用

    本文详细介绍了Java中org.neo4j.helpers.collection.Iterators.single()方法的功能、使用场景及代码示例，帮助开发者更好地理解和应用该方法。 ... [详细]
  • utf-8

    Python配置文件读写指南

    本文详细介绍如何使用Python进行配置文件的读写操作，涵盖常见的配置文件格式（如INI、JSON、TOML和YAML），并提供具体的代码示例。 ... [详细]
  • get

    MyBatis 动态 SQL 详解与应用

    本文深入探讨 MyBatis 中动态 SQL 的使用方法，包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • ip

    UNP 第9章：主机名与地址转换

    UNP 第9章：主机名与地址转换
    本章探讨了用于在主机名和数值地址之间进行转换的函数，如gethostbyname和gethostbyaddr。此外，还介绍了getservbyname和getservbyport函数，用于在服务器名和端口号之间进行转换。 ... [详细]
  • java

    Apache Jena 中 Txn.executeWrite 方法详解与代码示例

    本文详细介绍了 Apache Jena 库中的 Txn.executeWrite 方法，通过多个实际代码示例展示了其在不同场景下的应用，帮助开发者更好地理解和使用该方法。 ... [详细]
  • tree

    Weight the Tree（树形dp）

    题目Link题目学习link1题目学习link2题目学习link3%%%受益匪浅！－－－－－&# ... [详细]
  • input

    PHP 编程疑难解析与知识点汇总

    PHP 编程疑难解析与知识点汇总
    本文详细解答了 PHP 编程中的常见问题，并提供了丰富的代码示例和解决方案，帮助开发者更好地理解和应用 PHP 知识。 ... [详细]
  • range

    使用Objective-C和dispatch库实现并发素数计算

    本文介绍如何使用Objective-C结合dispatch库进行并发编程，以提高素数计数任务的效率。通过对比纯C代码与引入并发机制后的代码，展示dispatch库的强大功能。 ... [详细]
  • java

    Java并发编程：LinkedBlockingQueue的实际应用

    本文介绍了Java并发库中的阻塞队列（BlockingQueue）及其典型应用场景。通过具体实例，展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递，并结合线程池和原子类优化性能。 ... [详细]
  • const

    USACO 2014 Jan - Moolympics区间记录优化算法

    题目描述：给定n个半开区间[a, b)，要求使用两个互不重叠的记录器，求最多可以记录多少个区间。解决方案采用贪心算法，通过排序和遍历实现最优解。 ... [详细]
  • get

    深入理解 SQL 视图、存储过程与事务

    深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式，存储过程则封装了复杂的SQL逻辑，而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • range

    数据库内核开发入门 | 搭建研发环境的初步指南

    数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始，逐步掌握数据库内核开发的基础知识和实践技能，重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • client

    在 Linux 系统中部署 PostgreSQL 数据库

    本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤，用户可以在不同发行版（如 Ubuntu 和 Red Hat）上顺利完成 PostgreSQL 的安装。 ... [详细]
  • const

    VxWorks中的双向链表与环形缓冲应用

    本文详细探讨了VxWorks操作系统中双向链表和环形缓冲区的实现原理及使用方法，通过具体示例代码加深理解。 ... [详细]
  • client

    MySQL 数据库迁移指南：从本地到远程及磁盘间迁移

    MySQL 数据库迁移指南：从本地到远程及磁盘间迁移
    本文详细介绍了如何在不同场景下进行 MySQL 数据库的迁移，包括从一个硬盘迁移到另一个硬盘、从一台计算机迁移到另一台计算机，以及解决迁移过程中可能遇到的问题。 ... [详细]
author-avatar
Aerotic
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有