热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

oracle11g表智能按月分区

oracle11g表智能按月分区之前日志表700多万数据,涉及到日志表的业务查询速度很慢一个月的数据查询也将近30秒左右,研究发现oracle有表分区功能11G更加有智能按月分区功能开干:前提确认能的表可以分区w...SyntaxHighlighter.all();
oracle 11g表智能按月分区
 
之前日志表700多万数据,涉及到日志表的业务查询速度很慢一个月的数据查询也将近30秒左右,研究发现oracle有表分区功能 11G更加有智能按月分区功能 开干:
前提确认能的表可以分区  www.2cto.com  
 
第一步,先创建分区的表
--INTERVAL分区
--这个其实是范围分区的增强功能,通过这个功能可以实现在需要的时候自动的实现新的分区的添加,从而省去了你不断的ADD或者SPLIT新的分区。
CREATE TABLE SYS_LOG_TEM(pid            NUMBER not null,
  yhdm           VARCHAR2(30),
  bmdm           VARCHAR2(12),
  pdaid          VARCHAR2(512),
  simid          VARCHAR2(50),
  logmodule      VARCHAR2(1),
  logtype        VARCHAR2(4),
  operatetype    CHAR(1),
  methodname     VARCHAR2(100),
  methodinfo     VARCHAR2(2000),
  execstatus     VARCHAR2(1),
  execerrorinfo  VARCHAR2(1000),
  alltimespent   NUMBER,
  proxytimespent NUMBER,
  logcontent     VARCHAR2(4000),
  logtime        DATE default sysdate,
  memo           VARCHAR2(200),
  returnflag     CHAR(1),
  returninfo     VARCHAR2(1000),
  gpsx           VARCHAR2(20),
  gpsy           VARCHAR2(20))
  PARTITION BY RANGE (logtime)
  INTERVAL (NUMTOYMINTERVAL(1, 'MONTH')) 
  (PARTITION P1 VALUES LESS THAN (TO_DATE('2012-4-1', 'YYYY-MM-DD')));
 
(因为我表里目前的数据最小的是4月份的,所以我让它从四月份开始分区)
 
第二步,把老的日志表的数据插入到新建的分区表  insert into SYS_LOG_TEM   select * from SYS_LOG;
  insert into SYS_LOG_TEM
  select pid,
         yhdm,
         bmdm,
         pdaid,
         simid,
         logmodule,
         logtype,
         operatetype,
         methodname,
         methodinfo,
         execstatus,
         execerrorinfo,
         alltimespent,
         proxytimespent,
         logcontent,
         nvl(logtime,to_date('2008-06-01 00:00:00','yyyy-MM-dd HH24:mi:ss')),
         memo,
         returnflag,
         returninfo,
         gpsx,
         gpsy
    from SYS_LOG;
 
数据7272844条 总共花了我7分钟多
 
这里之所以对logtim字段做null处理是因为一旦oracle 表做的按月分区就不能让时间字段为null否则 更新的时候会报错 ora-14402 更新分区关键字列将导致分区的更改
update sys_log_tem set logtime=null where logtime=to_date('2008-06-01 00:00:00','yyyy-MM-dd HH24:mi:ss'),不知道有没有别的办法解决这个问题,不过我这样做应该也可以自己取一个自定义时间也是说得过去的
 
经过plsql上的测试
查询速度对比
--做了按每月分区的表查询 执行时间 :0.468秒
select count(pid) from ( select  sysLog.pid,sysLog.yhdm,sysLog.operateType,sysLog.methodName,
sysLog.pdaId,sysLog.simId,sysLog.logContent,sysLog.logModule,sysLog.logTime from sys_log_tem sysLog,
Acl_User u where sysLog.yhdm(+)=u.yhdm  and sysLog.logTime>=to_date('2012-06-01 15:48:03','yyyy-mm-dd HH24:MI:SS')
 and sysLog.logTime<=to_date(&#39;2012-06-30 15:48:11&#39;,&#39;yyyy-mm-dd HH24:MI:SS&#39;))
 --这是没有做分区的表查询   执行时间 :18秒
 select count(pid) from ( select  sysLog.pid,sysLog.yhdm,sysLog.operateType,sysLog.methodName,
sysLog.pdaId,sysLog.simId,sysLog.logContent,sysLog.logModule,sysLog.logTime from Sys_Log sysLog,
Acl_User u where sysLog.yhdm(+)=u.yhdm  and sysLog.logTime>=to_date(&#39;2012-06-01 15:48:03&#39;,&#39;yyyy-mm-dd HH24:MI:SS&#39;)
 and sysLog.logTime<=to_date(&#39;2012-06-30 15:48:11&#39;,&#39;yyyy-mm-dd HH24:MI:SS&#39;))
 
有一个说下新建的分区表我只建了 主键 其他都没弄 因为我发现再建日期索引的话查询速度慢了n多,比老表的速度还要慢,不知道这是什么原因,反正我新建的表就弄了一个主键,view sql的结构是这样的:  www.2cto.com  
-- Create table
create table SYS_LOG
(
  pid            NUMBER not null,
  yhdm           VARCHAR2(30),
  bmdm           VARCHAR2(12),
  pdaid          VARCHAR2(512),
  simid          VARCHAR2(50),
  logmodule      VARCHAR2(1),
  logtype        VARCHAR2(4),
  operatetype    CHAR(1),
  methodname     VARCHAR2(100),
  methodinfo     VARCHAR2(2000),
  execstatus     VARCHAR2(1),
  execerrorinfo  VARCHAR2(1000),
  alltimespent   NUMBER,
  proxytimespent NUMBER,
  logcontent     VARCHAR2(4000),
  logtime        DATE default sysdate,
  memo           VARCHAR2(200),
  returnflag     CHAR(1),
  returninfo     VARCHAR2(1000),
  gpsx           VARCHAR2(20),
  gpsy           VARCHAR2(20)
)
partition by range (LOGTIME)
(
  partition P1 values less than (TO_DATE(&#39; 2012-04-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P22 values less than (TO_DATE(&#39; 2012-05-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P23 values less than (TO_DATE(&#39; 2012-06-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P24 values less than (TO_DATE(&#39; 2012-07-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P25 values less than (TO_DATE(&#39; 2012-08-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P26 values less than (TO_DATE(&#39; 2012-09-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P27 values less than (TO_DATE(&#39; 2012-10-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P28 values less than (TO_DATE(&#39; 2012-11-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    ),
  partition SYS_P29 values less than (TO_DATE(&#39; 2012-12-01 00:00:00&#39;, &#39;SYYYY-MM-DD HH24:MI:SS&#39;, &#39;NLS_CALENDAR=GREGORIAN&#39;))
    tablespace SYSTEM
    pctfree 10
    pctused 40
    initrans 1
    maxtrans 255
    storage
    (
      initial 64K
      next 1M
      minextents 1
      maxextents unlimited
    )
);
-- Create/Recreate primary, unique and foreign key constraints 
alter table SYS_LOG
  add constraint PID primary key (PID)
  using index 
  tablespace SYSTEM
  pctfree 10
  initrans 2
  maxtrans 255
  storage
  (
    initial 64K
    next 1M
    minextents 1
    maxextents unlimited
  );
 
11g分区表按时间自动创建(Interval Partitioning) 我这个用到了oracle 11G的新特性
INTERVAL分区
这个其实是范围分区的增强功能,通过这个功能可以实现在需要的时候自动的实现新的分区的添加,从而省去了你不断的ADD或者SPLIT新的分区。
如果是9i的话 必须把分区的日期写死 根据你的表里的日志值,因为日志表在实时增加数据,你还得定期去手动新建 新的分区,比如这样alter table sys_log_tem add PARTITION logtime values less than(&#39;2012-06-01 00:00:00&#39;) tablespace system;.....
 
分区后日志查询速度快的不是一般多啊!

推荐阅读
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 构建基于BERT的中文NL2SQL模型:一个简明的基准
    本文探讨了将自然语言转换为SQL语句(NL2SQL)的任务,这是人工智能领域中一项非常实用的研究方向。文章介绍了笔者在公司举办的首届中文NL2SQL挑战赛中的实践,该比赛提供了金融和通用领域的表格数据,并标注了对应的自然语言与SQL语句对,旨在训练准确的NL2SQL模型。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 在使用SQL Server进行动态SQL查询时,如果遇到LIKE语句无法正确返回预期结果的情况,通常是因为参数传递方式不当。本文将详细探讨这一问题,并提供解决方案及相关的技术背景。 ... [详细]
  • 本文介绍如何通过创建替代插入触发器,使对视图的插入操作能够正确更新相关的基本表。涉及的表包括:飞机(Aircraft)、员工(Employee)和认证(Certification)。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • SQLite 动态创建多个表的需求在网络上有不少讨论,但很少有详细的解决方案。本文将介绍如何在 Qt 环境中使用 QString 类轻松实现 SQLite 表的动态创建,并提供详细的步骤和示例代码。 ... [详细]
  • 精选30本C# ASP.NET SQL中文PDF电子书合集
    欢迎订阅我们的技术博客,获取更多关于C#、ASP.NET和SQL的最新资讯和资源。 ... [详细]
  • MySQL 数据库迁移指南:从本地到远程及磁盘间迁移
    本文详细介绍了如何在不同场景下进行 MySQL 数据库的迁移,包括从一个硬盘迁移到另一个硬盘、从一台计算机迁移到另一台计算机,以及解决迁移过程中可能遇到的问题。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 本文介绍如何在 FireDAC 环境下实现 FDMEMTable 字段的自动获取,为开发人员提供便捷的数据处理方式。 ... [详细]
author-avatar
DZ---Shanghai
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有