柯南君：Oracle分区技术之如何支撑大数据操作？

        前段时间，看了罗女士（ 资深技术顾问 - Oracle 中国 顾问咨询部）关于《大批量数据处理技术的演讲》视频，感觉受益良多，结合多年的知识积累，柯南君给大家分享一下：

      交流内容：     

      一、Oracle的分区技术

         （一）分区技术内容

            1. 什么是分区？

              分区就是将一个非常大的table或者index 按照某一列的&＃20540;，分解为更小的，易于管理的逻辑片段---分区。将表或者索引分区不会影响SQL语句以及DML（见备注）语句，就和使用非分区表一样，每个分区拥有自己的segment（见备注），因为，DDL（见备注）能够将比较大的任务分解为更小的颗粒。分区表只有定义信息，只有每个存放数据的分区才有各自的segment。就好象拥有多个相同列名，列类型的一个大的视图。

•  大数据对象（表，索引）被分成小物理段；
•  当分区表建立时，记录基于分区字段&＃20540;被存储到相应的分区；
•  分区字段&＃20540;可以修改（row movement enable）；
•  分区可以存储在不同的表空间；
•  分区可以有不同的物理存储参数；
•  分区可以支持IOT表，对象表，LOB字段，varrays等；

                    ①  DML（data manipulation language）： 
                          它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言;                          

                           段（segment）是一种在数据库中消耗物理存储空间的任何实体（一个段可能存在于多个数据文件中，因为物理的数据文件
 是组成逻辑表空间的基本物理存储单位）

             2.分区的好处？

• 性能

              - 并行DML操作

              - Patition - wise Join

• 可管理性：数据删除，数据备份

             - 提高备份性能

             - 指定分区的数据维护操作

• 可用性

              - 缩短恢复时间

• 分区目标优先级

               ③  如何实施分区？

  A .  Range Partitioning（范围分区）

     【案例分析】：

           就是根据数据库表中某一字段的&＃20540;的范围来划分分区，例如：

   Sql代码  

1. create table graderecord  
2.   (  
3.   sno varchar2(10),  
4.   sname varchar2(20),  
5.   dormitory varchar2(3),  
6.   grade int  
7. )  
8. partition by range(grade)  
9. (  
10.   partition bujige values less than(60),      --不及&＃26684;  
11.   partition jige values less than(85),        --及&＃26684;  
12.   partition youxiu values less than(maxvalue) --优秀  
13. )  
14. 
    

    备注：

         ① 分区字段：grade

         ② values less than 必须是确定&＃20540;

     ③ 每个分区可以单独指定物理属性 例如：partition bujige values less than(60) tablespace data0

         ④ 说明：数据中有空&＃20540;，Oracle机制会自动将其规划到maxvalue的分区中。

    1）插入实验数据：

Sql代码  

1. insert into graderecord values('511601','魁','229',92);  
2. insert into graderecord values('511602','凯','229',62);  
3. insert into graderecord values('511603','东','229',26);  
4. insert into graderecord values('511604','亮','228',77);  
5. insert into graderecord values('511605','敬','228',47);  
6. insert into graderecord(sno,sname,dormitory) values('511606','峰','228');  
7. insert into graderecord values('511607','明','240',90);  
8. insert into graderecord values('511608','楠','240',100);  
9. insert into graderecord values('511609','涛','240',67);  
10. insert into graderecord values('511610','博','240',75);  
11. insert into graderecord values('511611','铮','240',60);  

   2）下面查询一下全部数据，然后查询各个分区数据，代码一起写：

Java代码  

1. select * from graderecord;  
2. select * from graderecord partition(bujige);  
3. select * from graderecord partition(jige);  
4. select * from graderecord partition(youxiu);  

   全部数据如下：

   不及&＃26684;数据如下：

  及&＃26684;数据如下：

    优秀数据如下：

    【范围分区特点】：

      ① 最早、最经典的分区算法
      ② Range分区通过对分区字段&＃20540;的范围进行分区
     ③ Range分区特别适合于按时间周期进行数据的存储。日、周、月、年等。
     ④ 数据管理能力强
     ⑤ 数据迁移
    ⑥ 数据备份
    ⑦ 数据交换
    ⑧ 范围分区的数据可能不均匀
    ⑨ 范围分区与记录&＃20540;相关，实施难度和可维护性相对较差

B.hash (散列分区)

       【案例分析】：
        散列分区是根据字段的hash&＃20540;进行均匀分布，尽可能的实现各分区所散列的数据相等。

还是刚才那个表，只不过把范围分区改换为散列分区，语法如下（删除表之后重建）：

Sql代码  

1. create table graderecord  
2. (  
3.   sno varchar2(10),  
4.   sname varchar2(20),  
5.   dormitory varchar2(3),  
6.   grade int  
7. )  
8. partition by hash(sno)  
9. (  
10.   partition p1,  
11.   partition p2,  
12.   partition p3  
13. );  

  备注：

      ① 说明：散列分区即为哈希分区，Oracle采用哈希码技术分区，具体分区如何由Oracle说的算，也可能我下一次搜索就不是这个数据了。

  1)    插入实验数据，与范围分区实验插入的数据相同。

     然后查询分区数据：

Sql代码  

1. select * from graderecord partition(p1);  
2. select * from graderecord partition(p2);  
3. select * from graderecord partition(p3);  

   p1分区的数据：

   p2分区的数据：

  p3分区的数据：

   【HASH分区特点】：

     【案例分析】：

     列表分区明确指定了根据某字段的某个具体&＃20540;进行分区，而不是像范围分区那样根据字段的&＃20540;范围来划分的。

Sql代码  

1. create table graderecord  
2. (  
3.   sno varchar2(10),  
4.   sname varchar2(20),  
5.   dormitory varchar2(3),  
6.   grade int  
7. )  
8. partition by list(dormitory)  
9. (  
10.   partition d229 values('229'),  
11.   partition d228 values('228'),  
12.   partition d240 values('240')  
13. )  

 以上根据宿舍来进行列表分区，插入与范围分区实验相同的数据，做查询如下：

Sql代码  

1. select * from graderecord partition(d229);  
2. select * from graderecord partition(d228);  
3. select * from graderecord partition(d240);  

 d229分区所得数据如下：

d228分区所得数据如下：

d240分区所得数据如下：

【列表分区特点】：