oracle并行之概念篇-mysql教程

概念 串行执行： 串行执行时候,sql语句由一个server process处理(既只运行在一个cpu上),所以sql语句所能使用的资源受cpu限制,除去异步i/o外server process 处理cpu操作时，不可访问disk。 并行处理： 就是多个slave process一起处理同一个sql语句，server pr

概念

串行执行：串行执行时候,sql语句由一个server process处理(既只运行在一个cpu上),所以sql语句所能使用的资源受cpu限制,除去异步i/o外server process
处理cpu操作时，不可访问disk。
并行处理：就是多个slave process一起处理同一个sql语句，server process充当query coordinator（创建slave process,分配任务，收集合并slave process传的结果返回给client）。
并行执行工作粒度：
1.分区粒度(paratition granule)：一个分区 或一个子分区 为一个工作内容被分配（分区segment上）。就是操作PX BLOCK ITERATOR。
2.块范围粒度（block range granule）：segment上一个范围内的block，运行时动态定义（不是parse时）。就是操作PX PARTION ITERATOR。

注释：
*oracle倾向于block range granule，因为block range granule可以让slave process们得到的工作量比较平均，而分区粒度 有可能会使有的slave process得到的分区的工作量很大，导致时间响应更长会影响到并行执行的总效率。

*sql语句执行2个或2个以上独立的操作（比如，非相关性操作join,scan（如全表扫描等）&order by这样会使用2组slave process，一组scan，一组order by)
*按scan&order by这个例 子，2组slave process，第一组select，那么select中的并行(slave process 操作)叫操作内并行，即单个操作内并行化。那么scan与order by就是2次操作内并行。
*2组slave process用来执行一个sql语句 叫操作间并行(组1 sacn ,组2 orderby 之间操作就是操作间并行)。
*操作间并行时，会有多组slave process通信，例如组1scan数据 给组2orderby,组1就是生产者(producer)，组2就是消费者(consumer)，按生产者与消费者执行的。

不同操作，就会选择不同的分配（数据）记录方式给另一个操作：
1.广播:每个生产者发送所有数据给消费者
2.range:生产者将执定范围的记录发给不同的消费者，会应用动态范围分区决定哪条记录给哪个消费者(对于orde by操作根据order by子句中字段range分区)
3.loop:记录会被平均分给每个消费者（即生产者每loop循环一次，就给一个消费者发一条记录）
4.hash:生产者用hash函数发送数据给消费者,动态应用hash分区来决定哪条记录给哪个消费者(对于group by根据group by子句使用的字段进行hash )
5.qc随机：每个生产者将所有记录发给query coordinator（随机），这是常用方法
6.qc顺序:每个生产者将所有记录发给query coordinator(顺序很重要)，并行orderby用这个给query coordinator（server process）发送数据

#上面的广播方法就是执行计划中 px send qc(random/order)操作或是px send（qc 随机）操作 ， 其父操作就是px coordator（查询调度）。

上面的range/hash/loop就是执行计划中px send qc range/hash/loop 操作 ，其父操作就是px recive（接收者，消费者）。

并行操作间关系（执行计划中in-out部分）
p-s：并行发送数据给串行
p-p：（有2组slaves process时使用），一个并行操作将数据发送给另一个并行操作
pcwp:相同slave process并行执行一个操作及其父操作，无通讯
pcwc:相同slave process并行执行一个操作及其子操作，无通讯
s-p:串行发送数据给并行，效率差（1.单一进程产生数据没有多个进程消费数据快,消费者花很多时间等数据而不是处理数据；2.串行执行操作和并行执行操作发送数据有一些不必要的通讯）

参数控制并行：
1.parallel_min_servers:

instance 启动数据库实例时就会自动创建的slaves process数量，这样当server process请求时候就不需要重新创建了，直接使用就可以。当server process请求的数量超过这个设置&＃20540;时，就会创建新的slave process，新创建的在使用完成后会在slave process pool（oracle会管理一个slave process pool,query coordinator process既server process从这个pool中请求slave process，sql语句开始使用，使用后slave process返回pool）。

保存5分钟若还未人使用 就释放，所以 参数parallel_min_servers控制这个pool中启始slave process数量,defalut 0，表示需要时候才创建。
什么时候需要修改该参数：一般在出现os thread startup 这个event（表示sql语句花时间等待slave process）才修改这个&＃20540;。

2.parallel_max_server:

控制pool中slave process最大数量(可以设置成cpu_count ,8-10倍)。

若parallel_adaptive_multi_user （为boolean 类型的参数）为TRUE (10G default为TRUE)时，仅允许有限数目的用户按默认的并行程度运行。

这个限度由_parallel_adaptive_max_users控制。 _parallel_adaptive_max_users表示maximum number of users running with default DOP。例如，_parallel_adaptive_max_users为 2，即 指定 现在显示为2个USER。

#查看server process pool状态
SQL> select * from v$px_process_sysstat where upper(statistic) like ‘SERVER%’;

STATISTIC VALUE
—————————— ———-
Servers In Use 0~~使用的
Servers Available 2~~
Servers Started 2~~~启动过几个
Servers Shutdown 0
Servers Highwater 2~~~最高到达
Servers Cleaned Up 0
Server Sessions 2

7 rows selected.

*sga中有一个table queue内存给消费者发送数据，每对（生产者&消费者）对应一个table queue处理2组从属进程间通信,table queue 可以放在shared pool，也可以large pool
（其实table queue就是 px msg pool）,当10G SGA_TARGET>0 or 11g memory_target>0时 都是存在large pool,parallel_automatic_tuning=true放在large pool，10G 默认为TRUE，11g
默认就是放在large pool,parallel_automatic_tuning在11G已经废弃向后兼容保留了(The PARALLEL_AUTOMATIC_TUNING parameter is deprecated. It is retained for backward compatibility only.)

关于这个parallel_automatic_tuning更详细的说明
When PARALLEL_AUTOMATIC_TUNING is set to true, Oracle determines the default values for parameters that control parallel execution. In addition to setting this parameter, you must specify the PARALLEL clause for the target tables in the system. Oracle then tunes all subsequent parallel operations automatically.

If you used parallel execution in a previous release and are now enabling PARALLEL_AUTOMATIC_TUNING, then you should reduce the amount of memory allocated from the shared pool to account for the decreased demand on that pool. This memory will now be allocated from the large pool, and will be computed automatically if LARGE_POOL_SIZE is not specified.

As part of the automatic tuning, Oracle will enable the PARALLEL_ADAPTIVE_MULTI_USER parameter. You can override any of the system-provided defaults if desired.

每个table queue由3个buffer （块）组成，在rac里为4个。每个buffer大小由parallel_execution_message_size控制，默认为2152bytes，parallel_automatic_tuning=true，parallel_execution_message_size=4096 bytes。
可以设置大点16k,32k,64K(内存要足够)

#########large pool size
large_pool_size>=parallel_max_servers^2.parallel_execution_message_size.3(rac .4)

SQL> select * from v$sgastat where upper(name)=’PX MSG POOL’;

POOL NAME BYTES
———— ————————– ———-
large pool PX msg pool 902160

所以可以认为table queue就是px msg pool

SQL> select pool,name ,bytes/1024/1024/1024 from v$sgastat where upper(pool) like ‘%LARGE%’;

POOL NAME BYTES/1024/1024/1024
———— ————————– ——————–
large pool PX msg pool .000840202
large pool free memory .003066048