热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

oracle数据库优化直方图

1直方图定义在oracle数据库中,CBO会默认认为数据在最小值和最大值之间是均匀分布的,并且会按照均匀分布原则计算目标列查询条件的可选择率࿰

1 直方图定义

  在oracle数据库中,CBO会默认认为数据在最小值和最大值之间是均匀分布的,并且会按照均匀分布原则计算目标列查询条件的可选择率,计算成本选择执行计划,但是目标列的数据是均匀分布这个原则并不是正确的。

 在实际的系统中,我们很容易看到一些目标列的数据分布是不均匀的,甚至极度偏斜、分布极度不均衡,对这样的列如果按照均匀分布原则去计算可选择率与cardinality,并根据此计算成本,那么CBO所选择的执行计划可能是不合理的,甚至是错误的。

一个例子,由于数据极度不平衡,而且未收集直方图导致的错误执行计划

SQL> update t1 set object_id=1;

72770 rows updated.

SQL> commit;

Commit complete.

SQL> update t1 set object_id&#61;2 where rownum<10;

9 rows updated.

SQL> commit;

Commit complete.

SQL> select object_id,count(1) from t1 group by object_Id;

 OBJECT_ID   COUNT(1)
---------- ----------
         1      72761
         2          9

SQL> select table_name,histogram from dba_tab_col_statistics where table_name&#61;&#39;T1&#39; and column_name&#61;&#39;OBJECT_ID&#39;;

TABLE_NAME           HISTOGRAM
-------------------- --------------------
T1                   NONE
SQL> EXEC DBMS_STATS.GATHER_TABLE_STATS(&#39;SYS&#39;,&#39;T1&#39;,ESTIMATE_PERCENT&#61;>100,METHOD_OPT&#61;>&#39;FOR ALL COLUMNS SIZE 1&#39;);

SQL> EXEC DBMS_STATS.GATHER_TABLE_STATS(&#39;SYS&#39;,&#39;T1&#39;,ESTIMATE_PERCENT&#61;>100,METHOD_OPT&#61;>&#39;FOR COLUMNS SIZE AUTO OBJECT_ID&#39; ,CASCADE&#61;>TRUE);

SQL> set lines 120
SQL> col table_name for a20
SQL> col HISTOGRAM for a20
SQL> select table_name,histogram from dba_tab_col_statistics where table_name&#61;&#39;T1&#39; and column_name&#61;&#39;OBJECT_ID&#39;;

TABLE_NAME           HISTOGRAM
-------------------- --------------------
T1                   FREQUENCY

收集直方图方案

FOR ALL [INDEXED|HIDDEN] COLUMNS [SIZE 1-255 \AUTO]

FOR COLUMNS SIZE AUTO DEPTNO,NAME

FOR COLUMNS EMPNO SIZE 10 NAME SIZE 5

FOR COLUMNS EMPNO SIZE 1


2 直方图与绑定变量

变量窥探一般情况下在select语句使用绑定变量都会去窥探&#xff0c;与字段上有无索引、直方图信息无关&#xff0c;虽然个人认为在没有直方图和索引的情况下意义不大&#xff0c;但是oracle都会去窥探变量值然后根据变量值生成执行计划&#xff0c;可以修改隐含参数"_optim_peek_user_binds"为FALSE禁用变量窥探&#xff08;可能会引起性能问题&#xff09;&#xff0c;不过11g中引入自适应游标共享后这个问题得到了改善&#xff0c;在10g中直方图和变量窥探是相互矛盾的&#xff0c;为了性能的稳定性&#xff0c;需要人为去做好控制&#xff0c;不收集直方图信息或者不使用绑定变量&#xff0c;当然具体的方案都需要根据具体的情况进行分析测试。

最后需要注意的是默认情况下只收集在where条件中使用过的字段的直方图&#xff0c;视图sys.col_usage$中记录是否使用过不做任何查询或者DML收集统计信息&#xff1a;

我们知道当我们拥有了histograms的统计信息之后我们就可以使用这些信息计算我们的选择率和基数。但是如果我们使用了绑定变量的时候&#xff0c;情况总会有所改变。
    首先&#xff0c;在Oracle9i里面新引入了bind variable peeking的功能&#xff0c;这个功能我们前面讲过&#xff0c;是一个带绑定变量的SQL第一次parse的时候&#xff0c;让CBO可以根据绑定的具体的值来决定所要使用的执行计划&#xff0c;而以后如果遇到同样的SQL&#xff0c;即使绑定变量的值不一样&#xff0c;也不会在peek绑定变量的值&#xff0c;而是使用已经生成的计划。这里的一个潜在的问题就是如果我们有了histograms信息&#xff0c;而且我们的数据分布是一小部分数据的分布和其他部分的分布相差很远&#xff0c;那么当我们在做bind variable peeking&#xff0c;如果很不幸运的peek到了那一小部分的数据&#xff0c;就会导致以后所有的同样的SQL都使用了不恰当的执行计划。

      当然这个bind variable peeking有时候也有意外&#xff0c;那就是如果我们存在shared pool里的执行计划信息或其他相关的信息由于某种原因失效了或者被age out of shared pool&#xff0c;那当我们再次运行这个SQL的时候&#xff0c;就会重新peek绑定变量的值&#xff0c;从而重新生成计划。关于执行计划信息或其他相关的信息的失效或age out&#xff0c;可以通过v$sql的reloads和invalidations字段获得。

     和绑定变量有关的另一个就是参数cursor_sharing&#xff0c;cursor_sharing这个参数有三个取值&#xff1a;FORCE、EXACT、SIMILAR。

       有时候&#xff0c;很可能是在OLTP的系统中&#xff0c;为了最大限度的减少SQL PARSE的消耗&#xff0c;让类似的SQL可以尽可能的重用&#xff0c;我们会考虑设置cursor_sharing为force。当cursor_sharing被设置为force的时候&#xff0c;优化器会用系统指定的绑定变量来替代SQL里面所有的literal constants&#xff0c;然后以此为基础判断我们的shared pool里面是不是有可以重用的cursor。按照我们上面的讨论&#xff0c;设置cursor_sharing为force对histograms影响最大的&#xff0c;因为系统指定的绑定变量替换后很可能与histograms收集的数据分布不符。

       这个问题可以有两个解决办法,一是在我们认为影响会很到的SQL里面加上hint /*&#43; cursor_sharing_exact */&#xff0c;这回告诉CBO对于这个SQL采用cursor_sharing&#61;exact的策略。另一个解决方法是设置cursor_sharing&#61;similar&#xff0c;按照Oracle文档的说法&#xff0c;设置cursor_sharing为similar也会首先把SQL里的literals替换为绑定变量&#xff0c;并且也会在第一次分析SQL的时候做bind variable peeking&#xff0c;但是当以后重新运行类似的SQL的时候&#xff0c;CBO会查看如果发现新的绑定变量会影响到执行计划&#xff08;当然&#xff0c;之所以会产生不同的执行计划往往是因为存在histograms&#xff09;&#xff0c;就会重新生成执行计划。经过一些实验&#xff0c;我们可以发现&#xff0c;当设置cursor_sharing&#61;similar的时候&#xff0c;如果我们的条件是range scan或等于的条件&#xff0c;并且条件涉及的列上有histograms信息的时候&#xff0c;CBO会在分析SQL的时候对绑定变量做检查&#xff0c;如果发现新的绑定变量有可能影响SQL的执行计划&#xff0c;则会重新评估并生成新的计划。

     但是往往我们在优化系统的一个方面的时候会导致其他方面的问题&#xff0c;cursor_sharing&#61;similar就是一个很典型的例子&#xff0c;当我们这样的设置的时候&#xff0c;首先优化器的压力会变大&#xff0c;因为CBO要做很多的重新优化。更严重的问题在于cursor_sharing&#61;similar会导致同样的SQL&#xff08;除了绑定变量的值不一样之外&#xff09;在library cache里面拥有很多不同的执行计划&#xff0c;因为我们知道一个SQL下面的所有执行计划都是被一个latch保护的&#xff0c;所以cursor_sharing&#61;similar会导致更严重的latch 争用。因此当我们使用cursor_sharing&#61;similar的时候&#xff0c;除非必要&#xff0c;无需统计histograms信息&#xff0c;因为我们要保证我们为了解决一个问题不会导致其他的更严重的问题。


推荐阅读
  • MySQL索引详解与优化
    本文深入探讨了MySQL中的索引机制,包括索引的基本概念、优势与劣势、分类及其实现原理,并详细介绍了索引的使用场景和优化技巧。通过具体示例,帮助读者更好地理解和应用索引以提升数据库性能。 ... [详细]
  • 本文详细介绍了Akka中的BackoffSupervisor机制,探讨其在处理持久化失败和Actor重启时的应用。通过具体示例,展示了如何配置和使用BackoffSupervisor以实现更细粒度的异常处理。 ... [详细]
  • 深入理解 Oracle 存储函数:计算员工年收入
    本文介绍如何使用 Oracle 存储函数查询特定员工的年收入。我们将详细解释存储函数的创建过程,并提供完整的代码示例。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 本文详细介绍了如何构建一个高效的UI管理系统,集中处理UI页面的打开、关闭、层级管理和页面跳转等问题。通过UIManager统一管理外部切换逻辑,实现功能逻辑分散化和代码复用,支持多人协作开发。 ... [详细]
  • 解读MySQL查询执行计划的详细指南
    本文旨在帮助开发者和数据库管理员深入了解如何解读MySQL查询执行计划。通过详细的解析,您将掌握优化查询性能的关键技巧,了解各种访问类型和额外信息的含义。 ... [详细]
  • 本文介绍如何使用 NSTimer 实现倒计时功能,详细讲解了初始化方法、参数配置以及具体实现步骤。通过示例代码展示如何创建和管理定时器,确保在指定时间间隔内执行特定任务。 ... [详细]
  • 本文详细探讨了JDBC(Java数据库连接)的内部机制,重点分析其作为服务提供者接口(SPI)框架的应用。通过类图和代码示例,展示了JDBC如何注册驱动程序、建立数据库连接以及执行SQL查询的过程。 ... [详细]
  • 毕业设计:基于机器学习与深度学习的垃圾邮件(短信)分类算法实现
    本文详细介绍了如何使用机器学习和深度学习技术对垃圾邮件和短信进行分类。内容涵盖从数据集介绍、预处理、特征提取到模型训练与评估的完整流程,并提供了具体的代码示例和实验结果。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
  • 本文介绍了在Windows环境下使用pydoc工具的方法,并详细解释了如何通过命令行和浏览器查看Python内置函数的文档。此外,还提供了关于raw_input和open函数的具体用法和功能说明。 ... [详细]
  • 本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本,并进行数据处理和保存。 ... [详细]
author-avatar
黄敬定241
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有