热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

关于Oracle数据库分页查询的小技巧

对于Oracle中的相关优化,有许多常用的方法,像大家都知道的如:select*不提倡使用,效率极差,建议显式获取列,即使是所有字段也应罗列。而取总数时使用count(*),为提高cache的命中率,尽量做到SQL重用。另外,提高性能的好选择可能就是把所有的字符数据都

对于Oracle中的相关优化,有许多常用的方法,像大家都知道的如:select *不提倡使用,效率极差,建议显式获取列,即使是所有字段也应罗列。而取总数时使用count(*),为提高cache的命中率,尽量做到SQL重用。另外,提高性能的好选择可能就是把所有的字符数据都

对于Oracle中的相关优化,有许多常用的方法,像大家都知道的如:select *不提倡使用,效率极差,建议显式获取列,即使是所有字段也应罗列。而取总数时使用count(*),为提高cache的命中率,尽量做到SQL重用。另外,提高性能的好选择可能就是把所有的字符数据都保存为Unicode,Java以Unicode形式处理所有数据,因此,数据库驱动程序不必再执行转换过程。

而这篇文章我们主要来了解下关于用SQL来实现分页的很多种实现方式,有些语句可能并不是很通用,只能用在一些特殊场景之中,而一些虽然功能强大、使用方便,带来的缺陷就是效率会慢得掉渣,接下来是IT男经过亲身的开发经验,分别讲解下这些常用的sql查询语句的作用,但愿对你有帮助!

以下介绍三种比较通用的实现方案;在以下各种实现中,ROWNUM是一个最核心的关键词,在查询时他是一个虚拟的列,取值为从1到记录总数的序号。

1、首先来介绍我们工作中最常使用的一种实现方式:

SELECT *
FROM (SELECT IT_NAN_.*, ROWNUM R_
  FROM (SELECT * 
      FROM IT_NAN T 
      ORDER BY T.IT_CAT) IT_NAN_
  WHERE ROWNUM <= 50000&#41; 
WHERE R_ >= 49991;

其中最内层的查询SELECT为不进行翻页的原始查询语句,可以用自己的任意Select SQL替换;ROWNUM <= 50000 和ROWNUM >= 49991控制分页查询的每页的范围。分页的目的就是控制输出结果集大小,将结果尽快的返回;上面的SQL语句在大多数情况拥有较高的效率,主要体现在WHERE ROWNUM <= 50000这句上,这样就控制了查询过程中的最大记录数。(经过本IT男测试百万级别的数据,以上sql测试的时间大约徘徊在2.5s上下,并随着50000这个数值的变大,时间略微变长。)

2、上面例子中展示的在查询的第二层通过ROWNUM <= 50000来控制最大值,在查询的最外层控制最小值。而另一种方式是去掉查询第二层的WHERE ROWNUM <= 50000语句,在查询的最外层控制分页的最小值和最大值。此时SQL语句如下,也就是要介绍的第二种实现方式:

SELECT *
FROM &#40;SELECT IT_NAN_.*, ROWNUM R_
  FROM &#40;SELECT *
    FROM IT_NAN T
    ORDER BY T.IT_CAT&#41; IT_NAN_ &#41;
WHERE R_ BETWEEN 49991 AND 50000;

由于Oracle可以将外层的查询条件推到内层查询中,以提高内层查询的执行效率,但不能跨越多层。
对于第一个查询语句,第二层的查询条件WHERE ROWNUM <= 50000就可以被Oracle推入到内层查询中,这样Oracle查询的结果一旦超过了ROWNUM限制条件,就终止查询将结果返回了。

而第二个查询语句,由于查询条件BETWEEN 49991 AND 50000 是存在于查询的第三层,而Oracle无法将第三层的查询条件推到最内层(即使推到最内层也没有意义,因为最内层查询不知道ROWNUM代表什么)。因此,对于第二个查询语句,Oracle最内层返回给中间层的是所有满足条件的数据,而中间层返回给最外层的也是所有数据。数据的过滤在最外层完成,显然这个效率要比第一个查询低得多。(这种查询语句经过本IT男测试和以上相同的数据时,测试的时间大约为第一种查询时间的两倍,并也随着50000这个数值的变大,时间略微增长。)

3、以上两种方案完全是通过ROWNUM来完成,下面一种则采用ROWID和ROWNUM相结合的方式,SQL语句如下:

SELECT *
FROM &#40;SELECT RID
  FROM &#40;SELECT IT_NAN_1.RID, ROWNUM R_
    FROM &#40;SELECT T.ROWID RID
      FROM IT_NAN T
      ORDER BY T.IT_CAT&#41; IT_NAN_
    WHERE ROWNUM <= 50000&#41;
  WHERE R_ >= 49991&#41; IT_NAN_1_ , IT_NAN IT_NAN_2_
WHERE IT_NAN_1_.RID = IT_NAN IT_NAN_2_.ROWID ;

从语句上看,共有嵌套查询了四层Select,最内层为可替换的不分页原始SQL语句,但是他查询的字段只有ROWID,而没有任何待查询的实际表字段,具体查询实际字段值是在最外层实现的。

这种方式的原理大致为:首先通过ROWNUM查询到分页之后的10条实际返回记录的ROWID,最后通过ROWID将最终返回字段值查询出来并返回;

和前面两种实现方式相比,该SQL的实现方式更加繁琐,通用性也不是非常好,因为要将原始的查询语句分成两部分(查询字段在最外层,表及其查询条件在最内层);
但这种实现在特定场景下还是有优势的:比如我们经常要翻页到很后面,比如100000条记录中我们经常需要查90000-91000及其以后的数据;此时该方案效率可能要比前面的高;
因为前面的方案中是通过ROWNUM <= 91000来控制的,这样就需要查询出91000条数据,然后取最后90000-91000之间的数据,而这个方案直接通过ROWID取需要的那100条数据;

从不断向后翻页这个角度来看,第一种实现方案的成本会越来越高,基本上是线性增长,而第三种方案的成本则不会像前者那样快速,他的增长只体现在通过查询条件读取ROWID的部分;(这种查询语句IT男同样进行了测试,测试的时间大约为第一种查询时间的一半,并也随着50000这个数值的变大,体现出的效果会更可观。而后我又测试了查看页数为1-10的查询速度,结果发现这个查询方法,仍旧比第一种要快将近一半&#8230;不知道具体原因,不过事实胜于雄辩啊&#8230;)

这个查询方法真的很给力,如果你们的项目中应用了hibernate的二级缓存对实体对象进行了缓存的话,那样的话,效率将会是更加的可观。

4、当然,除了以上提了这些方案,我们还可以用以下的SQL来实现:

SELECT *
FROM IT_NAN
WHERE ROWID NOT IN
&#40;SELECT ROWID FROM IT_NAN WHERE ROWNUM <= 49990&#41;
AND ROWNUM <= 10;
SELECT *
FROM IT_NAN
WHERE ROWNUM <= 50000
MINUS
SELECT * FROM IT_NAN WHERE ROWNUM <= 49990

以上两种查询语句IT男也测试了下,大概是8s左右。所以说如果项目数据量不大的话,可以尝试使用,如果百万或以上的数据,还是考虑上面的比较好些。

………………
注意:当ROWNUM作为查询条件时,他是在order by之前执行,所以要特别小心;
比如我们想查询IT_NAN中按IT_CAT倒序排列的前10条记录不能用如下的SQL来完成:

SELECT * 
FROM IT_NAN T 
WHERE ROWNUM <= 10 ORDER BY T.IT_CAT DESC;

当然对于这个需求,可以参考上面的例子那样的子查询来实现,也可以采用Oracle的排序函数:ROW_NUMBER()函数根据OrderID这列来生成一个新的数据列。当然对ROW_NUMBER感兴趣的可以请教下度娘或谷哥,这里就不再细说,效果是差不多。

关于数据的优化还有很多事情要做,要考虑,要研究,这也只是一点儿小技巧,有时间我会继续在博客中分享相关的经验,当然也希望有大虾们尽情指正、放荡的拍砖、一起探讨分享你的优化经验,共同成长!

推荐阅读
  • 本文详细介绍了如何使用libpq库与PostgreSQL后端建立连接。通过探讨PQconnectdb()函数的工作原理及其在实际应用中的使用方法,帮助读者理解并掌握建立高效、稳定的数据库连接的关键步骤。 ... [详细]
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 使用C#开发SQL Server存储过程的指南
    本文介绍如何利用C#在SQL Server中创建存储过程,涵盖背景、步骤和应用场景,旨在帮助开发者更好地理解和应用这一技术。 ... [详细]
  • 本文探讨了适用于Spring Boot应用程序的Web版SQL管理工具,这些工具不仅支持H2数据库,还能够处理MySQL和Oracle等主流数据库的表结构修改。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 在使用SQL Server进行动态SQL查询时,如果遇到LIKE语句无法正确返回预期结果的情况,通常是因为参数传递方式不当。本文将详细探讨这一问题,并提供解决方案及相关的技术背景。 ... [详细]
  • 本文介绍如何通过创建替代插入触发器,使对视图的插入操作能够正确更新相关的基本表。涉及的表包括:飞机(Aircraft)、员工(Employee)和认证(Certification)。 ... [详细]
author-avatar
n_light征蓝妙
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有