热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

sqlserver2008亿万数据性能优化

根据设计惯例,查询的时候主子表通过关键词字段关联查询,查询语句如下:selecttop1000a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,b.ibaiduindexfromzibiaoawith(nolock)innerjoinzhubiaobwith(nolock)ona.word

根据设计惯例,查询的时候主子表通过关键词字段关联查询,查询语句如下: select top 1000 a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,b.ibaiduindex from zibiao a with(nolock) inner join zhubiao b with(nolock) on a.word=

  根据设计惯例,查询的时候主子表通过关键词字段关联查询,查询语句如下:

  select top 1000 a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,b.ibaiduindex from zibiao a

  with(nolock)

  inner join zhubiao b with(nolock) on a.word=b.word

  where a.queryurl='http://zhidao.baidu.com'

  order by b.ibaiduindex desc,a.irank

  发现速度很慢,快的时候瞬间,慢的时候长达几分钟。分析sql server的查询执行计划如下:

sql server 2008亿万数据性能优化 三联

  分析这个执行计划图,主要资源开销是在主表的聚集索引查找,应该是子表根据网址找到关键词后,再到主表中查找关键词对应的指数的这一步比较耗时。

  因这2个表的更新频率非常高,以为是更新频率太快,导致索引效率降低,于是想到用数据库读写分离的方案,专门拿了一台备用服务器,通过发布订阅的方法 ,将这两张表发布到备用服务器上,专门在备用服务器上做查询,发现速度并没有得到提升。

  在csdn上发了一个讨论帖,网友讨论很热烈,sql server的很多版主都有参与讨论,给出的方案也很多。有人说是IO读写瓶颈,于是升级了下服务器,硬盘采用raid10的固态硬盘,内存更是升级到了128G,不过效果仍旧不明显,同样的语句,慢的时候还是需要几十秒。

  有网友给出的方案,是建议把主表字段放到子表冗余,以减少关联的资源消耗,再结合以上的执行计划图,确实瓶颈是在主表的的聚集索引查找上,于是单独执行了下子表的irank排序语句:

  select top 1000 a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2 from zibiao a

  with(nolock)

  where a.queryurl='http://zhidao.baidu.com'

  order by a.irank

  发现执行速度非常快,几乎秒开了,当然irank字段上有建索引的。

  测试成功,于是将主表的ibaiduindex字段放到子表冗余,并且建立好索引(这里的索引建立是有技巧的)。执行语句:

  select top 1000 a.word,a.queryurl,a.irank,a.title,a.baiduurl,a.itraffic1,a.itraffic2,a.ibaiduindex from zibiao a

  with(nolock)

  where a.queryurl='http://zhidao.baidu.com'

  order by a.ibaiduindex desc,a.irank

  查询瞬间出来结果。执行计划如下:

image

  这里拿以上这个sql语句来分析,我们该如何建立索引。索引建立包括字段的先后顺序,字段的排序方法,include项都很重要,任何一个弄错,都不能达到好的优化效果。

  1.我们肯定需要建立一个组合索引。那么应该组合字段用哪几个呢?这里我的组合字段是:queryurl(这个字段第一, 因为我们最先是根据这个字段进行筛选的)、ibaiduindex、irank

  2.这里要注意下,因为我的固定排序就是ibaiduindex desc,irank asc,所以字段的排列顺序应该是:queryurl,ibaiduindex,irank。同时排序的类别是:ibaiduindex desc ,irank asc。这里我一开始没注意,ibaiduindex的排序是asc,结果发现执行上面那个SQL语句仍然需要2秒。

  3.索引包含项,也很重要,如果不用包含项,索引查找到主键后, 还要根据主键去查找其他字段。所以我们需要设置索引包含性列,,把除掉索引字段中剩余的其他字段都加进去。

  优化后的效果就如上面的执行计划图所示,一次非聚集索引查找,就找到我们的数据,而且都不需要排序耗时,因为我们的索引已经按照顺序排列好了。当然,这里要说明下,索引包含确实好用,但是代价就是磁盘的空间。加了索引包含项,数据库空间增加了几十个G。

推荐阅读
  • 本文深入探讨网页游戏的开发流程,涵盖从程序框架设计到具体实现的技术细节,旨在为开发者提供全面的指导。 ... [详细]
  • GBase 8s SQL 指南:多列约束详解
    本文档详细介绍了如何在GBase 8s中使用多列约束格式,将其应用于现有表的一列或多列。这种格式类似于CREATE TABLE语句中的多列约束,但提供了一些额外的选项,如INDEX DISABLED关键字。 ... [详细]
  • 本文总结了WebSphere应用服务器出现宕机问题的解决方法,重点讨论了关键参数的调整,包括数据源连接池、线程池设置以及JVM堆大小等,旨在提升系统的稳定性和性能。 ... [详细]
  • 多核处理器技术的显著进展可追溯至IBM于2001年推出的双核RISC处理器POWER4,标志着服务器处理器迈入多核时代。随后,HP和Sun等公司也纷纷加入这一行列,推动了多核处理器在不同领域的广泛应用。 ... [详细]
  • VMware Horizon View 5.0桌面虚拟化部署实践与心得
    在近期的研究中,我花费了大约两天时间成功部署了桌面虚拟化环境,并在此过程中积累了一些宝贵的经验。本文将分享这些经验和部署细节,希望能对同样关注桌面虚拟化的同行有所帮助。 ... [详细]
  • 详解Linux系统启动过程及/etc/rc.d与/etc/rc.d/init.d目录关系
    本文深入探讨了Linux系统启动流程、运行级别及其与/etc/rc.d和/etc/rc.d/init.d目录的关联,旨在帮助读者理解系统启动时各脚本和服务的加载机制。 ... [详细]
  • TCP/IP基础知识详解
    本文详细介绍了TCP/IP协议的基本概念,包括网络层次模型、TCP三次握手过程、四次挥手过程以及TCP与UDP的比较。通过这些内容,读者可以更好地理解TCP/IP协议的工作原理。 ... [详细]
  • window下kafka的安装以及测试
    目录一、安装JDK(需要安装依赖javaJDK)二、安装Kafka三、测试参考在Windows系统上安装消息队列kafka一、安装JDKÿ ... [详细]
  • 本文详细介绍了如何使用 PHP 编程语言输出 99 乘法表,包括使用不同的循环结构如 do-while、for 循环等方法,并提供了具体的代码示例。 ... [详细]
  • 本文详细介绍了在09对战平台上添加好友的方法及平台特色功能。 ... [详细]
  • 当尝试从客户端连接到Oracle数据库时,如果遇到错误代码ORA-12541(TNS:无监听器),通常意味着监听器服务未运行或配置错误。本文介绍如何诊断和修复OracleOraHome92TNSListener服务无法启动的问题。 ... [详细]
  • 当客户端向服务器发起请求时,通常会携带一系列请求参数。例如,在执行数据库记录删除操作时,需要通过请求传递一个用于标识记录的主键值。 ... [详细]
  • 本文详细介绍了使用ZooKeeper构建高可用集群的方法,包括必要的软件环境准备、配置文件调整及集群启动等关键步骤。通常,一个ZooKeeper集群由奇数个节点组成,以确保Leader选举的有效性。 ... [详细]
  • 利用RabbitMQ实现高效延迟任务处理
    本文详细探讨了如何利用RabbitMQ实现延迟任务,包括其应用场景、实现原理、系统设计以及具体的Spring Boot实现方式。 ... [详细]
  • 本文探讨了随着并发需求的增长,MySQL数据库架构如何从简单的单一实例发展到复杂的分布式系统,以及每一步演进背后的原理和技术解决方案。 ... [详细]
author-avatar
mobiledu2502870743
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有