当前位置: 开发笔记 > 数据库 > 正文

一次监控系统进程影响的业务响应的问题及解决

作者：手机用户2502936263 | 来源：互联网 | 2014-07-09 16:02

一次监控系统进程影响的业务响应的问题及解决也是十一期间，业务反应出帐过程中某程序执行特别慢，怀疑是oracle数据库有问题，需要尽快处理，根据业务提供的相关信息，相关业务从wwzg3主机发起，业务主要使用了账...SyntaxHighlighter.all();

也是十一期间，业务反应出帐过程中某程序执行特别慢，怀疑是oracle数据库有问题，需要尽快处理，根据业务提供的相关信息，相关业务从wwzg3主机发起，业务主要使用了账本通知表www_BOOK_CHG_NOTIFY和短信表WWW.www_busi_sms。

提供了一个sql语句

select *

from WWW.www_book_scheme_fee_0104 a,

WWW.www_book_scheme_rec_0104 b,

WWW.crm_user c

where a.so_nbr = b.so_nbr

and a.wwwt_id = c.wwwt_id

and a.after_month <= to_char(sysdate, &＃39;yyyymm&＃39;)

and c.phone_id = b.phone_id

and b.sts = 0

and a.sts = 0;

www.2cto.com

1，登录数据库主机，发现主机资源充足，系统资源不存在瓶颈，CPU利用率只有40%

SQL> !sar -u 3 5

HP-UX wbdb1 B.11.31 U ia64 10/04/12

12:24:01 %usr %sys %wio %idle

12:24:04 27 4 8 60

12:24:07 30 3 7 60

12:24:10 28 2 8 62

12:24:13 30 4 10 56

12:24:16 30 3 10 57

Average 29 3 9 59

2，开发提供的sql执行速度特别快，相关业务表唯一有点异常的sql执行计划如下,基本上都是全表扫描，但目前数据库中没有发现该语句正在运行 www.2cto.com

因此排除

[sql]

PLAN_TABLE_OUTPUT

-----------------------------------------------------------------

---------------------------------------------------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 1 | 430 | | 87768 (1)| | |

| 1 | TABLE wwwESS BY LOCAL INDEX ROWID| CRM_USER | 1 | 20 | | 21 (0)| | |

| 2 | NESTED LOOPS | | 1 | 430 | | 87768 (1)| | |

| 3 | HASH JOIN | | 385 | 154K| 2832K| 79678 (1)| | |

| 4 | HASH JOIN | | 10999 | 2696K| 343M| 75513 (1)| | |

| 5 | MERGE JOIN CARTESIAN | | 5634K| 279M| | 20348 (1)| | |

| 6 | TABLE wwwESS FULL | www_BOOK_SCHEME_COND | 2189 | 32835 | | 39 (0)| | |

| 7 | BUFFER SORT | | 2574 | 95238 | | 20309 (1)| | |

| 8 | TABLE wwwESS FULL | www_BOOK_SCHEME_SAP_MAP | 2574 | 95238 | | 9 (0)| | |

| 9 | TABLE wwwESS FULL | www_BOOK_SCHEME_REC_0104 | 2306K| 437M| | 14986 (2)| | |

| 10 | TABLE wwwESS FULL | www_BOOK_SCHEME_FEE_0104 | 80636 | 12M| | 3373 (2)| | |

| 11 | PARTITION RANGE ALL | | 1 | | | 20 (0)| 1 | 10 |

| 12 | INDEX RANGE SCAN | IDX_USER_PHONE | 1 | | | 20 (0)| 1 | 10 |

---------------------------------------------------------------------

www.2cto.com

3，数据库中的top 10 sql看，没有发现来自wwzg3主机的异常sql，基本上都来自wbzc4

awr本处省略

4，通过以上推断，数据库没有任何问题，于是转向查看运行相关进程的主机是否异常，果然问题不在数据库，在wwzg3主机资源利用率过高，系统利用率100%

CPU利用率100%，被%sys消耗，

root@wwzg3[/]#sar -u 3 5

HP-UX wwzg3 B.11.31 U ia64 10/04/12

13:47:38 %usr %sys %wio %idle

13:47:41 30 70 0 0

13:47:44 30 70 0 0

13:47:47 30 69 0 0

13:47:50 31 69 0 0

13:47:53 30 69 0 1

Average 30 69 0 0

www.2cto.com

5，262个idcp.sh进程正在运行

root@wwzg3[/]#ps -ef|grep idcp.sh|wc -l

262

root 20282 10168 1 13:55:30 pts/17 0:00 grep 7675

root@wwzg3[/]#ps -ef|grep idcp.sh

root 10315 10146 0 13:55:40 ? 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 9848 9803 253 20:40:00 ? 25:36 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 29251 29179 251 19:10:00 ? 30:05 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 19055 3432 0 16:40:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 13603 3432 0 15:50:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 13384 3432 0 18:20:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 26541 3432 0 15:20:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 29340 29289 252 21:10:00 ? 24:36 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 22296 22236 251 18:00:00 ? 34:44 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 10677 10653 252 21:00:00 ? 23:38 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 20122 3432 0 21:20:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 25174 25034 250 07:00:00 ? 6:48 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 6585 6499 251 03:20:00 ? 11:50 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 10206 10177 0 13:55:39 ? 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 25419 25344 253 21:40:00 ? 21:52 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 27135 3432 0 17:00:01 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 10347 944 0 13:55:40 ? 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 10167 10166 0 13:55:39 ? 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 25569 3432 0 18:30:00 ? 0:00 sh -c /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

root 10256 2025 0 13:55:40 ? 0:00 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

root 29111 29082 252 20:50:00 ? 24:08 /usr/bin/sh /home/patrol/IDCPCM/main/idcp.sh

6，该进程每隔10分钟会起一个定时任务，但从上面的进程看，昨天开始运行的进程都还没有执行结束，异常原因未知

#BOMC

30 2 * * * /home/patrol/CM/up_bin/get_cm.sh 1>/dev/null 2>&1

0,10,20,30,40,50 * * * * /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

7，kill 相关异常进程，为了防止问题再次发生，手工注释掉了该job的自动运行，系统恢复了正常

#BOMC

30 2 * * * /home/patrol/CM/up_bin/get_cm.sh 1>/dev/null 2>&1

#0,10,20,30,40,50 * * * * /home/patrol/IDCPCM/main/idcp.sh 1>/dev/null 2>/dev/null

www.2cto.com

改进措施

自动运行的监控脚本一直处于正常运行状态，很难定位具体异常的原因了。因此为了防止类似问题发生，对脚本程序进行了修改，增加了判断语句

前一个调度如果还没有执行完，则强制退出脚本，重新执行，并添加了日志记录

IDCPNUM=`ps -ef|grep idcp.sh|grep -v grep|wc -l|awk &＃39;{ print $1 }&＃39;`

if [ $IDCPNUM -ge 1 ]; then

ps -ef |grep idcp.sh |awk &＃39;{system("kill -9 "$2)}&＃39;

sleep 10

cd $TMDR

rm PM*.txt

总结：业务反应数据库慢，其实可能根本不是数据库的问题，要综合分析判断，本次问题其实就出在访问数据库的客户端所在的主机太忙。

推荐阅读

数据库
如何限制php数据库链接数和连接超时时间？

本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目，以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数，以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]

蜡笔小新 2023-12-14 14:06:10
数据库
Oracle Database 10g许可授予信息及高级功能详解

本文介绍了Oracle Database 10g许可授予信息及其中的高级功能，包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明，指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]

蜡笔小新 2023-12-14 13:12:10
数据库
Spring特性实现接口多类的动态调用详解

本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍，以及getBeansOfType方法的应用，解决了在实际工作中遇到的接口及多个实现类的问题。同时，文章还提到了SPI使用的不便之处，并介绍了借助ApplicationContext实现需求的方法。阅读本文，你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]

蜡笔小新 2023-12-14 03:24:19
数据库
Java String与StringBuffer的区别及其应用场景

本文主要介绍了Java中String和StringBuffer的区别，String是不可变的，而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象，内存使用上要优于String类。因此，在需要频繁对字符串进行修改的情况下，使用StringBuffer更加适合。同时，文章还介绍了String和StringBuffer的应用场景。 ... [详细]

蜡笔小新 2023-12-13 19:21:06
oracle
Oracle分析函数first_value()和last_value()的用法及原理

本文介绍了Oracle分析函数first_value()和last_value()的用法和原理，以及在查询销售记录日期和部门中的应用。通过示例和解释，详细说明了first_value()和last_value()的功能和不同之处。同时，对于last_value()的结果出现不一样的情况进行了解释，并提供了理解last_value()默认统计范围的方法。该文对于使用Oracle分析函数的开发人员和数据库管理员具有参考价值。 ... [详细]

蜡笔小新 2023-12-13 19:07:23
sql
MyBatis错题分析解析及注意事项

本文对MyBatis的错题进行了分析和解析，同时介绍了使用MyBatis时需要注意的一些事项，如resultMap的使用、SqlSession和SqlSessionFactory的获取方式、动态SQL中的else元素和when元素的使用、resource属性和url属性的配置方式、typeAliases的使用方法等。同时还指出了在属性名与查询字段名不一致时需要使用resultMap进行结果映射，而不能使用resultType。 ... [详细]

蜡笔小新 2023-12-13 18:40:17
insert
ASP.NET Tips: 获取插入记录的ID的方法详解

本文详细介绍了在ASP.NET中获取插入记录的ID的几种方法，包括使用SCOPE_IDENTITY()和IDENT_CURRENT()函数，以及通过ExecuteReader方法执行SQL语句获取ID的步骤。同时，还提供了使用这些方法的示例代码和注意事项。对于需要获取表中最后一个插入操作所产生的ID或马上使用刚插入的新记录ID的开发者来说，本文提供了一些有用的技巧和建议。 ... [详细]

蜡笔小新 2023-12-13 17:03:18
数据库
VB.NET在线急等问题解决方法，如何统计数据库字段下的数据并显示在文本框里？

本文介绍了一个在线急等问题解决方法，即如何统计数据库中某个字段下的所有数据，并将结果显示在文本框里。作者提到了自己是一个菜鸟，希望能够得到帮助。作者使用的是ACCESS数据库，并且给出了一个例子，希望得到的结果是560。作者还提到自己已经尝试了使用"select sum(字段2) from 表名"的语句，得到的结果是650，但不知道如何得到560。希望能够得到解决方案。 ... [详细]

蜡笔小新 2023-12-13 15:15:30
insert
SpringJdbcTemplate的使用详解

本文详细介绍了Spring的JdbcTemplate的使用方法，包括执行存储过程、存储函数的call()方法，执行任何SQL语句的execute()方法，单个更新和批量更新的update()和batchUpdate()方法，以及单查和列表查询的query()和queryForXXX()方法。提供了经过测试的API供使用。 ... [详细]

蜡笔小新 2023-12-13 14:27:11
数据库
高质量SQL书写的30条建议

本文提供了30条关于优化SQL的建议，包括避免使用select *，使用具体字段，以及使用limit 1等。这些建议是基于实际开发经验总结出来的，旨在帮助读者优化SQL查询。 ... [详细]

蜡笔小新 2023-12-13 13:24:33
mysql
如何查看mysql的安装路径

本文介绍了通过mysql命令查看mysql的安装路径的方法，提供了相应的sql语句，并希望对读者有参考价值。 ... [详细]

蜡笔小新 2023-12-13 13:23:09
数据库
问题2：重新命名或者移动数据文件、日志文件到新的位置

本文讨论了在数据库打开和关闭状态下，重新命名或移动数据文件和日志文件的情况。针对性能和维护原因，需要将数据库文件移动到不同的磁盘上或重新分配到新的磁盘上的情况，以及在操作系统级别移动或重命名数据文件但未在数据库层进行重命名导致报错的情况。通过三个方面进行讨论。 ... [详细]

蜡笔小新 2023-12-13 13:02:24
数据库
用SQL语句怎么把已存在的列加上IDENTITY(1,1)属性

ALTERTABLE通过更改、添加、除去列和约束，或者通过启用或禁用约束和触发器来更改表的定义。语法ALTERTABLEtable{[ALTERCOLUMNcolu ... [详细]

蜡笔小新 2023-12-13 09:49:28
数据库
关于Linq to sql 实现模糊查询 string数组

前景：当UI一个查询条件为多项选择，或录入多个条件的时候，比如查询所有名称里面包含以下动态条件，需要模糊查询里面每一项时比如是这样一个数组条件：newstring[]{兴业银行, ... [详细]

蜡笔小新 2023-12-13 09:34:59
数据库
Oracle10g备份导入的方法及注意事项

本文介绍了使用Oracle10g进行备份导入的方法及相关注意事项，同时还介绍了2019年独角兽企业重金招聘Python工程师的标准。内容包括导出exp命令、删用户、创建数据库、授权等操作，以及导入imp命令的使用。详细介绍了导入时的参数设置，如full、ignore、buffer、commit、feedback等。转载来源于https://my.oschina.net/u/1767754/blog/377593。 ... [详细]

蜡笔小新 2023-12-13 09:26:23

手机用户2502936263

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章