热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

困扰好久的生产httpclient调用偶现socketTimeout异常

系统背景:生产2台服务器,调用量高峰时期差不多15到20次每秒,每天差不多有50--80次的调用超时。之前也一直没有在意。后来观察日志发现,异常总是连续几次的出现,不是一次一次的,这个现象引

 

系统背景:

生产2台服务器,调用量高峰时期差不多15到20次每秒,每天差不多有50--80次的调用超时。之前也一直没有在意。后来观察日志发现,异常总是连续几次的出现,不是一次一次的,这个现象引起了我的注意。

 

后来因为一次优化需求,后台我将请求调用方式改为了线程池的异步调用:

 

private static ExecutorService threadPool = Executors.newCachedThreadPool();

 

主线程要等线程池任务运行完返回结果集,才可以继续运行,future来获取多线程返回结果,每个线程中的任务包含一个http请求调用,上线后,接口速度因为异步处理,所以提高了50ms左右,还算比较乐观,这样线程正常运行了一段时间,超时还是有,这个问题没有解决,因为没有定位出原因。

生产故障

某天晚上,服务调用方晚上搞活动,调用量增加了原先的2到3倍,晚上内存出现告警80%以上,运维人员查看内存使用情况,swap区域已经使用了60%以上。这下肯定是内存满了,晚上紧急情况,重启了应用,暂时恢复了正常。正确的流程应该是先下个dump文件,再重启的应用的。

 

第二天一早过来查问题,看系统运行情况,首先看jvm内存情况。

jstat -gcutil 25444 1000 20

 

发现比较异常的几个参数,Old区有将近90%左右,s0 和s1两者每次回收都有存留的值,正常应该一个是0的,最最要命的是FGCT几十次,正常情况下,只要JVM内存参数设置合理,是不会有这么多的FGC的,于是问了运维人员,他们配置的是默认配置(非专业运维人员…尴尬)于是乎我们开始调整jvm运行参数

-xms 初始堆大小    调整为512M

-xmx 最大堆大小    调整为2048M

-XX:PermSize 设置持久代的最大值  调整为256M    -----这个调整对FGCT的参数影响很大,说明之前FGCT次数过多和持久代内存不足有很大关系,推算系统static的代码区比较大

 

其他设置没做太大改动

 

修改之后,FGCT直线下降,次数很小,S0和S1运行正常,O区 0% 增长十分缓慢,观察一段时间后,各个区域运行正常。

 

好了,最最关键的来了,JVM调整参数之后,查看了一整天的日志,尽然没有一次SocketTimtOut

 

原因分析: 当系统FGC的时候系统会stop the world,所以在这段时间内,会出现短暂的连续的超时。


推荐阅读
  • 深入解析Tomcat:开发者的实用指南
    深入解析Tomcat:开发者的实用指南 ... [详细]
  • 本题库精选了Java核心知识点的练习题,旨在帮助学习者巩固和检验对Java理论基础的掌握。其中,选择题部分涵盖了访问控制权限等关键概念,例如,Java语言中仅允许子类或同一包内的类访问的访问权限为protected。此外,题库还包括其他重要知识点,如异常处理、多线程、集合框架等,全面覆盖Java编程的核心内容。 ... [详细]
  • Java中高级工程师面试必备:JVM核心知识点全面解析
    对于软件开发人员而言,随着技术框架的不断演进和成熟,许多高级功能已经被高度封装,使得初级开发者只需掌握基本用法即可迅速完成项目。然而,对于中高级工程师而言,深入了解Java虚拟机(JVM)的核心知识点是必不可少的。这不仅有助于优化性能和解决复杂问题,还能在面试中脱颖而出。本文将全面解析JVM的关键概念和技术细节,帮助读者全面提升技术水平。 ... [详细]
  • 本文将介绍一种扩展的ASP.NET MVC三层架构框架,并通过使用StructureMap实现依赖注入,以降低代码间的耦合度。该方法不仅能够提高代码的可维护性和可测试性,还能增强系统的灵活性和扩展性。通过具体实践案例,详细阐述了如何在实际开发中有效应用这一技术。 ... [详细]
  • 本课程详细解析了Spring AOP的核心概念及其增强机制,涵盖前置增强、后置增强和环绕增强等类型。通过具体示例,深入探讨了如何在实际开发中有效运用这些增强技术,以提升代码的模块化和可维护性。此外,还介绍了Spring AOP在异常处理和性能监控等场景中的应用,帮助开发者更好地理解和掌握这一强大工具。 ... [详细]
  • ZeroMQ在云计算环境下的高效消息传递库第四章学习心得
    本章节深入探讨了ZeroMQ在云计算环境中的高效消息传递机制,涵盖客户端请求-响应模式、最近最少使用(LRU)队列、心跳检测、面向服务的队列、基于磁盘的离线队列以及主从备份服务等关键技术。此外,还介绍了无中间件的请求-响应架构,强调了这些技术在提升系统性能和可靠性方面的应用价值。个人理解方面,ZeroMQ通过这些机制有效解决了分布式系统中常见的通信延迟和数据一致性问题。 ... [详细]
  • 在Spring与Ibatis集成的环境中,通过Spring AOP配置事务管理至服务层。当在一个服务方法中引入自定义多线程时,发现事务管理功能失效。若不使用多线程,事务管理则能正常工作。本文深入分析了这一现象背后的潜在风险,并探讨了可能的解决方案,以确保事务一致性和线程安全。 ... [详细]
  • MySQL性能优化与调参指南【数据库管理】
    本文详细探讨了MySQL数据库的性能优化与参数调整技巧,旨在帮助数据库管理员和开发人员提升系统的运行效率。内容涵盖索引优化、查询优化、配置参数调整等方面,结合实际案例进行深入分析,提供实用的操作建议。此外,还介绍了常见的性能监控工具和方法,助力读者全面掌握MySQL性能优化的核心技能。 ... [详细]
  • 在软件开发领域,“池”技术被广泛应用,如数据库连接池、线程池等。本文重点探讨Java中的线程池ThreadPoolExecutor,通过详细解析其内部机制,帮助开发者理解如何高效利用线程池管理任务执行。线程池不仅能够显著减少系统资源的消耗,提高响应速度,还能通过合理的配置,如饱和策略,确保在高负载情况下系统的稳定性和可靠性。文章还将结合实际案例,展示线程池在不同应用场景下的具体实现与优化技巧。 ... [详细]
  • 本文深入探讨了 `ExpressionChangedAfterItHasBeenCheckedError` 错误的原因及其解决方案。通过分析 Angular 的变更检测机制,详细解释了该错误的发生条件,并提供了多种有效的应对策略,帮助开发者在实际开发中避免这一常见问题。 ... [详细]
  • Python 并发编程进阶:从初学者到高手的进程与模块开发指南
    Python 并发编程进阶:从初学者到高手的进程与模块开发指南 ... [详细]
  • 如何在主服务器响应变慢时,自动切换至备用服务器地址以确保服务连续性
    在主服务器响应速度下降时,如何通过编程实现自动切换至备用服务器地址,以确保服务的连续性和稳定性。本文将介绍一种基于PHP和MySQL的解决方案,通过监测主服务器的响应时间,当检测到延迟过高时,自动切换至备用服务器接口,从而保障系统的高可用性。 ... [详细]
  • Kali Linux 渗透测试实战指南:第24章 客户端安全威胁分析与防御策略
    客户端安全威胁分析与防御策略主要探讨了终端设备(如计算机、平板电脑和移动设备)在使用互联网时可能面临的各种安全威胁。本章详细介绍了这些设备如何作为信息和服务的提供者或接收者,以及它们在与服务器等其他系统交互过程中可能遇到的安全风险,并提出了有效的防御措施。 ... [详细]
  • 在 Golang 应用中,频繁出现的 TIME_WAIT 和 ESTABLISHED 状态可能会导致性能瓶颈。本文探讨了这些状态产生的原因,并提出了优化与解决策略。通过调整内核参数、优化连接管理和使用连接池技术,可以有效减少 TIME_WAIT 的数量,提高应用的并发处理能力。同时,对于 ESTABLISHED 状态,可以通过合理的超时设置和错误处理机制,确保连接的高效利用和快速释放。 ... [详细]
  • Redis客户端使用指南与学习笔记
    本书基于Redis 3.0版本编写,虽然与后续版本存在一些差异,但仍详细介绍了Redis服务器的一对多客户端连接机制。书中不仅涵盖了基本的安装配置和命令操作,还深入探讨了数据结构、持久化策略及性能优化等高级主题,适合初学者和进阶用户参考学习。 ... [详细]
author-avatar
鱼和鱼还有鱼3_Mh_qet
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有