系统RDSCPU打满问题分析报告

琉璃9个月前技术文章210

1. 问题概述

2023年9月01日09点13分,玳数运维组侧接收到业务侧反馈系统响应缓慢,与此同时运维群内新系统RDS 发出CPU打满的告警,告警通知如下:

image.png 

2. 问题分析

a. 数据库会话管理核查

玳数运维组侧登录阿里云控制台查看数据库会话管理,通过数据库自治服务的一键诊断功能,核实到活跃会话较多,现象为CPU使用率打满。

b. kill查询会话

玳数运维组侧接收业务反馈,拍地业务比较紧急,可以迅速kill查询会话,保障数据库系统稳定运行。从9:00-9:30时间段内连接数迅速上升,波动较高至730左右

image.png 

SQL该时间段内迅速增长,单SQL执行次数较多,如下图:

image.png 


该慢
SQL单次执行耗时在1.233秒左右,主要为执行次数影响。

image.png 

同业务侧拿到数据库账号信息,Kill查询会话后,CPU使用率逐步下降,拍地之前恢复至正常水位。

image.png 

c. 核查会话增长原因

玳数运维组侧进一步核实程序侧是否有异常调用,导致数据库侧访问频次增加。程序访问通过WAF接入,再到后端SLB,由于WAF侧未开启访问日志,查看SLB访问日志,业务侧反馈对应SQL的业务访问接口:查询异常时间段内该接口的日志条数,30分钟内该接口个接口被调用了2970次

 

对比昨天同时间段内该接口的调用频次,昨天同时间段30min内日志是1,397条,如下图: 

可以看到今天异常时间段内调用次数明显增多。导出该时间段内日志明细,查看访问来源IP,统计访问最多的来源ip,访问次数:102次,该来源地址在上城区,计算访问频次:一分钟内调用在三次左右。与此同时其他来源IP也在发起调用,导致总体并发量比较高,业务接口调用频繁。

 

来源IP查询如下图所示:

image.png 

image.png 

3. 问题总结

结合RDS慢SQL日志、程序侧服务日志及业务侧反馈情况定位问题的根本原因在于单位时间内相应接口调用频次较高,数据库CPU打满。

a. 改进措施

为了防止类似问题再次发生,玳数科技运维组提出了以下改进措施:

建议

1、程序侧做好对接口访问的相关限制,单位时间内限制对接口的访问频次,避免大并发下CPU资源使用完毕,导致数据库服务异常。

2、对数据库进行读写业务分离,实现读取能力的弹性扩展,分担数据库压力。

3、新系统RDS开启SQL洞察和审计,更好地获取SQL语句的具体信息、排查性能问题、识别高危风险来。

4、WAF侧开启日志功能,方便业务异常时刻能快速对采集到的日志数据进行查询与分析,定位问题原因。


相关文章

EMR 配置 Hive on Spark

EMR 配置 Hive on Spark

Hive3 on spark 集成前置条件hadoop yarn环境正常oracle jdk 1.8版本1、spark2 下载准备https://archive.apache.org/dist/spa...

oracle v$archive_log视图过期信息清理

      在使用RMAN命令删除归档后,查询v$archived_log视图会发现name列为空了,但其他列的信息还保留,时间长了会留下很多过期的信息,影响维护工作,需要将过期的信息删除。 出现这样...

MySQL运维实战之ProxySQL(9.1)ProxySQL介绍

MySQL运维实战之ProxySQL(9.1)ProxySQL介绍

mysql通过复制技术实现了数据库高层面的可用,但是对于应用来说,当后端MySQL发生高可用切换时,应该怎么处理?我们考虑几种方案:1、使用域名绑定。应用通过dns连接后端实例,当后端发生切换后,将d...

MySQL运维实战(3.3) 管理数据库(database)

数据库使用create database语句创建数据库。创建数据库的账号需要有create权限。创建数据库用户拥有create权限才能创建数据库。-- 例子:创建dba用户,拥有创建数据库名...

MySQL 中的状态变量

前言本篇文章介绍一些 MySQL 中常用的监控指标,常见的监控工具都是采集 MySQL 中的状态变量(status variables)理解这些状态变量,可以更好的帮助我们理解 MySQL 监控的含义...

adg切换(RAC TO SINGLE)

adg切换步骤:1、关闭两节点监听和清理外部链接:su - gridsrvctl stop listenerps -ef|grep LOCAL=NO|awk '{print $2}'|xargs ki...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。