[AWS RDS] aws rds scale up

1. 문제상황

• 상용환경에 트래픽이 몰리면서 rds 인스턴스의 cpu 사용량이 99% 를 사용하는 이슈가 발생
  • rds 의 부하가 걸리면서 연관 서비스들에서 connection timeout 이 발생 

 

2. 환경

• Spring boot 3.2
• AWS aurora mysql (multi az)
• ECS

3. 해결 과정

1. 대기 인스턴스 (리더 인스턴스) 먼저 scale up
2. failover 를 통한 라이터 인스턴스와 리더 인스턴스 교체

3-1. 해결 과정 중 이슈

1. 연관된 서비스가 클러스터 엔드포인트를 바라보고 있는 상황에서 failover 를 통해 인스턴스가 교체되었는데 인식을 못함
   1. mysql jdbc driver 에서 제대로 지원을 안해서 발생한다고함 -> aws-mysql-jdbc 사용해야 한다고 함 (https://github.com/awslabs/aws-mysql-jdbc)
   2. 우선 서버 재배포를 통해 해결

4. 추가 작업

• 성능향상 모니터링 기능을 켜서 어떤 쿼리가 부하를 많이 주는지 확인 후 담당 개발자에게 이슈 전달