한울이

[AWS X-Ray] Tail Sampling with OpenTelemetry

gksdnf050 — Fri, 2 Aug 2024 18:49:10 +0900

1. 문제상황

상용환경에서 aws xray 비용이 많이 나오는 이슈가 발생

2. 환경

ECS
AWS Distro for Opentelemetry Collector

3. 현재 상황 및 해결

X-Ray remote sampling 을 사용하면서 비율을 설정해서 사용 중
- 새로운 api 들이 추가 될 때 마다 비율을 생각해서 추가 해줬어야 함
  - ex) 계속 polling 하는 api 는 비율을 어떻게 해야할지..?
- sampling 비율을 낮게 하면 원하는 trace 를 못 보는 경우도 생김
  - 높게 하면 비용이 문제가 됨
- 팀에서 분산 추적을 사용하는 목적은 error 가 났을 때 확인 하기 위한 용도
opentelemetry processor 중 tail sampling processor 를 사용하여 error 인 경우만 샘플링하여 처리하기로 결정
- https://opentelemetry.io/blog/2022/tail-sampling/
- AWS Distro for Opentelemetry Collector 에서도 지원
  - https://aws.amazon.com/ko/about-aws/whats-new/2023/05/aws-distro-opentelemetry-advanced-sampling/
  - https://aws-otel.github.io/docs/components/processors
예시 config.yml

extensions:
  health_check:

receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318
  awsxray:
    endpoint: 0.0.0.0:2000
    transport: udp

processors:
  batch/traces:
    timeout: 1s
    send_batch_size: 50
  batch/metrics:
    timeout: 60s
  tail_sampling:
    decision_wait: 10s
    num_traces: 100
    expected_new_traces_per_sec: 10
    policies:
      [          
          {
                  name: trace-status-policy,
                  type: status_code,
                  status_code: { status_codes: [ERROR] },           
          },                   
      ]

exporters:
  awsxray:
  awsemf:

service:
  pipelines:
    traces:
      receivers: [otlp,awsxray]
      processors: [tail_sampling,batch/traces]
      exporters: [awsxray]
    metrics:
      receivers: [otlp]
      processors: [batch/metrics]
      exporters: [awsemf]

  extensions: [health_check]

[AWS RDS] aws rds scale up

gksdnf050 — Mon, 22 Jul 2024 19:39:02 +0900

1. 문제상황

상용환경에 트래픽이 몰리면서 rds 인스턴스의 cpu 사용량이 99% 를 사용하는 이슈가 발생
- rds 의 부하가 걸리면서 연관 서비스들에서 connection timeout 이 발생

2. 환경

Spring boot 3.2
AWS aurora mysql (multi az)
ECS

3. 해결 과정

대기 인스턴스 (리더 인스턴스) 먼저 scale up
failover 를 통한 라이터 인스턴스와 리더 인스턴스 교체

3-1. 해결 과정 중 이슈

연관된 서비스가 클러스터 엔드포인트를 바라보고 있는 상황에서 failover 를 통해 인스턴스가 교체되었는데 인식을 못함
1. mysql jdbc driver 에서 제대로 지원을 안해서 발생한다고함 -> aws-mysql-jdbc 사용해야 한다고 함 (https://github.com/awslabs/aws-mysql-jdbc)
2. 우선 서버 재배포를 통해 해결

4. 추가 작업

성능향상 모니터링 기능을 켜서 어떤 쿼리가 부하를 많이 주는지 확인 후 담당 개발자에게 이슈 전달

[GITHUB ACTIONS] github actions no space left on device error

gksdnf050 — Sat, 16 Mar 2024 21:49:46 +0900

1. 문제상황

github actions 에서 ci/cd 진행중에 no space left on device error 가 나면서 실패함

2. 환경

github actions 에서 self hosted runner 로 ec2 사용 중

3. 해결 과정

검색
- no space left on device error 가 발생하는 이유는 ec2 에 저장공간이 부족해서 발생
ec2 에 build 한 docker 이미지가 계속 남아 있어서 저장공간이 부족
ec2 에 cron 을 설정해서 주기적으로 도커 이미지를 삭제하도록 설정
1. sudo yum -y install cronie
2. sudo systemctl start crond
3. sudo systemctl status crond
4. sudo crontab -e
  - 0 * * * * echo y | docker system prune -a > /usr/bin/cron.log 2>&1

[GITHUB ACTIONS] github actions ec2 self hosted runner no basic auth credentials Error

gksdnf050 — Sat, 16 Mar 2024 21:36:16 +0900

1. 문제상황

github actions 에서 가끔식 ci/cd 진행중에 no basic auth credentials Error 가 나면서 실패함

2. 환경

github actions 에서 self hosted runner 로 ec2 사용 중
aws-actions/amazon-ecr-login 사용 중

3. 해결 과정

검색
- https://github.com/aws-actions/amazon-ecr-login 이슈 탭에서 에러 검색
- https://github.com/aws-actions/amazon-ecr-login/issues/431 똑같은 에러가 나는 상황 발견
aws-actions/amazon-ecr-login 를 사용하지 않고 aws cli 를 사용하여 ecr 로그인을 하도록 변경

[SPRING] Spring security ChangeSessionIdAuthenticationStrategy 이슈

gksdnf050 — Fri, 13 Oct 2023 16:00:45 +0900

1. 문제상황

spring security 를 사용하여 인증 인가 시스템을 구현해 놓은 프로젝트에서 로그인을 하던중 'creationTime key must not be null' 이라는 error 가 발생

2. 프로젝트 설정 상태

Spring security, RedisIndexedSessionRepository 사용 중

3. 해결 과정

검색
- 구글링을 통해 error 가 발생한 원인을 찾아보던 중 비슷한 이슈가 발생한 사례를 찾음

https://github.com/spring-projects/spring-session/issues/2021

Allow Customizing Redis Session Mapper · Issue #2021 · spring-projects/spring-session

Describe the bug We are using redis to save sessions in spring cloud gateway, and see some missing key errors in the log. Versions: spring-session-data-redis:2.3.3.RELEASE 2022-02-08 01:04:07.219,E...

github.com

이슈를 읽어 보다가 동시 요청이 발생 했을 때 이러한 error 가 나타난다는 힌트를 얻었다.
그리고 이슈가 발생한 사람들의 설정이 ChangeSessionIdAuthenticationStrategy 를 사용하고 있다는 것을 알게되었다.

debugging

위에서 알게된 내용을 토대로 debugging 을 시작했는데 현재 프로젝트도 ChangeSessionIdAuthenticationStrategy 를 사용하고 있었다. 따라서 ChangeSessionIdAuthenticationStrategy 의 applySessionFixation 메소드에 break point (쓰레드 단위로) 를 걸고 2개의 같은 로그인 요청을 하고 debuggin 을 시작했다.

break point 부터 천천히 코드를 따라가다가 RedisIndexedSessionRepository 에서 saveChangeSessionId() 메소드에서 원인을 찾았다.

첫번째 요청 과 두번째 요청 둘다 같은 originalSessionIdKey 값을 가지고 있는데 첫번째 요청이 먼저 완료되고 나서 (session key 값 변경 완료) 두번째 요청에서 rename 을 하려고 할때 originalSessionIdKey 에 해당하는 session 이 없어서 rename 이 실패하고 있었다.

그래서 두번째 요청은 변경 된 sessionId 값을 가지고 saveChangeSessionId() 이후에 saveDelta() 로 delta 에 저장되어 있던 값만 저장하는 session 이 생기게 되었다.

첫번째 요청으로 변경된 session

동시에 접근한 두번째 요청으로 새로 생성된 session

즉 두번째 session 에 creationTime 필드가 없어서 이후에 다시 로그인을 할 때 'creationTime key must not be null' 이라는 error 가 발생했 던 것이었다.

4. 해결

SessionFixation protection 전략 들중 changeSessionId 대신 migrateSession 을 사용하도록 변경 하였다.

migrateSession 을 사용하면 아예 새로운 세션을 만들고 기존의 세션의 attribute를 migration 해주는 방식이라 이전 세션의 키값이 변경되어서 발생 했던 문제가 나타나지 않게 되었다.

참조

https://docs.spring.io/spring-security/reference/index.html

Spring Security :: Spring Security

If you are ready to start securing an application see the Getting Started sections for servlet and reactive. These sections will walk you through creating your first Spring Security applications. If you want to understand how Spring Security works, you can

docs.spring.io

https://github.com/spring-projects/spring-session/issues/2021

Allow Customizing Redis Session Mapper · Issue #2021 · spring-projects/spring-session

github.com

[SPRING] Spring Authorization Server Default Session Registry

gksdnf050 — Mon, 31 Jul 2023 15:12:06 +0900

1. 문제상황

- Spring authorization server 를 사용해서 oauth2 provider 서버를 구성한 후 access token 을 발급 받아 봤는데

local 과 개발환경에서 oidc token 의 claim 값이 다른 현상 발견 (sid, auth_time)

2. debugging

- 목적: local 에서 테스트 했을 땐 oidc token claim에 sid, auth_time 값이 있고 개발환경 서버에서 oidc token 을 발급 받았을 땐 왜 claim 값에 sid, auth_time 값이 없는지 ?

- OAuth2AuthorizationCodeAuthenticationProvider

- JwtGenerator

Spring authorization server 에서는 sessionInformation 값이 있으면 sid, auth_time 값을 oidc claim에 넣어서 만들어주고 있음.

- 제약사항

1. 개발환경 서버에 원격 디버깅을 할 수 없는 상황

2. library 에서 발생한 것이라 log 를 원하는 곳에 남길 수 없는 상황

- 첫번째 의심

같은 코드에서 환경에 따라 다른 결과 값이 나오고 있어서 코드가 아닌 인프라 (db, redis 등등...) 문제라고 생각했음

따라서 local 과 개발환경의 db 테이블을 모두 비교 했음 -> 이상 없음

개발환경 인프라를 local 에서 붙어서 테스트 -> local 인프라와 테스트 할 때와 같은 결과값이 나옴

그러던 중 개발환경에서 간헐적으로 jwt claim에 sid, auth_time 값이 포함된 oidc token 이 발급되는 걸 확인

- 두번째 의심

개발환경에서 간헐적으로 local 과 같은 현상이 일어난 다는 것을 보고 깨달은 것이 local 은 단일 서버이고

개발환경은 pod 가 여러개가 떠있는 상황(쿠버네티스 사용중) 인걸 인지함

-> 즉 session clustering 이 이뤄지지 않고 있다고 생각함

-> spring authorization server 에서 사용하고 있는 session registry 를 확인해봄

- OAuth2AuthorizationServerConfigurer

SessionRegistry bean 이 없다면 기본적으로 SessionRegistryImpl (server의 memory 에 저장함) 이라는 구현체를 사용함

- 해결

clustered 환경에서 spring session 으로부터 session 정보를 가져오도록 SpringSessionBackedSessionRegistry bean 을 등록함

참조

https://spring.io/projects/spring-boot

Spring Boot

spring.io

[SPRING] ConcurrentSessionControlAuthenticationStrategy session expire 실패

gksdnf050 — Sun, 26 Mar 2023 15:50:21 +0900

1. 문제상황

조건
- 똑같은 계정으로 로그인 시도 하는 부하테스트
- spring security maximum session 10으로 설정

부하 테스트 도중 session을 expire 시킬 수 없다는 log 가 찍힘

2. debugging

spring security 는 ConcurrentSessionControlAuthenticationStrategy 에서 동일한 유저의 maximunm session 을 처리함

session registry를 통해 모든 session을 가져온 후 maximum session count 확인

(SpringSessionBackedSessionRegistry 사용중)

만약 설정한 maximum session count 를 초과하면 가장 오래된 session을 만료시킴

(spring security에서 초과된 session 을 만료시킬 때 삭제 하는게 아니고 session attribute 에

expire attribute를 추가함)

이 부분에서 session 을 가져와서 expire 시키려 할때 session 이 null인 상황 (SpringSessionBackedSessionInformation 사용중)

첫번째 의심

동일한 계정 로그인으로 부하테스트 중이므로 동시에 로그인 시도 요청이 왔을 거고

위에서 SpringSessionBackedSessionRegistry 를 통해 가져온 세션 list 를 동시에 여러명이

expire 하려고 하니 이미 expire 되어서 이러한 상황이 발생 할 것이라고 생각

(RedisIndexedSessionRepository 사용중)

loaded.isExpired() 이 부분에서 session 이 이미 expire되어서 null 을 리턴하므로 발생 했을 것이라고 생각

하지만

loaded.isExpired()는 session 값을 가져와서 expire attribute를 확인 하는 것이 아닌

session을 가져와서 시간을 비교해서 expired가 되었는지 확인

즉, 위에서 null 을 return 했다는 것은 애초에 session이 없다는 것

즉, 어디선가 session을 삭제 했다는 것 (expire 를 시킨 것이 아님 - expire attribute를 넣은 것이 아님)

확인

원인을 계속 찾아보던 중

만약 이미 로그인 되어있던 session cookie 를 가지고 또 로그인을 시도하면

이전 session cookie 값을 삭제 시킨다는 것을 알게됨

maximum session 에 도달 했을 때

SessionFixationProtectionStrategy 으로 인해

요청한 session 값을 삭제하고 새로운 session 값을 발행

부하테스트를 할때 header에 cookie 값을 넣지 않고 로그인 요청을 보냈는데

(즉 이전 session cookie 값이 없으므로 이전 session cookie 값을 삭제 하지 않을 거라고 생각했음)

자동적으로 response 로 받은 cookie 값을 포함해서 요청을 보내고 있었다.

그러므로 동시에 여러 요청이 들어왔을 때 이미 삭제된 session 을 다른 스레드에서 또 삭제하려고 하니

이러한 log 가 찍힌 것이었다.

[SPRING] Session

gksdnf050 — Mon, 13 Mar 2023 00:01:23 +0900

1. Servlet session

1-1. session 이 없을 때

RequestFacade.java

Connector.java/Request

ManagerBase.java

1-2. session 있을 때

Connect.java/Request

2. Spring session with redis

2-1. session 없을 때

SpringHttpSessionConfiguration.java

- SessionRepositoryFilter 등록

SessionRepositoryFilter.java

SessionRepositryRequsetWrapper 생성

RedisIndexedSessionRepository.java

SessionRepositoryFilter.java (이 부분은 session 있을 때 / 없을 때 둘다 적용 - 세션 저장)

SessionRepositoryFilter.java/SessionRepositryRequestWrapper

RedisIndexedSessionRepository.java

2-2. session 있을 때

SessionRepositoryFilter.java

RedisIndexedSessionRepository.java

RedisSessionMapper.java (시간 증가)

[SPRING] k8s cronjob + Spring Batch

gksdnf050 — Sun, 21 Aug 2022 20:10:10 +0900

Spring batch 를 k8s cronjob 을 사용하여 배포 하면서 겪었던 이슈

목표

Spring batch 를 실행하면서 error가 발생해서 정상적으로 종료하지 않으면

k8s cronjob 에 설정해놓은 restartPolicy 를 통해서 재실행하고, slack에 알림 발송

이슈

일부러 batch 작업중에 exception 발생하도록 코드를 넣고 cronjob을 실행

-> exception이 발생하고 batch가 종료되고 나서 pod의 상태가 Completed

-> pod 가 정상적으로 종료되었으므로 restartPolicy 를 통해서 재실행 하지 않고 slack에도 알림 발송 하지 않음

원인

spring batch에서 exception이 발생했지만 exit code는 0으로 반환하고 종료 -> exit code가 0이므로 pod는 성공으로 인지

해결

spring batch에서 exception이 발생하면 exit code를 반환하고 종료하도록 수정

참조

https://spring.io/blog/2021/01/27/spring-batch-on-kubernetes-efficient-batch-processing-at-scale

Spring Batch on Kubernetes: Efficient batch processing at scale

Introduction Batch processing has been a challenging area of computer science since its inception in the early days of punch cards and magnetic tapes. Nowadays, the modern cloud computing era comes with a whole new set of challenges for how to develop and

spring.io

[SPRING] Lombok @RequiredArgsConstructor @Qualifier

gksdnf050 — Sun, 21 Aug 2022 20:05:05 +0900

lombok에서 제공하는 @RequiredArgsConstructor 를 사용해서 bean들을 생성자 주입을 하고있었다.

그러던 중 @Qualifier 를 사용해서 어떤 bean을 주입해야하는지 명시해야 할 상황이 생겼다.

그런데 NoUniqueBeanDefinitionException이 발생하면서 @Qualifier로 지정한 bean을 주입하지 못하는 상황이 발생했다.

알고보니 lombok이 제공하는 @RequiredArgsConstructor는 애노테이션 까지 함께 포함해서 생성자를 만들지는 않는다고 한다.

그래서 @RequiredArgsConstructor를 사용하지 않고 생성자를 직접 만들어서 주입을 하거나 lombok.config를 수정해야 했다.

참조

https://www.inflearn.com/questions/71872

@RequiredArgsConstructor과 @Qualifier질문 - 인프런 | 질문 & 답변

먼저 좋은 강의를 제공해주시것에 감사인사드립니다!강의에서는 생성자에 @Qualifier를 주입하셨는데[사진]강의를 듣고난후 @RequireArgsConstructor와@Qualifier를 같이 사용했을 경우NoUniqueBeanDefinitionExcep