Retry 폭주(Thundering Herd)의 위험성

# Nginx access.log에서 특정 시간대의 초 단위 요청 수를 집계하여 스파이크(Spike) 현상 증명
$ awk '{print $4}' /var/log/nginx/access.log | cut -d: -f2,3,4 | sort | uniq -c | sort -n | tail -n 5

120 22:45:01
    125 22:45:02
      0 22:45:03   <-- 네트워크 Blip 발생 (요청 처리 0건)
      0 22:45:04
   8540 22:45:05   <-- 복구 직후 Retry 폭풍이 도달하여 트래픽이 70배 폭증함

import io.github.resilience4j.retry.Retry
import io.github.resilience4j.retry.RetryConfig
import io.github.resilience4j.core.IntervalFunction
import org.slf4j.LoggerFactory
import org.springframework.context.annotation.Bean
import org.springframework.context.annotation.Configuration
import java.time.Duration
import java.util.concurrent.TimeoutException

@Configuration
class ResilientRetryConfig {

    @Bean
    fun customRetryConfig(): RetryConfig {
        // 지수적 백오프(Exponential Backoff) + 지터(Jitter) 설정
        // 초기 대기 시간 1초, 재시도 시 2배씩 증가, 여기에 랜덤 오차(Jitter) 0.5(50%)를 섞음
        // 예: 1차 실패 후 (1초 ± 0.5초) 대기, 2차 실패 후 (2초 ± 1초) 대기
        val intervalFunction = IntervalFunction.ofExponentialRandomBackoff(
            Duration.ofSeconds(1), // Initial interval
            2.0,                   // Multiplier
            0.5                    // Jitter randomization factor
        )

        return RetryConfig.custom<Any>()
            .maxAttempts(3) // 최대 3회까지만 재시도
            .intervalFunction(intervalFunction) // 위에서 만든 분산 대기열 적용
            .retryExceptions(TimeoutException::class.java, CustomNetworkException::class.java)
            .build()
    }

    @Bean
    fun paymentRetry(retryConfig: RetryConfig): Retry {
        return Retry.of("paymentServiceRetry", retryConfig)
    }
}

// 비즈니스 로직에서의 활용 예시
class PaymentService(private val paymentRetry: Retry) {
    private val log = LoggerFactory.getLogger(this::class.java)

    fun processPaymentWithRetry(orderId: String): String {
        // Retry 데코레이터를 씌워 실행. 
        // 이제 10,000명이 동시에 실패해도, 재시도 타이밍이 0.5초~1.5초 사이로 랜덤하게 흩어짐.
        val decoratedSupplier = Retry.decorateSupplier(paymentRetry) {
            callExternalPaymentApi(orderId)
        }

        return try {
            decoratedSupplier.get()
        } catch (e: Exception) {
            log.error("[결제 실패] 최대 재시도 횟수 초과로 최종 실패 처리 - orderId: $orderId", e)
            "결제 시스템 지연. 잠시 후 다시 시도해주세요."
        }
    }

    private fun callExternalPaymentApi(orderId: String): String {
        // 실제 외부 통신 로직 (타임아웃 발생 가능성 있음)
        return "SUCCESS"
    }
}