Tail Sampling + KEDA: 트래픽 급증에도 트레이스를 놓치지 않는 2계층 OTel 아키텍처

# ❌ 잘못된 구성: 스팬이 무작위로 분산됨
App → [Round-Robin LB] → Collector-0, Collector-1, Collector-2
                          (같은 TraceID의 스팬이 뿔뿔이 흩어짐)
 
# ✅ 올바른 구성: TraceID 기반 일관된 라우팅
App → [TraceID 일관 해시 LB] → Collector-0 (TraceID-A 전담)
                              → Collector-1 (TraceID-B 전담)
                              → Collector-2 (TraceID-C 전담)

[애플리케이션 Pod들]
        │ OTLP/gRPC
        ▼
┌─────────────────────────────────────────────┐
│  1계층: Gateway Collector (Deployment)       │
│  - loadbalancing exporter (TraceID 일관 해시)│
│  - 상태 없음 → KEDA 자유 확장 가능           │
└───────────────────┬─────────────────────────┘
                    │ Headless Service DNS
                    ▼
┌─────────────────────────────────────────────┐
│  2계층: Tail Sampling Collector (StatefulSet)│
│  - tailsamplingprocessor                   │
│  - memory_limiter processor                │
│  - 안정적 DNS로 TraceID 어핀티 보장          │
└───────────────────┬─────────────────────────┘
                    │
                    ▼
        [Jaeger / Grafana Tempo / Datadog]

# otel-gateway-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: otel-gateway-config
  namespace: observability
data:
  config.yaml: |
    receivers:
      otlp:
        protocols:
          grpc:
            endpoint: 0.0.0.0:4317
          http:
            endpoint: 0.0.0.0:4318
 
    processors:
      memory_limiter:
        check_interval: 1s
        limit_mib: 512
        spike_limit_mib: 128
 
    exporters:
      loadbalancing:
        protocol:
          otlp:
            tls:
              insecure: true
        resolver:
          dns:
            # 2계층 StatefulSet의 Headless Service DNS
            hostname: otel-tail-sampling-headless.observability.svc.cluster.local
            port: 4317
 
    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: [memory_limiter]
          exporters: [loadbalancing]

# otel-tail-sampling-statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: otel-tail-sampling
  namespace: observability
spec:
  serviceName: otel-tail-sampling-headless   # Headless Service 연결
  replicas: 3
  selector:
    matchLabels:
      app: otel-tail-sampling
  template:
    metadata:
      labels:
        app: otel-tail-sampling
    spec:
      containers:
        - name: collector
          # latest 태그 대신 특정 버전을 고정해 재현 가능한 빌드를 유지합니다.
          # 최신 버전: https://github.com/open-telemetry/opentelemetry-collector-contrib/releases
          image: otel/opentelemetry-collector-contrib:v0.120.0
          resources:
            requests:
              memory: "512Mi"
              cpu: "250m"
            limits:
              memory: "1Gi"
              cpu: "1"
          volumeMounts:
            - name: config
              mountPath: /conf
      volumes:
        - name: config
          configMap:
            name: otel-tail-sampling-config
---
# Headless Service: 각 Pod에 개별 DNS 제공
apiVersion: v1
kind: Service
metadata:
  name: otel-tail-sampling-headless
  namespace: observability
spec:
  clusterIP: None          # Headless 핵심 설정
  selector:
    app: otel-tail-sampling
  ports:
    - name: otlp-grpc
      port: 4317
      targetPort: 4317     # 명시적으로 지정해 혼란을 방지합니다
---
# PodDisruptionBudget: 롤링 업데이트 중 최소 인스턴스 보장
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: otel-tail-sampling-pdb
  namespace: observability
spec:
  minAvailable: 2
  selector:
    matchLabels:
      app: otel-tail-sampling

# otel-tail-sampling-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: otel-tail-sampling-config
  namespace: observability
data:
  config.yaml: |
    receivers:
      otlp:
        protocols:
          grpc:
            endpoint: 0.0.0.0:4317
 
    processors:
      memory_limiter:
        check_interval: 1s
        limit_mib: 800
        spike_limit_mib: 200
 
      tail_sampling:
        # decision_wait(30초) × expected_new_traces_per_sec(1,000개/초)
        # = 결정 대기 중인 최대 트레이스 약 30,000개
        # num_traces(100,000)는 이 예상량의 3배 이상 여유를 두는 값입니다.
        # 메모리 limits도 (트레이스 평균 크기 × num_traces)로 함께 조정하세요.
        decision_wait: 30s
        num_traces: 100000
        expected_new_traces_per_sec: 1000
        policies:
          # 에러가 있는 트레이스는 무조건 보존
          - name: error-policy
            type: status_code
            status_code: {status_codes: [ERROR]}
          # 2초 이상 걸린 느린 요청 보존
          - name: slow-traces-policy
            type: latency
            latency: {threshold_ms: 2000}
          # 나머지는 10%만 샘플링
          - name: probabilistic-policy
            type: probabilistic
            probabilistic: {sampling_percentage: 10}
 
    exporters:
      otlp:
        endpoint: jaeger-collector.observability.svc:4317
        tls:
          insecure: true
 
    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: [memory_limiter, tail_sampling]
          exporters: [otlp]

# keda-gateway-scaledobject.yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: otel-gateway-scaler
  namespace: observability
spec:
  scaleTargetRef:
    name: otel-gateway-collector      # 1계층 Deployment 이름
  minReplicaCount: 2                  # 콜드 스타트 방지: 최소 2개 유지
  maxReplicaCount: 20
  pollingInterval: 5                  # 5초마다 메트릭 확인
  cooldownPeriod: 60                  # 스케일인 전 60초 대기
  triggers:
    - type: external
      metadata:
        scalerAddress: kedify-otel-add-on.observability.svc:4318
        # rate()로 1분 평균 순간 수신량(초당 스팬 수)을 계산합니다.
        # KEDA는 (반환값 / targetValue)를 올림해 레플리카 수를 결정합니다.
        metricQuery: |
          sum(rate(otelcol_receiver_accepted_spans{receiver="otlp"}[1m]))
        targetValue: "10000"          # 인스턴스당 목표 초당 스팬 수
---
# 2계층 Tail Sampling: 처리 중인 트레이스 수로 스케일링
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: otel-tail-sampling-scaler
  namespace: observability
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: StatefulSet
    name: otel-tail-sampling
  minReplicaCount: 2
  maxReplicaCount: 10
  triggers:
    - type: external
      metadata:
        scalerAddress: kedify-otel-add-on.observability.svc:4318
        # 히스토그램 버킷(_bucket) 대신 카운트 메트릭을 사용해
        # 의미 있는 단일 집계값을 얻습니다.
        # 메트릭이 누적 카운터인지 게이지인지 환경에 따라 확인 후 사용하세요.
        metricQuery: |
          sum(otelcol_processor_tail_sampling_num_traces_sampled)
        targetValue: "80000"          # 전체 클러스터 기준 처리 트레이스 임계값

OTel Collector (메트릭 OTLP Push)
        │ 포트 4317
        ▼
┌─────────────────────────────┐
│  kedify-otel-add-on          │
│  - 내부 TSDB (순환 버퍼)     │
│  - PromQL 유사 집계 엔진     │
└──────────────┬──────────────┘
               │ gRPC External Scaler (포트 4318)
               ▼
         KEDA Operator
               │
               ▼
    레플리카 수 결정 및 적용