멀티 레플리카 LLM의 캐시 딜레마 — LMCache + llm-d로 클러스터 전체에 KV 캐시 깔기

[요청 A] ──▶ [Pod 1] (캐시 히트 ✓)
[요청 B] ──▶ [Pod 2] (캐시 미스 ✗, 재계산)
[요청 C] ──▶ [Pod 1] (캐시 히트 ✓)
[요청 D] ──▶ [Pod 3] (캐시 미스 ✗, 재계산)

GPU HBM (L1)
    │ 캐시 미스 시
    ▼
CPU DRAM (L2, LMCache 관리)
    │ 캐시 미스 시
    ▼
NVMe / 원격 스토리지 (L3)
   (NFS, S3, InfiniStore, Mooncake Store, Valkey 등)

# vLLM + LMCache 기본 연동
# pip install lmcache vllm
 
from lmcache.config import LMCacheEngineConfig
from lmcache.integration.vllm import init_lmcache_engine
 
# CPU 메모리를 L2 캐시로 사용하는 기본 구성
config = LMCacheEngineConfig.from_dict({
    "chunk_size": 256,           # 청크 1개 = 256 토큰 = KV 블록 1개
    "local_device": "cpu",       # CPU DRAM을 로컬 캐시로
    "remote_url": "redis://cache-server:6379",  # Valkey/Redis 공유 캐시
    "remote_serde": "cachegen",  # 압축 직렬화 방식
})
 
init_lmcache_engine(config)
 
# 이후 vLLM 엔진은 평소와 동일하게 사용
# LMCache가 투명하게 KV 캐시 관리를 가로챔

[클라이언트 요청]
      │
      ▼
[llm-d Gateway (Kubernetes Gateway API)]
      │
      ▼
[EPP — Endpoint Picker]
  ├─ 요청의 prefix 해시 계산
  ├─ KV 블록 인덱스 조회 (llm-d-kv-cache)
  └─ 해당 블록을 가진 Pod로 라우팅
      │
      ▼
[vLLM Pod (캐시 히트!)]

# lmcache-config.yaml
# 모든 vLLM Pod가 동일한 원격 캐시를 바라봄
chunk_size: 512         # 청크 1개 = 512 토큰 = KV 블록 1개
local_device: "cpu"
max_local_cache_size: 20  # GB, CPU 메모리 할당량
 
# NFS 마운트 경로를 공유 KV 캐시로 활용
remote_url: "file:///mnt/nfs/lmcache"
remote_serde: "safetensor"

# RAG 서버 — 문서 KV 프리워밍 스크립트
# pip install lmcache vllm
 
import asyncio
from vllm import AsyncLLMEngine, AsyncEngineArgs, SamplingParams  # vLLM 0.6+
 
async def prewarm_document_kv(doc_text: str, engine: AsyncLLMEngine):
    """
    문서를 한 번 처리해 KV 캐시를 외부 스토리지에 올려두는 함수.
    이후 동일 prefix를 가진 요청은 재계산 없이 캐시 히트.
    """
    system_prompt = f"다음 문서를 기반으로 답변하세요:\n\n{doc_text}\n\n질문: "
    
    # 더미 요청을 통해 prefix KV 생성 — LMCache가 사이드 이펙트로 KV를 외부 스토리지에 저장
    # max_tokens=1이므로 실제 응답 생성 비용은 최소화됨
    params = SamplingParams(max_tokens=1)
    async for _ in engine.generate(system_prompt, params, request_id="prewarm"):
        pass
    
    print(f"[KV Prewarm] {len(doc_text)} chars → 캐시 저장 완료")
 
# 이후 실제 요청에서는 같은 prefix가 LMCache에서 즉시 로드됨

# llm-d 기반 InferencePool + EPP 배포 예시
apiVersion: inference.networking.x-k8s.io/v1alpha2
kind: InferencePool
metadata:
  name: llama-pool
spec:
  targetPortNumber: 8000
  selector:
    matchLabels:
      app: vllm-worker
  extensionRef:
    name: llm-d-epp   # EPP가 캐시 인식 라우팅 수행
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-d-epp
spec:
  template:
    spec:
      containers:
      - name: epp
        # 실제 배포에서는 latest 대신 고정 버전 태그를 사용하는 것을 권장합니다
        image: ghcr.io/llm-d/llm-d-inference-scheduler:v0.5.0
        env:
        - name: KV_CACHE_AWARE_ROUTING
          value: "true"
        - name: PREFIX_HASH_ALGO
          value: "sha256"
        - name: KVBLOCK_INDEX_ENDPOINT
          value: "http://kv-index-service:9090"

# vLLM Worker Pod — LMCache 연동 포함
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-worker
spec:
  replicas: 4
  template:
    spec:
      containers:
      - name: vllm
        image: vllm/vllm-openai:v0.6.0
        args:
        - "--model=meta-llama/Llama-3.1-8B-Instruct"
        - "--enable-prefix-caching"
        - "--kv-transfer-config"
        # kv_transfer_config를 JSON 직렬화해서 CLI 인자로 전달
        - '{"kv_connector":"LMCacheConnector","kv_role":"kv_both"}'
        volumeMounts:
        - name: lmcache-config
          mountPath: /etc/lmcache
      volumes:
      - name: lmcache-config
        configMap:
          name: lmcache-cfg

[클라이언트]
     │
     ▼
[llm-d EPP]
     │
     ├──▶ [Prefill Pod (A100 × 4)]  ← 긴 프롬프트 처리 특화 (compute-bound)
     │           │
     │    KV 블록 배치 전송 (LMCache)
     │           │
     └──▶ [Decode Pod (A100 × 2)]  ← 토큰 생성 특화 (memory-bound)

# Prefill/Decode 역할 설정 예시
# 실제로는 vLLM 실행 시 --kv-transfer-config CLI 인자로 JSON을 넘깁니다
 
import os
os.environ["LMCACHE_USE_EXPERIMENTAL_FEATURES"] = "True"
 
# Prefill Pod 설정 — KV를 생성하고 Decode Pod로 전송
kv_transfer_config_prefill = {
    "kv_connector": "LMCacheConnector",
    "kv_role": "kv_producer",        # KV 생산자
    "kv_connector_port": 8100,
    "kv_connector_host": "0.0.0.0",
}
 
# Decode Pod 설정 — KV를 수신하고 토큰 생성 시작
kv_transfer_config_decode = {
    "kv_connector": "LMCacheConnector",
    "kv_role": "kv_consumer",        # KV 소비자
    "kv_connector_port": 8100,
    "kv_connector_host": "prefill-service",  # Prefill Pod 서비스 주소
}
 
# vLLM 실행 예시 (Prefill Pod):
# vllm serve meta-llama/Llama-3.1-8B-Instruct \
#   --kv-transfer-config '{"kv_connector":"LMCacheConnector","kv_role":"kv_producer",...}'

[클라이언트 요청]
      │
      ▼
[llm-d EPP]  ← prefix 해시로 캐시 보유 Pod 확인 (예시 2)
      │
      ▼
[Prefill Pod]  ← 프롬프트 처리 후 KV 생성 (예시 3)
      │
      │  LMCache → NFS/Valkey 공유 스토리지에 KV 저장 (예시 1)
      │
      ▼
[Decode Pod]  ← KV 수신 후 토큰 생성 시작
      │
      ▼
[클라이언트 응답]