vLLM APC vs SGLang RadixAttention: KV 캐시 구조 차이와 워크로드별 선택 기준

# vLLM APC 활성화 (v0.11 이상 권장)
from vllm import LLM, SamplingParams
 
llm = LLM(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    enable_prefix_caching=True,
    block_size=16,  # 캐시 최소 단위: 16토큰 블록
)
 
sampling_params = SamplingParams(temperature=0.7, max_tokens=512)
 
system_prompt = "당신은 코드 리뷰 전문가입니다. " * 50  # 긴 시스템 프롬프트
 
outputs = llm.generate([
    system_prompt + "이 Python 코드를 리뷰해줘: def foo(): pass",
    system_prompt + "이 Python 코드를 리뷰해줘: def bar(): return 1",
], sampling_params)
# 두 번째 요청부터 system_prompt 블록들은 캐시에서 재사용됨

요청 A: [시스템 프롬프트] + [유저: "Python 코드 리뷰해줘"]
요청 B: [시스템 프롬프트] + [유저: "JavaScript 코드 리뷰해줘"]
요청 C: [시스템 프롬프트] + [유저: "Python 코드 리뷰해줘"] + [어시스턴트 응답] + [유저: "더 설명해줘"]
 
래딕스 트리:
root
└── [시스템 프롬프트 KV 페이지들]  ← A, B, C 모두 공유
    ├── [유저: "Python 코드 리뷰해줘"]  ← A, C 공유
    │   └── [어시스턴트 응답] → [유저: "더 설명해줘"]  ← C만
    └── [유저: "JavaScript 코드 리뷰해줘"]  ← B만

# SGLang - OpenAI 호환 API (현재 권장 방식)
# 서버: python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct
from openai import OpenAI
 
client = OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="EMPTY"
)
 
SYSTEM_PROMPT = "당신은 코드 리뷰 전문가입니다. ..."
 
# RadixAttention은 서버 내부에서 자동 동작 — 클라이언트 측 설정 불필요
for user_code in ["def foo(): pass", "def bar(): return 1"]:
    response = client.chat.completions.create(
        model="meta-llama/Meta-Llama-3-8B-Instruct",
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": f"이 Python 코드를 리뷰해줘: {user_code}"}
        ],
        max_tokens=512
    )
    print(response.choices[0].message.content)
# 두 번째 요청부터 SYSTEM_PROMPT 부분은 래딕스 트리에서 자동 재사용됨

# SGLang 멀티턴 챗봇 — OpenAI 호환 API 방식
from openai import OpenAI
 
client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
 
SYSTEM_PROMPT = """
당신은 TechCorp의 고객 지원 전문가입니다.
[회사 정책 200토큰...]
[제품 정보 300토큰...]
[응대 지침 150토큰...]
"""  # 총 ~650토큰
 
def chat(history: list, user_input: str) -> str:
    messages = [{"role": "system", "content": SYSTEM_PROMPT}]
    messages.extend(history)
    messages.append({"role": "user", "content": user_input})
 
    response = client.chat.completions.create(
        model="meta-llama/Meta-Llama-3-8B-Instruct",
        messages=messages,
        max_tokens=256
    )
    return response.choices[0].message.content
 
# 대화 이력이 쌓일수록 래딕스 트리에서 재사용되는 범위가 자동으로 늘어남
history = []
for user_input in user_messages:
    response_text = chat(history, user_input)
    history.extend([
        {"role": "user", "content": user_input},
        {"role": "assistant", "content": response_text}
    ])

# RAG + SGLang: 캐시 친화적 프롬프트 구성
from openai import OpenAI
 
client = OpenAI(base_url="http://localhost:30000/v1", api_key="EMPTY")
 
def rag_query(retrieved_docs: list[str], question: str) -> str:
    # 검색된 문서를 시스템 메시지 앞쪽에 배치 — 캐시 재사용 극대화
    context = "\n\n".join([f"문서 {i+1}: {doc}" for i, doc in enumerate(retrieved_docs)])
 
    response = client.chat.completions.create(
        model="meta-llama/Meta-Llama-3-8B-Instruct",
        messages=[
            {"role": "system", "content": f"다음 문서들을 참고하여 질문에 답변해 주세요:\n\n{context}"},
            {"role": "user", "content": question}
        ],
        max_tokens=512
    )
    return response.choices[0].message.content
 
# fetch_document()는 사용자 환경에 맞게 구현하는 함수입니다
popular_doc = fetch_document("python-docs-chapter3")
 
results = [
    rag_query(retrieved_docs=[popular_doc, doc_b], question=q)
    for q in questions  # popular_doc 부분은 래딕스 트리에서 자동 재사용
]

# vLLM Multi-LoRA 서빙
from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest
 
llm = LLM(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    enable_lora=True,
    enable_prefix_caching=True,
    max_lora_rank=64,
)
 
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
 
lora_requests = {
    "team_a": LoRARequest("team_a_lora", 1, "/models/lora/team_a"),
    "team_b": LoRARequest("team_b_lora", 2, "/models/lora/team_b"),
}
 
outputs = llm.generate(
    ["팀A의 작업입니다", "팀B의 작업입니다"],
    sampling_params,
    lora_request=[lora_requests["team_a"], lora_requests["team_b"]]
)

# vLLM Cache Salting으로 테넌트별 캐시 격리
from vllm import LLM, SamplingParams
 
llm = LLM(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    enable_prefix_caching=True,
)
 
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
 
def serve_tenant_request(tenant_id: str, prompt: str):
    return llm.generate(
        prompt,
        sampling_params,
        prefix_cache_salt=f"tenant:{tenant_id}",  # salt 주입으로 첫 블록 해시가 달라짐
    )
 
# 동일한 프롬프트라도 테넌트가 다르면 캐시가 공유되지 않음
shared_prompt = "공통 시스템 프롬프트..."
response_a = serve_tenant_request("tenant_001", shared_prompt)
response_b = serve_tenant_request("tenant_002", shared_prompt)

from collections import Counter
 
def measure_prefix_overlap(prompts: list[str], prefix_len: int = 200) -> float:
    prefixes = [p[:prefix_len] for p in prompts]
    most_common_count = Counter(prefixes).most_common(1)[0][1]
    return most_common_count / len(prompts)
 
overlap_rate = measure_prefix_overlap(recent_prompts)
print(f"접두사 중복도: {overlap_rate:.1%}")