vLLM SGLang 성능 비교 — 2026년 KV 캐시 구조로 이해하는 추론 엔진 선택

[vLLM - PagedAttention 개념]
 
요청 A: [페이지1][페이지2][페이지3]
요청 B: [페이지4][페이지5]
요청 C: [페이지6][페이지7][페이지8][페이지9]
 
→ 각 요청은 독립적인 메모리 페이지를 할당받음
→ 공통 프리픽스 공유 없음, 각 요청은 처음부터 다시 계산

[SGLang - RadixAttention 트리 구조]
 
시스템 프롬프트: "You are a helpful assistant. [문서 A]"
                          │  (한 번만 계산, 캐시에 저장)
            ┌─────────────┼─────────────┐
         요청 A        요청 B        요청 C
    "핵심 주장은?"   "반론은?"    "결론 요약해줘"
         │                │               │
    (추가 토큰만)    (추가 토큰만)  (추가 토큰만)
       새로 계산      새로 계산     새로 계산
 
→ 공통 부분(시스템 프롬프트+문서)은 한 번만 계산
→ 각 요청의 고유 부분만 새로 처리

# SGLang 서버 실행 (멀티턴 RAG에 최적화된 설정)
# python -m sglang.launch_server \
#   --model-path meta-llama/Llama-3.1-8B-Instruct \
#   --host 0.0.0.0 \
#   --port 30000 \
#   --mem-fraction-static 0.9 \
#   --max-prefill-tokens 16384
 
import openai
 
client = openai.OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="EMPTY",
)
 
SHARED_CONTEXT = (
    "당신은 문서 분석 전문가입니다.\n\n"
    "[참고 문서]\n"
    "{document_content}"
)
 
def ask_question(document: str, question: str, history: list) -> str:
    messages = [
        {
            "role": "system",
            "content": SHARED_CONTEXT.format(document_content=document),
        },
        *history,
        {"role": "user", "content": question},
    ]
 
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=messages,
        max_tokens=512,
    )
    return response.choices[0].message.content
 
# 실제 문서 내용 (긴 보고서, 논문 등을 여기에 넣으면 됩니다)
sample_doc = (
    "2024년 글로벌 AI 시장 규모는 약 2,000억 달러로 추산된다. "
    "주요 성장 동력은 생성형 AI 서비스의 대중화와 클라우드 인프라 확장이다. "
    "북미가 시장의 40%를 점유하며, 아시아태평양 지역의 성장세가 두드러진다."
)
 
history = []
questions = ["이 문서의 핵심 주장은?", "반론은 있나요?", "결론을 요약하면?"]
 
for question in questions:
    answer = ask_question(sample_doc, question, history)
    history.extend([
        {"role": "user", "content": question},
        {"role": "assistant", "content": answer},
    ])
    print(f"Q: {question}\nA: {answer}\n")

# vLLM 서버 실행 (배치 처리 최적화)
# python -m vllm.entrypoints.openai.api_server \
#   --model meta-llama/Llama-3.1-70B-Instruct \
#   --tensor-parallel-size 4 \
#   --max-model-len 8192 \
#   --gpu-memory-utilization 0.95
 
import asyncio
import openai
 
client = openai.AsyncOpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
)
 
CLASSIFICATION_PROMPT = (
    "다음 텍스트를 아래 카테고리 중 하나로 분류해주세요.\n"
    "카테고리: [기술, 비즈니스, 스포츠, 엔터테인먼트, 정치]\n\n"
    "텍스트:\n{text}\n\n"
    "카테고리만 한 단어로 답변해주세요."
)
 
async def classify_document(text: str) -> str:
    response = await client.chat.completions.create(
        model="meta-llama/Llama-3.1-70B-Instruct",
        messages=[{
            "role": "user",
            "content": CLASSIFICATION_PROMPT.format(text=text),
        }],
        max_tokens=10,
        temperature=0,
    )
    return response.choices[0].message.content.strip()
 
async def batch_classify(documents: list[str]) -> list[str]:
    tasks = [classify_document(doc) for doc in documents]
    return await asyncio.gather(*tasks)
 
# 각각 고유한 내용을 가진 문서 목록 (실제 사용 시 파일에서 로드)
documents = [
    "삼성전자가 3나노 공정 칩 양산에 성공했다고 발표했다.",
    "손흥민이 해트트릭을 기록하며 팀을 승리로 이끌었다.",
    "연방준비제도가 기준금리를 0.25%p 인하했다.",
]
results = asyncio.run(batch_classify(documents))
for doc, label in zip(documents, results):
    print(f"[{label}] {doc[:30]}...")

# DeepSeek-R1 서버 실행 (SGLang 권장 설정)
python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-R1 \
  --trust-remote-code \
  --tp 8 \
  --dp 2 \
  --host 0.0.0.0 \
  --port 30000 \
  --reasoning-parser deepseek-r1
  # MLA 어텐션 백엔드 자동 활성화
  # Elastic Expert Parallelism으로 MoE 장애 허용

import openai
 
client = openai.OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="EMPTY",
)
 
response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1",
    messages=[{
        "role": "user",
        "content": (
            "다음 코드에서 버그를 찾고 수정해줘:\n\n"
            "def factorial(n):\n"
            "    if n == 0:\n"
            "        return 0\n"
            "    return n * factorial(n-1)"
        ),
    }],
    max_tokens=2048,
    temperature=0.6,
)
 
full_response = response.choices[0].message.content
 
# <think> 태그로 감싸진 추론 과정과 최종 답변 분리
if "<think>" in full_response:
    think_end = full_response.find("</think>")
    reasoning = full_response[7:think_end]        # <think> 이후
    answer = full_response[think_end + 8:].strip() # </think> 이후
    print(f"[추론 과정]\n{reasoning}\n")
    print(f"[최종 답변]\n{answer}")
else:
    print(full_response)

내 워크로드에 공통 시스템 프롬프트/문서 컨텍스트가 반복되나요?
  │
  ├─ Yes → 고정 컨텍스트가 전체 프롬프트의 30% 이상인가요?
  │           ├─ Yes → SGLang ✓ (RadixAttention 효과 극대화)
  │           └─ No  → DeepSeek 계열 모델을 사용하나요?
  │                       ├─ Yes → SGLang ✓ (전용 최적화 내장)
  │                       └─ No  → 둘 다 비슷, vLLM이 운영하기 편함
  │
  └─ No  → 동시 요청이 100개 이상인가요?
              ├─ Yes → vLLM ✓ (C++ 라우팅 안정성)
              └─ No  → GPU/TPU 혼합 환경이거나 모델을 자주 바꾸나요?
                          ├─ Yes → vLLM ✓ (하드웨어·모델 다양성)
                          └─ No  → 처리량 우선이면 SGLang,
                                   생태계 안정성 우선이면 vLLM