멀티모달 RAG 파이프라인 구축: 이미지·표를 LLM이 이해하게 만드는 법

[원본 문서]
    ├── 텍스트 청크 → Transformer 임베딩
    ├── 이미지/차트 → Vision Encoder (CLIP, ColPali 등)
    └── 표 데이터 → 텍스트 변환 후 Transformer 임베딩
 
          ↓ (통합 벡터 공간에 저장)
 
[질의(Query)] → 교차 모달 검색 → [텍스트 + 이미지 + 표 컨텍스트]
                                          ↓
                                  VLM (GPT-4o, Gemini 등)
                                          ↓
                                    [최종 응답]

from llama_index.core import SimpleDirectoryReader, StorageContext
from llama_index.multi_modal_llms.openai import OpenAIMultiModal
from llama_index.core.indices.multi_modal import MultiModalVectorStoreIndex
from llama_index.vector_stores.qdrant import QdrantVectorStore
from llama_index.embeddings.clip import ClipEmbedding
import qdrant_client
 
# 1. 멀티모달 문서 로드 (텍스트 + 이미지 함께 추출)
documents = SimpleDirectoryReader(
    input_dir="./docs",
    required_exts=[".pdf"],
    recursive=True
).load_data()
 
# 2. 벡터 스토어 설정 (텍스트/이미지 인덱스 분리)
client = qdrant_client.QdrantClient(host="localhost", port=6333)
 
text_store = QdrantVectorStore(
    client=client, collection_name="text_collection"
)
image_store = QdrantVectorStore(
    client=client, collection_name="image_collection"
)
 
# 3. StorageContext로 텍스트/이미지 스토어 통합 (필수 단계)
storage_context = StorageContext.from_defaults(
    vector_store=text_store,
    image_store=image_store,
)
 
# 4. CLIP 임베딩으로 이미지-텍스트 정렬
clip_embedding = ClipEmbedding()
 
# 5. 멀티모달 인덱스 빌드
index = MultiModalVectorStoreIndex.from_documents(
    documents,
    image_embed_model=clip_embedding,
    storage_context=storage_context,
)
 
# 6. VLM 설정 및 쿼리 엔진 구성
mm_llm = OpenAIMultiModal(
    model="gpt-4o",
    max_new_tokens=1500
)
 
query_engine = index.as_query_engine(
    multi_modal_llm=mm_llm,
    similarity_top_k=5,       # 상위 5개 텍스트 청크
    image_similarity_top_k=3, # 상위 3개 이미지
)
 
response = query_engine.query(
    "이 회로에서 전압 조정 모듈의 동작 원리를 설명해줘"
)
print(response)

from llama_index.multi_modal_llms.openai import OpenAIMultiModal
from llama_index.retrievers.bm25 import BM25Retriever
from llama_index.core.retrievers import QueryFusionRetriever
from llama_index.postprocessor.colbert_rerank import ColbertRerank
from llama_index.core.query_engine import RetrieverQueryEngine
 
# 독립 실행 시 mm_llm 정의 필요
mm_llm = OpenAIMultiModal(
    model="gpt-4o",
    max_new_tokens=1500
)
 
# 벡터 검색 리트리버
vector_retriever = index.as_retriever(similarity_top_k=10)
 
# BM25 키워드 검색 리트리버
bm25_retriever = BM25Retriever.from_defaults(
    index=index,
    similarity_top_k=10
)
 
# 두 리트리버를 Reciprocal Rank Fusion으로 결합
hybrid_retriever = QueryFusionRetriever(
    retrievers=[vector_retriever, bm25_retriever],
    similarity_top_k=5,
    num_queries=1,
    mode="reciprocal_rerank",
)
 
# ColBERT 기반 텐서 리랭킹으로 최종 순위 조정
reranker = ColbertRerank(top_n=3)
 
query_engine = RetrieverQueryEngine(
    retriever=hybrid_retriever,
    node_postprocessors=[reranker],
    llm=mm_llm,
)

from unstructured.partition.pdf import partition_pdf
 
def parse_multimodal_document(pdf_path: str) -> dict:
    """PDF에서 텍스트, 이미지, 표를 분리 추출"""
 
    elements = partition_pdf(
        filename=pdf_path,
        extract_images_in_pdf=True,
        extract_image_block_types=["Image", "Table"],
        infer_table_structure=True,
        strategy="hi_res",         # 고해상도 파싱 (느리지만 정확)
    )
 
    result = {"texts": [], "images": [], "tables": []}
 
    for element in elements:
        element_type = type(element).__name__
 
        if element_type == "Table":
            result["tables"].append({
                "content": element.text,
                "metadata": element.metadata.to_dict()
            })
        elif element_type == "Image":
            if hasattr(element.metadata, "image_base64"):
                result["images"].append({
                    "base64": element.metadata.image_base64,
                    "metadata": element.metadata.to_dict()
                })
        else:
            result["texts"].append({
                "content": element.text,
                "metadata": element.metadata.to_dict()
            })
 
    return result

pip install llama-index-multi-modal-llms-openai \
            llama-index-vector-stores-qdrant \
            llama-index-embeddings-clip \
            llama-index-retrievers-bm25 \
            llama-index-postprocessor-colbert-rerank \
            unstructured[pdf]
 
docker run -p 6333:6333 qdrant/qdrant