Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks
초록
검색 증강 세대(RAG)는 지식 집약적인 작업을 처리하는 데 있어 대규모 언어 모델(LLM)의 기능을 현저하게 향상시켰습니다. 애플리케이션 시나리오에 대한 요구가 증가함에 따라 고급 검색기, LLM 및 기타 보완 기술의 통합으로 이어져 RAG의 진화를 주도했고, 그 결과 RAG 시스템의 복잡성이 증폭되었습니다. 그러나 급속한 발전으로 인해 많은 방법이 ‘검색 후 생성’이라는 프로세스 아래에서 통합되는 데 어려움을 겪고 있으며, 기본적인 RAG 패러다임을 앞지르고 있습니다. 이러한 맥락에서 본 백서에서는 기존 RAG 패러다임의 한계를 살펴보고 모듈형 RAG 프레임워크를 소개합니다. 이 프레임워크는 복잡한 RAG 시스템을 독립적인 모듈과 전문화된 연산자로 분해함으로써 고도로 재구성 가능한 프레임워크를 용이하게 합니다. 모듈형 RAG는 기존의 선형 아키텍처를 뛰어넘어 라우팅, 스케줄링, 융합 메커니즘을 통합하는 보다 진보된 설계를 수용합니다. 이 백서에서는 광범위한 연구를 바탕으로 선형, 조건부, 분기, 루핑 등 널리 사용되는 RAG 패턴을 식별하고 각각의 구현 뉘앙스에 대한 포괄적인 분석을 제공합니다. 모듈형 RAG는 RAG 시스템의 개념화 및 배포에 있어 혁신적인 기회를 제공합니다. 마지막으로, 이 백서에서는 새로운 운영자와 패러다임의 잠재적 출현을 탐구하여 RAG 기술의 지속적인 발전과 실용적인 배포를 위한 탄탄한 이론적 토대와 실용적인 로드맵을 수립합니다.