Summary
본 논문은 텍스트를 SQL로 변환하는 작업에서 대규모 언어 모델의 성능 향상을 위한 새로운 프레임워크인 CHASE-SQL을 소개합니다. CHASE-SQL은 다양한 LLM 생성기를 사용하여 다양하고 고품질의 SQL 후보를 생성하고, 후보를 쌍으로 비교하여 최상의 후보를 선택하는 방식을 통해 기존 방법보다 우수한 성능을 보여줍니다. CHASE-SQL은 BIRD Text-to-SQL 데이터셋 벤치마크에서 최첨단 실행 정확도를 달성하여, 제출 당시 리더보드에서 최고 순위를 기록했습니다.
CHASE-SQL: Multi-Path Reasoning and Preference Optimized Candidate Selection in Text-to-SQL
초록
Text-to-SQL 작업을 위한 대규모 언어 모델(LLM) 성능 문제를 해결하기 위해 멀티 에이전트 모델링에서 테스트 시간 컴퓨팅을 사용해 후보 생성 및 선택을 개선하는 혁신적인 전략을 채택한 새로운 프레임워크인 CHASE-SQL을 소개합니다. CHASE-SQL은 LLM의 내재적 지식을 활용하여 다음과 같은 다양한 LLM 생성기를 사용하여 다양하고 고품질의 SQL 후보를 생성합니다: (1) 단일 LLM 호출에서 복잡한 쿼리를 관리 가능한 하위 쿼리로 분해하는 분할 및 정복 방법, (2) 데이터베이스 엔진이 실행 중에 수행하는 단계를 반영하는 쿼리 실행 계획에 기반한 연쇄 추론, (3) 이 http URL을 테스트하기 위해 맞춤화된 특정 몇 번의 데모를 제공하는 독특한 인스턴스 인식 합성 예제 생성 기술, 최상의 후보를 식별하기 위해 선택 에이전트가 사용되어 미세 조정된 이진 후보 선택 LLM과 쌍으로 비교하여 후보의 순위를 매깁니다. 이 선택 접근 방식은 다른 대안에 비해 더 강력한 것으로 입증되었습니다. 제안된 제너레이터-선택기 프레임워크는 SQL 쿼리의 품질과 다양성을 향상시킬 뿐만 아니라 이전 방법보다 성능이 뛰어납니다. 전반적으로, 우리가 제안한 CHASE-SQL은 주목할 만한 BIRD Text-to-SQL 데이터셋 벤치마크의 테스트 세트와 개발 세트에서 73.0%와 73.01%의 최첨단 실행 정확도를 달성하여 리더보드(논문 제출 시점 기준)의 최상위 제출작으로 선정되었습니다.