2024-02-20

Logs

• QuickGPT 프로그램을 사용 중인데, 매우 만족스럽다.

Notes

• 한국어 임베딩과 제미니AI를 이용한 무료 RAG 시스템 구축하기
• 옵시디언 노트와 랭체인을 이용한 RAG 시스템 만들기
  • 참고: Query Your Own Notes With LangChain - YouTube
• RAG에 가장 적합한 임베딩/재순위 조합은 무엇일까?
  • Which mix of embeddings/rerankers works best for RAG? | LlamaIndex posted on the topic | LinkedIn
    • 임베딩 모델(지난 주에 출시된 모델 포함): ✅ Cohere-v3, ✅ Voyage AI, ✅ Jina AI, ✅ llm-embedder, ✅ Cohere-v2, ✅ bge-large, ✅ OpenAI ada-002, Rerankers(Cohere , bge-reranker-large, bge-reranker-base)
    • Cohere/bge-reranker-large를 사용한 OpenAI/Voyage 임베딩이 최고의 검색 성능을 보여줌
    • 블로그 전문: https://blog.llamaindex.ai/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83
    • Colab 노트북: https://colab.research.google.com/drive/1TxDVA__uimVPOJiMEQgP5fwHiqgKqm4-?usp=sharing
    • 
  • Reddit - Dive into anything
    • llama-2-7b, chat-hf, flan-T5-large 등 다양한 모델을 실험해봤으나, 어려움을 겪음
      • MTEB 리더보드에서 확인 가능. bge-1.5 모델 추천
      • reranker에서 bge-reranker-large 사용을 추천. 모든 불용어를 제거 및 표제어 정리 등을 적용하여 임베딩한 다음, bm25 또는 유사한 classic lexical 알고리즘을 사용하여 순위 재지정 또는 rag fusion 단계에 “하이브리드 검색” 결과를 추가한다.
      • bge-large-en-1.5 보다 bge-base-en-1.5 사용을 추천한다. 크기는 절반이고 성능은 거의 비슷하다.
      • OpenAI의 text-embedding-ada-002와 경쟁할 수 있는 ‘Jina v2’를 추천한다.

Resources

• 한국어 Reranker를 활용한 검색 증강 생성(RAG) 성능 올리기 - AWS 기술 블로그
  • https://github.com/aws-samples/aws-ai-ml-workshop-kr/blob/master/genai/aws-gen-ai-kr/20_applications/02_qa_chatbot/02_rag/02_rag_reranker.ipynb