Logs
- QuickGPT 프로그램을 사용 중인데, 매우 만족스럽다.
Notes
- 한국어 임베딩과 제미니AI를 이용한 무료 RAG 시스템 구축하기
- 옵시디언 노트와 랭체인을 이용한 RAG 시스템 만들기
- RAG에 가장 적합한 임베딩/재순위 조합은 무엇일까?
- Which mix of embeddings/rerankers works best for RAG? | LlamaIndex posted on the topic | LinkedIn
- 임베딩 모델(지난 주에 출시된 모델 포함): ✅ Cohere-v3, ✅ Voyage AI, ✅ Jina AI, ✅ llm-embedder, ✅ Cohere-v2, ✅ bge-large, ✅ OpenAI ada-002, Rerankers(Cohere , bge-reranker-large, bge-reranker-base)
- Cohere/bge-reranker-large를 사용한 OpenAI/Voyage 임베딩이 최고의 검색 성능을 보여줌
- 블로그 전문: https://blog.llamaindex.ai/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83
- Colab 노트북: https://colab.research.google.com/drive/1TxDVA__uimVPOJiMEQgP5fwHiqgKqm4-?usp=sharing
- Reddit - Dive into anything
- llama-2-7b, chat-hf, flan-T5-large 등 다양한 모델을 실험해봤으나, 어려움을 겪음
- MTEB 리더보드에서 확인 가능. bge-1.5 모델 추천
- reranker에서 bge-reranker-large 사용을 추천. 모든 불용어를 제거 및 표제어 정리 등을 적용하여 임베딩한 다음, bm25 또는 유사한 classic lexical 알고리즘을 사용하여 순위 재지정 또는 rag fusion 단계에 “하이브리드 검색” 결과를 추가한다.
- bge-large-en-1.5 보다 bge-base-en-1.5 사용을 추천한다. 크기는 절반이고 성능은 거의 비슷하다.
- OpenAI의 text-embedding-ada-002와 경쟁할 수 있는 ‘Jina v2’를 추천한다.
- llama-2-7b, chat-hf, flan-T5-large 등 다양한 모델을 실험해봤으나, 어려움을 겪음
- Which mix of embeddings/rerankers works best for RAG? | LlamaIndex posted on the topic | LinkedIn