2024-02-21

Logs

• obsidian-smart-connections 플러그인에 한국어 모델 추가하기

Notes

• RAG
  • 다국어 임베딩 모델 BAAI/bge-m3 추천
    • 중국에서 발행된 이 AI 백서에서는 BGE-M3를 소개합니다: 다국어(100개 이상의 언어)를 지원하는 BGE 모델 시리즈에 새로 추가된 제품 - All Things IT @AI
  • 벡터DB로 Pinecone과 Milvus 추천
    • 2023년, 벡터 데이터베이스 선택을 위한 비교 및 가이드 / Picking a vector database: a comparison and guide for 2023 - 읽을거리&정보공유 - 파이토치 한국 사용자 모임
  • 엘라스틱서치 임베딩 샘플 코드: embedding_indexing.py

Resources

• 오픈소스 helianthuswhite/chatgpt-web-next NextJS와 Tailwincss로 개발된 ChatGPT 웹 UI
• 옵시디언
  • 노션과 같은
    • https://github.com/marcusolsson/obsidian-projects
    • https://github.com/RafaelGB/obsidian-db-folder
    • https://github.com/trey-wallis/obsidian-dataloom
• GeekNews
  • 파이썬에서의 웹 스크래핑 - 완벽 가이드 | GeekNews
    • BeautifulSoup: HTML/XML 파싱, 유연한 탐색 및 검색
    • Scrapy: 빠르고 확장 가능, 미들웨어, 분산 크롤링 기능
    • Selenium: 브라우저 자동화, 자바스크립트 중심 사이트 처리
    • lxml: 매우 빠른 XML/HTML 파서
    • pyquery: jQuery 스타일 문법으로 HTML 요소 접근
• 캐글 사이언스 이그잼: Kaggle - LLM Science Exam
  • 위키피디아 데이터 RAG 성능 향상 기법 참고
• 도구 앱 연결 링크 만들기: hookmark 현재 리소스에 빠르게 메모를 추가하기.북마크