2024-02-19

Logs

• Smart Connection 옵시디언 플러그인 사용 방법
• anytype 노트앱을 사용하기 시작했다.

Notes

• 세컨드브레인
  • 내가 작성한 메모를 다시 꺼내보는 방법 → 옵시디언 메모를 벡터화하여, 내가 제기한 질문에 적합한 답변을 내가 작성한 메모에서 찾아주는 방식이 유용할 것 같다.
    • AutoRAG: 자동으로 최적의 RAG 파이프라인을 찾아주는 자동화 툴 | GeekNews를 참조하여 구현해 보는 것을 고려해 볼 수 있다.
    • 임베딩 모델:
      • BGE-M3: 100개 이상의 언어를 지원.
      • ko-sroberta-multitask: 한국어 임베딩 모델 → 한국어 임베딩 모델중에서 성능이 가장 우수함.
      • Multilingual-E5-large: 다국어를 지원
    • RAG 관련 패키지:
      • NeumAI: 벡터 임베딩의 생성 및 동기화를 대규모로 관리할 수 있는 동급 최고의 프레임워크
      • NLM Ingestor: RAG를 위한 규칙 기반 PDF 파서
      • Vanna: SQL 데이터베이스와 채팅. RAG를 사용하여 LLM을 통한 정확한 텍스트-SQL 생성
      • RAGChain: RAG를 위한 랭체인 확장. 간편한 벤치마킹, 다중 검색, 리랭커, 시간 인식 RAG 등…
    • 한국어 관련 패키지:
      • bitTA: 텍스트 데이터를 탐색(Explore Documents)하고, 자연어 처리(Natural Language Processing) 및 형태소분석, 감성분석을 수행하는, 한글 텍스트 데이터 분석 도구들 오믐
      • KSS: 한국어 문장 분할을 위한 툴킷 → 한국어 문장 분리기 중, 가장 성능이 우수함.
      • ko-sentence-transformers: 한국어 사전학습 모델을 활용한 문장 임베딩
      • KoChatGPT: ChatGPT의 RLHF를 학습을 위한 3가지 step별 한국어 데이터셋
      • ko-sroberta-multitask: 한국어 문장 트랜스포머 모델
      • embedding: 한국어 임베딩
    • 이전에 시도했던 방법: (라마인덱스) 내 옵시디언 노트 기반으로 답변하는 봇 구축하기

Resources

• appflowy: 오픈소스 노션 대체. 플러터와 러스트로 작성. 로컬 데이터 기반의 무료 마크다운 AI 노트 앱
• 오픈소스
  • LWM: 범용 대규모 컨텍스트 다중 모드 자동 회귀 모델. 링어텐션(RingAttention)을 사용하여 다양한 긴 동영상과 서적의 대규모 데이터셋을 학습하고 언어, 이미지, 동영상 이해 및 생성을 수행.
    • RingAttention은 긴 시퀀스를 처리할 수 있는 신경망 기술이다. RingAttention 기술을 사용면 긴 비디오와 문서 시퀀스에 대해 병렬적으로 학습할 수 있다.
  • Magika: 딥러닝으로 파일 콘텐츠 유형 감지
    • 웹서비스 보안 강화 및 웹 브라우저에서 파일 타입 감지 테스트에 사용할 수 있다.
  • GPT-SoVITS-WebUI: 1분 음성 데이터를 사용하여 좋은 TTS 모델을 훈련할 수도 있다! (퓨 샷 음성 복제)
    • 맥에서 사용 가능: Python 3.9, PyTorch 2.3.0.dev20240122, macOS 14.3 (Apple silicon, GPU)
  • GPTScript: 자연어를 사용하여 여행 계획, 파일 편집, SQL 실행, 몽고DB/플라스크 앱 개발 등 다양한 작업을 수행 가능.
  • Reor Project: AI 기반 데스크톱 메모 작성 앱. 세컨드브레인 노트앱 AI GPT LLM 북마크
    • 관련 아이디어를 자동으로 연결하고 메모에 대한 질문에 답하며 의미 검색을 제공. 
    • 모든 것이 로컬에 저장되며 Obsidian과 유사한 마크다운 편집기를 사용하여 메모를 편집함.
    • Llama.cpp , Transformers.js 및 LanceDB 를 로컬에서 실행할 수 있도록 지원. (Oobabooga와 같은 OpenAI 호환 API도 지원)
  • microsoft/UFO: Windows OS 상호 작용을 위한 UI 중심 에이전트
  • LanguageTool: 25개 이상의 언어에 대한 스타일 및 문법 검사기 - https://languagetool.org/
  • Rye: 파이썬 개발자들을 위한 패키지 관리 도구를 제공
  • An AI SaaS Platform: AI 기능과 결제 및 크레딧 시스템을 갖춘 실제 서비스형 소프트웨어 앱을 구축 가능. Next.js 14, Clerk, MongoDB, Cloudinary AI, Stripe을 사용.
  • Zed Extensions: Zed 편집기용 확장 기능
    • Links:
      • Reviewing Zed: An IDE of the Future
      • Atom 개발자들이 Rust로 만든 Zed IDE를 사용해봤다.
  • zoxide: 더 스마트한 cd 명령어. 대부분의 Shell을 지원.
    • 설치: brew install zoxide
    • 사용: z 디렉토리_경로
    • fasd , autojump 기능과 유사
  • Misskey: 마이크로 블로그 플랫폼. Typescript로 작성. ActivityPub 지원. 북마크
    • https://misskey-hub.net/
  • Lepton AI: AI 서비스 구축을 간소화해주는 Python 프레임워크
    • 높은 수준의 추상화와 구조화된 워크플로우를 제공하여 반복적인 작업과 상용구 코드를 처리.
    • 도메인 전문 지식과 AI 모델 로직에만 집중할 수 있음.
  • arXivGPT: ChatGPT로 arXiv의 논문 요약하는 브라우저 확장 프로그램
• GeekNews
  • 프로슈머의 미래: “AI Native’ 워크플로우의 부상 | GeekNews
    • 생성형 AI를 기반으로 하는 새로운 도구들이 다양한 미디어 유형을 통합한 워크플로우를 지원할 것으로 예상.
    • 음성 입력과 같은 새로운 인터페이스를 도입함으로써 프로슈머의 업무 효율성을 높일 것으로 전망.
  • Duolingo가 맘에 들지 않는 사람들을 위한 가이드 | GeekNews
    • 두올링고와 유사한 경험을 원한다면: Busuu, Lingodeer
    • 좋은 오디오 학습을 원한다면: Language Transfer, Pimsleur, Glossika
    • 플래시카드를 원한다면: AnkiDroid(안드로이드), AnkiApp(아이폰)
    • 위 앱들이 마땅치 않다면: Bunpo
  • Ollama, 윈도우 버전 프리뷰 시작 | GeekNews