GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
![[GN⁺] Reor Project - 로컬에서 모델을 실행하는 AI 노트 앱](https://discuss.pytorch.kr/uploads/default/original/2X/b/bb1f66497c2b190f2323d588a968b5bd088df274.jpeg)
- AI 기반의 데스크톱 노트 앱. 관련된 아이디어를 자동으로 연결하고, 노트에 대한 질문에 답변하며, 의미 검색을 제공
- 모든 데이터는 로컬에 저장되며, Obsidian과 유사한 마크다운 편집기로 노트를 편집할 수 있음
- 프로젝트의 가설은 AI 사고 도구는 기본적으로 로컬에서 모델을 실행해야 한다는 것
- Reor는 Llama.cpp와 Transformers.js를 기반으로 하여 로컬에서 LLM과 임베딩 모델을 실행할 수 있게 함
- OpenAI 호환 API(예: Oobabooga)에 연결하는 것도 지원
어떻게 "self-organizing"할까 ?
- 작성한 모든 노트는 내부 벡터 데이터베이스에 청크로 나뉘어 임베딩됨
- 벡터 유사성을 통해 관련 노트가 자동으로 연결됨
- LLM 기반 Q&A는 노트 코퍼스에 대한 RAG를 수행함
- 모든 것은 의미론적으로 검색 가능
시작하기
- reorproject.org 또는 releases에서 다운로드 가능하며, Mac, Linux, Windows 모두 지원됨
- 일반 앱처럼 설치
로컬 모델 실행
- Reor는 Llama.cpp 라이브러리와 직접 상호작용하므로 Ollama를 다운로드할 필요가 없음
- 현재는 모델을 자동으로 다운로드하지 않으므로, 사용자가 직접 모델을 수동으로 다운로드해야 함
- HuggingFace에서 가장 인기 있는 모델을 다운로드할 수 있으며, 7B 4-bit 모델로 시작하는 것이 좋음
- Reor 설정에서 "새 로컬 모델 추가" 아래에서 모델을 연결할 수 있음
- Oobabooga, Ollama 또는 OpenAI와 같은 OpenAI 호환 API에도 연결할 수 있음
다른 앱에서 노트 가져오기
- Reor는 파일 시스템 내의 단일 디렉토리에서 작동함
- 첫 실행 시 디렉토리를 선택해야 하며, 다른 앱에서 노트/파일을 가져오려면 해당 디렉토리를 마크다운 파일로 수동으로 채워야 함
- 다른 앱과의 통합은 곧 제공될 예정임
GN⁺의 의견
- Reor는 로컬에서 실행되는 AI 기반 노트 앱으로, 사용자의 사고를 확장하고 조직화하는 데 도움을 줄 수 있는 혁신적인 도구임
- 사용자의 노트를 자동으로 연결하고 질문에 답변하는 기능은 정보 관리와 학습에 큰 도움이 될 것으로 보임
- 오픈소스 커뮤니티의 기여를 통해 지속적으로 발전할 수 있는 가능성을 가지고 있어, 개발자 및 연구자들에게 흥미로운 프로젝트가 될 수 있음
Hacker News 의견
- 개별 마크다운 파일로 저장된 Obsidian 노트의 유용성에 대한 좋은 상기:
- 데이터베이스에 노트를 저장하고 마크다운을 내보내기 형식으로 사용하는 것보다 파일을 직접 조작할 수 있는 것이 여러 앱이 동일한 파일 위에서 유용한 작업을 할 수 있게 함.
- AI는 가능한 한 개인적이고 로컬에서 실행되어야 함에 대한 감사의 표현:
- 이 관점과 지속적인 노력에 대해 감사함을 표시함.
- 지식 관리 도구에 대한 개인적인 경험 공유:
- Hermes 모델을 사용하여 "관련 노트" 기능은 종종 무의미한 연결을 제공하여 가치가 적음.
- Q&A 모드는 노트를 쿼리하고 개요를 제공하는 데 유용하지만, 구체적인 질문에는 도움이 되지 않거나 잘못된 답변을 함.
- 개인정보 보호와 상호 운용성을 중시하는 지식 관리 도구 개발에 대한 강력한 지지:
- 사용자가 필요에 따라 새로운 서비스로 노트를 쉽게 내보내고 이전할 수 있어야 함.
- Obsidian과 같이 사용자가 자체 모델을 가져오거나 플러그인을 결합할 수 있는 기능을 갖춘 완전히 로컬 솔루션을 선호함.
- Obsidian의 Smart Connections v2에 대한 정보 공유:
- 로컬 임베딩을 지원하고 의미적 유사성에 기반한 관련 노트를 보여줌.
- 다국어 저장소에서는 아직 완벽하지 않지만, 개선되고 있으며 곧 다국어 모델을 지원할 수도 있음.
- Reor에 대한 제안:
- 여러 독립적인 "금고" 생성.
- 관련 노트에 링크 추가하여 AI 연결을 그래프로 표현.
- UI를 채팅 창으로 최소화.
- 다른 형식(주로 PDF) 읽기.
- 브라우저 기록/북마크와 통합(마크다운으로 수동 가져오기 스크립트 제공).
- AI를 사용한 지식 관리의 미래에 대한 회의적인 견해:
- AI에 지나치게 의존하여 모든 조직 작업을 수행하게 하면 사고 능력이 저하될 가능성이 있음.
- 이러한 도구의 확산이 아직 초기 단계이기 때문에 데이터는 없지만, 학습과 사고, "지식 관리"를 더 수동적으로 만드는 것이 결과를 개선하지 않음.
- Obsidian과 그래프 기반 연결에 대한 호감 표현:
- Obsidian 노트 구조와 개인 지식 관리를 위한 "제2의 뇌" 개념 사이의 유사성 인식.
- 지능적인 참조를 위한 노트 검색 구현이 자연스러운 다음 단계로 보임.
- 프로젝트에 대한 흥미와 초점에 대한 호감:
- Cozodb나 벡터와 그래프/트리플을 결합한 다른 데이터베이스에 대한 조사 여부 궁금증.
- 아마도 신경-기호적 접근이 최선의 방법일 것임.
- Obsidian을 위한 유사한 프로젝트에 대한 개인적인 경험 공유:
- 이미 더 발전된 것을 보고 흥분함.
- Obsidian을 사용하여 큰 글쓰기 프로젝트를 진행 중이며, 작성한 내용과 대화를 나누고 아이디어를 다듬으며 콘텐츠 탐색의 새로운 방법을 실험하는 것이 최종 목표임.
- 로컬 LLM이 아직 의미 있는/신뢰할 수 있는 결과를 제공하기에 충분히 강력한지 확신할 수 없지만, 이 기술의 미래에 대해 매우 흥분함.
- 노트 작성을 위한 더 나은 방법에 대한 탐색 경험 공유:
- 새로운 도구를 다운로드하고 테스트 중이며, 매우 유망해 보임.
- 완전히 다른 컨텍스트의 노트를 별도로 가질 수 있는 기능이 중요함.
- 비슷하게 들리지만 컨텍스트가 다른 LLM을 가져오지 않도록 해야 함.
- "새 디렉토리"가 이를 수행하는 것으로 생각했지만 그렇지 않은 것으로 보임.
- 데이터베이스 전환기 구현 계획이 있는지, 현재 위치를 변경하는 방법에 대한 정보가 필요함.
- 이미 PR에 있는 것을 확인하고 기뻐함.