[GN] RecurseChat - 매일 사용을 위한 로컬 AI 대화 앱

읽을거리&정보공유
, , , , , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

[GN] RecurseChat - 매일 사용을 위한 로컬 AI 대화 앱

  • 로컬 우선, 오프라인 가능: 복잡한 설정 없이 오프라인에서 AI와 대화 가능.
  • 전문 검색: 수천 개의 메시지에 대해 빠른 검색 기능 제공.
  • ChatGPT 히스토리 가져오기: 로컬 AI와의 대화를 이어갈 수 있음.
  • 다중 모델 대화: 하나의 채팅 세션에서 여러 모델과 대화 가능.
  • 멀티모달 입력: LLaVA 모델을 사용하여 이미지를 사용한 대화 가능.
  • 보안 및 개인 정보 보호: macOS 앱 샌드박스에 의해 보호되며, 개인적으로 대화 가능.
  • 사용자 정의 가능한 외관 및 AI 캐릭터: 자신만의 GGUF 모델을 사용하여 AI의 개성과 외관을 사용자 정의 가능.

간단하지만 강력한 기능

  • 오프라인에서 AI와 대화: 기술적 지식이 필요 없이 로컬 LLM과 대화 가능.
  • 이미지와의 멀티모달 채팅: 이미지를 포함한 다양한 형태의 대화 지원.
  • ChatGPT 히스토리 가져오기 및 계속하기: 이전 대화를 로컬 AI와 이어갈 수 있음.
  • 빠른 전문 검색: 텍스트 검색을 통해 쉽게 원하는 대화 내용을 찾을 수 있음.
  • 코어 사용자 정의: AI의 개성과 외관을 자유롭게 변경 가능.

GN⁺의 의견

  • RecurseChat은 사용자의 개인 정보 보호를 중시하며, 오프라인에서도 AI와의 대화를 가능하게 하는 앱임. 이는 인터넷 연결이 불안정하거나 개인 정보 보호가 중요한 사용자에게 매우 유용할 수 있음.
  • macOS 앱 샌드박스를 통한 보안은 사용자에게 추가적인 신뢰를 줄 수 있으나, 이 기능이 다른 운영 체제에서도 동일한 수준으로 제공될지는 불확실함.
  • 이미지와의 멀티모달 대화 기능은 사용자에게 더 풍부한 대화 경험을 제공할 수 있으나, 이미지 인식의 정확도와 관련된 기술적 도전이 따를 수 있음.
  • 사용자가 자신의 GGUF 모델을 사용하여 AI의 개성과 외관을 사용자 정의할 수 있다는 점은 개인화된 경험을 제공하는데 큰 장점이 될 수 있음. 그러나 사용자가 이러한 고급 기능을 적절히 활용하기 위해서는 일정 수준의 기술적 이해가 필요할 수 있음.
  • 사용자의 기술 수준과 개인 정보 보호에 대한 요구를 고려해야 하며, 다양한 사용자 환경에서의 호환성과 접근성을 확보하는 것이 중요함.

Hacker News 의견

  • @ggerganov의 llama.cpp에 대한 놀라운 작업 덕분에 이것이 가능해졌습니다. 이상적인 로컬 AI 앱에서 원하는 기능이 있다면 듣고 싶습니다.
  • Full Text Search. Blazingly fast search over thousands of messages.
  • 자연어 처리가 완전히 발전하여 Ctrl+F를 새롭게 발명했습니다.
  • 수천 개의 메시지를 빠르게 검색하는 기능에 대해, 90년대 검색 기능이 현대적으로 재해석되었다는 의견.
    • 전문 검색 기능에 대한 설명으로, 자연어 처리 기술이 발전하여 기존의 텍스트 검색 기능을 혁신적으로 개선했다는 평가.
  • 로컬 문서, 북마크, 브라우저 기록 등에서 답을 찾아주는 기능이라면 기꺼이 지불할 의향이 있음
  • 훌륭해요! 몇 가지 사항:
    • ChatGPT의 UI가 유용한 이유는 대화 중 어느 부분이든 변경할 수 있고, 그 지점부터 대화를 다시 생성하며 그 이후의 대화는 삭제되는 기능 때문입니다.
    • 피드백 버튼이 크롬으로 포커스를 변경하는 것 외에는 아무런 기능을 하지 않습니다.
    • LLaVA 모델은 텍스트 기반 AI 모델이기 때문에 이미지 생성이 불가능하다고 합니다.
  • 좋은데, ChatbotUI+Ollama 대신 이것을 사용할 이유를 볼 수 없음
    • MacOS 네이티브 앱으로서의 장점과 빠른 가져오기 및 검색 기능 외에는 차별점을 찾기 어렵습니다.
    • ChatbotUI는 크로스 플랫폼, 사용자 정의 가능, 개인 정보 보호, 디버깅 가능 등의 장점이 있습니다.
  • 몇 가지 질문:
    • 이미지 생성에 무엇을 사용하고 있나요? 로컬에서도 가능한가요(예: stable diffusion)? 통합된 프롬프트 생성이 있나요?
    • ChatGPT 기록을 가져올 수 있다고 했는데, 다른 문서도 가져올 수 있나요?
    • 몇 가지 "에이전트" 스타일 기능이 있나요? 웹을 검색할 수 있나요? 다른 API를 사용할 수 있나요? 스스로 프롬프트를 생성할 수 있나요?
    • 플러그인 프레임워크가 있나요? "사용자 정의 가능"이라고 하셨지만, 이는 거의 모든 것을 의미할 수 있습니다.
    • 라이선스는 무엇인가요? 사용자의 사용이 개인적임을 어떻게 보장하나요? 많은 "로컬" 앱들이 대량의 데이터를 외부로 전송한다는 것을 우리 모두 알고 있습니다.
  • 몇개의 제안
    • 시스템 폰트(San Francisco)를 UI 옵션으로 추가해주세요. SF Mono도 좋을 것 같습니다.
    • 초보자를 위한 모델 사용에 대한 도움이 필요합니다. 시작하는 방법을 알려주는 소개 화면이 있으면 좋겠습니다.
    • 대부분의 Mac 앱처럼 Command-comma가 설정을 여는 기능이 있으면 좋겠습니다.
    • 웹 링크를 클릭하면 Safari(또는 선호하는 브라우저)가 열리게 하는 것이 좋겠습니다.
  • OpenAI API를 같은 인터페이스에서 사용할 수 있는 옵션을 추가하는 것도 좋을 것 같습니다.
    • 현재 jan.ai를 사용하고 있습니다.
  • 온라인 모델을 앱에 추가할 계획이 있나요? 로컬 모델은 아직 온라인 모델과 비교할 수 없는 수준입니다.
    • 일관된 채팅 인터페이스에서 GPT/Claude/로컬 모델 간 전환할 수 있으면 좋겠습니다.
  • "로컬 AI와 대화하기"라고 말하는 대신, 로컬 AI와 대화함으로써 우리가 달성할 수 있는 것이 무엇인지 알려주면 더 많이 팔릴 것입니다.
    • 대화가 필요한 것이 아니라 특정 작업을 수행할 필요가 있습니다. 어떤 작업을 할 수 있나요? (저에게 답하지 말고, 랜딩 페이지와 앱 스토어 목록에 넣으세요)

원문

출처 / GeekNews