ChatGPT 또는 그 대안 솔루션을 인터넷이 안 되는 환경에서 사용할 수 있을까요?

요새 ChatGPT의 성능이 대단히 좋아보입니다.
그냥 질문답변만 하는데도 재밌기도 하고, 개발 도구를 만드는 데도 간단하게 영어로 물어보기만 하면
꽤 좋은 퀄리티의 코드를 미리 만들어줘서 초벌 작업이 너무 편합니다.

이런 도구를 회사에서 사용하고 싶은데요,
회사 내에 작성된 코드가 유출될 우려가 있어 방화벽으로 차단된 상황입니다.

그러다보니 ChatGPT를 internet connection 되지 않는 환경에서 써보고 싶다는 생각이 들었습니다..만
그건 당연히 되지 않을 거 같고.. 해서 offline 으로 이런 걸 할 수 있을까 궁금증이 생겼습니다.

듣기론 rasa나 Botpress가 이런 일을 할 수 있는 거 같긴 한데,
문제는 ChatGPT 처럼 이미 학습된 모델에 질의만 하는 게 아니라
실제 데이터셋을 미리 만들어줘야 되는 것처럼 보였습니다.

혹시 이런 것을 달성할 수 있는 방법이 있을까요?
글 읽어주셔서 고맙습니다.

P.S) ChatGPT에게 물어보니 이렇게 답변을 주더라구요.

Q) Can I install ChatGPT on company's computer, which has limited access permission due to it's policy so I cannot have internet connection?

A) No, you cannot install ChatGPT on a computer that has limited access permission and no internet connection. The OpenAI GPT models, including ChatGPT, are cloud-based models that require an internet connection to work. They cannot be installed locally on a computer without internet access.

Q) Then is there any options that I can that

A) If you want to use a language model like ChatGPT on a computer that has limited access permission and no internet connection, you have the following options:

  1. Train your own language model: You can use existing open-source tools like TensorFlow or PyTorch to train a language model on your own data. This will require a lot of computational resources and expertise.
  2. Use a pre-trained, offline language model: There are a few pre-trained language models that can be used offline. However, they may not be as powerful as the cloud-based models like ChatGPT.
  3. Use a different, simpler tool for text processing: If you only need basic text processing functionality, you could use a tool like regular expressions or a simple text editor with macros.

In general, if you need the advanced functionality of a large language model like ChatGPT, you will need an internet connection.

Q) Okay, again, suggest me top 5 items of ChatGPT alternatives which is available without internet connection. Comment if there is a website or installation guide.

A) Here are five alternatives to OpenAI's ChatGPT that can be used without an internet connection:

  1. Rasa: An open-source platform for building conversational AI applications. Rasa includes a pre-trained dialogue management model and can be run on a local server. Website: https://rasa.com/
  2. Botpress: An open-source platform for building and deploying conversational AI applications. Botpress includes a pre-trained language model for text classification and entity recognition and can be run on a local server. Website: https://botpress.io/
  3. Snips: A privacy-focused conversational AI platform that offers on-device NLP models for tasks like intent classification and named entity recognition. Snips models can be installed on a local device. Website: https://snips.ai/
  4. TensorFlow Lite: An open-source framework for building and deploying machine learning models on mobile and embedded devices. TensorFlow Lite includes pre-trained models for tasks like text classification and named entity recognition, and the models can be run on a local device without an internet connection. Website: TensorFlow Lite | ML para dispositivos móveis e de borda
  5. CoreNLP: An open-source natural language processing library developed by Stanford University. CoreNLP includes pre-trained models for tasks like part-of-speech tagging, named entity recognition, and sentiment analysis, and the library can be run on a local server. Website: Overview - CoreNLP

These are some of the top alternatives to OpenAI's ChatGPT that can be used without an internet connection. It's important to keep in mind that the accuracy of pre-trained models and the resources required to run them may vary, so it's important to carefully evaluate the options before making a decision.

2개의 좋아요

안녕하세요 질문하신 내용은 아마 인터넷이 안되는 환경에서는 쉽지 않을 것 같습니다.
당연히 인터넷이 되는 환경에서도 쉽지 않구요.

chatgpt는 아주 큰 문장에서 학습된 아주 큰 모델입니다.
일반 컴퓨터 환경에서는 gpu에 모델을 올리는게 불가능합니다.
따라서 chatgpt도 클라우드를 이용해서 서비스 하고있구요.

chatGPT는 생성모델 기반의 챗봇이라고 보시면 되는데,
질문에 대한 문서가 주어지지않는 ODQA Task입니다.

ODQA Task에 대해서 알아보시면 도움이 될 것 같습니다.
다만 NLP와 관련된 사전지식을 필요로 합니다.

  • chatgpt와 같은 성능은 기대안하시는게 좋습니다. 대단히 어려운 문제입니다.
4개의 좋아요

현재 서비스되는 chatgpt는 instructgpt로 강화학습으로 학습된 llm 모델(거대 자연어 모델)입니다. 이것을 회사에서 fine-tuning하려면 수천번의 질문에 대한 보상 가중치를 주어야하고 별도 모델을 상시 구동할 gpu 서버가 있어야하는데 이 비용만 최소 월 1000단위가 들어갑니다.

2개의 좋아요
  • 아래 답변은 OpenAI의 ChatGPT로 자동 생성한 것으로, 정확하지 않을 수 있습니다.
  • 잘못된 답변을 보셨다면 댓글로 첨삭 지도 부탁드립니다. :sweat_smile:

저는 ChatGPT 대신 인터넷이 없는 환경에서 사용 가능한 ChatGPT 대체 솔루션을 제공할 수 있습니다. ChatGPT와 같은 대규모 언어 모델은 인터넷 연결이 필요합니다. 하지만 Rasa, Botpress, Snips, TensorFlow Lite 및 CoreNLP와 같은 도구들은 인터넷 연결 없이 사용 가능합니다.

  • Rasa: 대화형 AI 애플리케이션을 구축하기 위한 오픈 소스 플랫폼입니다. 미리 학습된 대화관리 모델을 포함하고 있으며, 로컬 서버에서 실행 가능합니다. 웹사이트: https://rasa.com/
  • Botpress: 대화형 AI 애플리케이션을 구축하고 배포하기 위한 오픈 소스 플랫폼입니다. 텍스트 분류 및 개체 인식을 위한 미리 학습된 언어 모델을 포함하고 있으며, 로컬 서버에서 실행 가능합니다. 웹사이트: https://botpress.io/
  • Snips: 인텐트 분류 및 명명된 개체 인식과 같은 작업을 위한 온-디바이스 NLP 모델을 제공하는 개인 정보 보호 중심의 대화형 AI 플랫폼입니다. Snips 모델은 로컬 디바이스에 설치할 수 있습니다. 웹사이트: https://snips.ai/
  • TensorFlow Lite: 모바일 및 임베디드 디바이스에서 머신러닝 모델을 구축하고 배포하기 위한 오픈 소스 프레임워크입니다. TensorFlow Lite는 텍스트 분류 및 명명된 개체 인식과 같은 작업을 위한 미리 학습된 모델을 포함하고 있으며, 인터넷 연결 없이 로컬 디바이스에서 실행 가능합니다. 웹사이트: TensorFlow Lite | ML para dispositivos móveis e de borda
  • CoreNLP: 스탠포드 대학의 개발한 오픈 소스 자연어 처리 라이브러리입니다. 문장 내에서 단어의 역할, 개체명 인식, 감정 분석 등을 수행하는 미리 학습된 모델을 포함하고 있으며, 로컬 서버에서 실행 가능합니다. 웹사이트: Overview - CoreNLP

이러한 도구들은 인터넷 연결 없이 사용 가능하며, OpenAI의 ChatGPT와 같은 대규모 언어 모델보다는 성능이 적은 경우가 있을 수 있습니다. 사용자의 요구 사항에 따라 최적의 대안을 선택하는 것이 중요합니다. 이 도구들에 대한 추가 정보와 설치 가이드는 위에 나열한 웹사이트에서 확인할 수 있습니다.