GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- Sequoia가 투자한 모든 거의 모든 회사가 제품에 ChatGPT와 같은 LLM을 도입중
- 자신들 네트워크내의 회사들을 조사한 내용을 통해 2개의 AI 스택을 정리
LLM API Stack
- LLM APIs : OpenAI, Anthropic, Cohere
- Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
- Frameworks: LangChain, LlamaIndex, Anarchy
- Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid
- Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks
Custom Model Training / Tuning Stack
- Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
- Model Hub: Hugging Face, Replicate
- Frameworks: PyTorch, TensorFlow
- Experimentation: Weights & Biases
- Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs
- Hosting: Replicate, HuggingFace
키포인트
- 대부분의 회사가 LLM을 제품에 구축중
- 언어 모델 API, 검색 및 오케스트레이션에 중점. 오픈소스 사용이 증가
- 회사들은 언어 모델을 자신의 컨텍스트에 맞고 커스터마이징 하고 싶어함
- 현재는 LLM API 스택과 모델 트레이닝 스택이 분리된 것처럼 보이지만 점점 합쳐질 것
- 스택은 점점 더 개발자 친화적이 되어감
- 언어 모델이 완전히 채택되려면 언어 모델의 신뢰성(품질, 데이터 프라이버시, 보안)을 높여야 함
- 언어 모델 어플리케이션은 점 점 더 멀티 모달이 되어갈 것
- 아직 극 초반임