# \#tech-stack

**URL:** https://discuss.pytorch.kr/tag/tech-stack/643.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [\[GN\] AI-Native 회사 만들기 (feat. Contray research)](https://discuss.pytorch.kr/t/gn-ai-native-feat-contray-research/4720)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 1, 2024, 3:14오전 UTC](https://discuss.pytorch.kr/t/gn-ai-native-feat-contray-research/4720 "2024-07-01T03:14:00Z")

</div>

AI-Native 회사 만들기 2020년대 초반에는 생성 AI에 많은 관심이 집중되었음 생성 AI 도구가 우리를 어떻게 형성할 것인지, 작문, 코딩, 애니메이션, 정보 소비 방식에 어떤 영향을 미칠 것인지에 대한 논의가 주를 이루었음 그러나 우리 도구의 형태에 대해서는 그다지 많은 언급이 없었음 1960년대 후반, 정보 시스템은 방대한 양의 데이터로 인해 관련 정보를 검색하는 과정이 점점 더 비용이 많이 드는 문제에 직면함 1980년대와 90년대에는 관계형 데이터베이스가 지배적인 솔루션이 되었음 직관적인 인덱싱을 제공하고 쿼리 효율성을 보장했음 관계형 데이터베이스는 데이터를 구조화된 관계를 가진 테이블 모음으로 표현할 수 있게 해주었음 SQL과 같은 쿼리 언어를 통해 더 빠른 데이터 검색을 가능하게 했음 데이터베이스 아키텍처가 진화하는 과정에서, IBM, Oracle, Sun Microsystems, MongoDB 등 특정 기업들이 각 신흥 시장에서 입지를 굳혔음 Oracle이 관계형 데이터베이스 세계를 주도했지만, 사람들이 정보를 저장하고 액세스하는 방식은 계속 변화해 왔음 새로운 작업이 있을 때마다 사람들은 이를 관리할 새로운 아키텍처를 고안해냈음 최근 데이터베이스의 진화는 비정형 데이터를 처리할 필요성에서 비롯되었음 지난 50년 이상 스키마는 주로 구조화된 데이터 관계를 중심으로 구성되었음 그러나 점점 더 많은 사람들이 데이터 모호성을 훨씬 더 잘 처리할 수 있는 도구를 필요로 하게 되었음 이에 벡터 데이터베이스가 등장했음 GPT와 같은 트랜스포머 기반 대규모 언어 모델(LLM)은 텍스트의 장기 의존성을 포착할 수 있음 그러나 장문 이해력을 유지하는 것은 계산적으로 비용이 많이 들 수 있음 벡터 데이터베이스는 이러한 모델의 컨텍스트 창을 확장할 수 있음 벡터 데이터베이스가 AI 사용 사례에서 강력할 수 있지만, 여전히 입력과 출력에 의해 작동되는 멍청한 인프라임 데이터를 이해하거나 해석할 수 있는 능력이 부족함 단순히 …

---

## [\[GN\] Menlo Ventures가 공개한 최신 AI 스택 : 기업용 AI의 미래를 위한 설계 원칙](https://discuss.pytorch.kr/t/gn-menlo-ventures-ai-ai/3398)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 31, 2024, 12:11오전 UTC](https://discuss.pytorch.kr/t/gn-menlo-ventures-ai-ai/3398 "2024-01-31T00:11:39Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Menlo Ventures에서 작성하여 공개한 글로, 작년 11월에 공개했던 기업용 AI 현황 보고서의 후속 글입니다. 또한, 이 글에 소개된 AI 회사들 중 일부는 Menlo Ventures가 투자한 회사입니다. 최신 AI 스택의 정의 계층 1 : 컴퓨트 및 기초 모델 - 기초 모델 자체와 모델을 훈련, 미세 조정, 최적화 및 배포하기 위한 인프라를 포함 계층 2 : 데이터 - LLM을 기업 데이터 시스템 내의 적절한 컨텍스트에 연결하는 인프라를 포함하며, 데이터 전처리, ETL 및 데이터 파이프라인, 벡터 데이터베이스, 메타데이터 저장소, 컨텍스트 캐시 등의 핵심 구성 요소를 포함 계층 3 : 배포 - 개발자가 AI 애플리케이션을 관리하고 조정하는 데 도움이 되는 도구를 포함. 에이전트 프레임워크, 프롬프트 관리, 모델 라우팅 및 조정 계층 4 : 관찰 가능성 - LLM의 실행 시간 동작을 모니터링하고 위협으로부터 보호하는 솔루션을 포함 새로운 AI 성숙도 곡선 현대 AI 스택을 정의하는 시장 구조와 기술은 빠르게 진화하고 있으며, 주요 구성 요소와 리더들이 이미 등장함 LLM 이전에는 ML 개발이 선형적이고 '모델 중심'이었으나, LLM은 '제품 중심'으로 전환하여 ML 전문 지식이 없는 팀도 AI를 제품에 통합할 수 있게 함 AI 스택이 성숙함에 따라 개발 팀은 기업 또는 고객 특정 데이터를 통해 AI 경험을 맞춤화하려고 함 AI 성숙도 곡선 1단계: Closed-source models only 비공개 모델만 2023년 초에는 비용과 엔지니어링 노력이 주로 기초 모델 자체에 집중하고 그 위에 간단한 커스터마이제이션(프롬프트 엔지니어링 / few-shot learning 등의 학습)만 있었음 OpenAI 및 Anthropic 과 같은 주요 비공개 소스 모델 제공업…

---

## [\[GN\] 생성형 AI(Generative AI)의 2막](https://discuss.pytorch.kr/t/gn-ai-generative-ai-2/2542)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 26, 2023, 11:44오전 UTC](https://discuss.pytorch.kr/t/gn-ai-generative-ai-2/2542 "2023-09-26T11:44:07Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 1년전에 세콰이어가 정리한 생성AI 시장 지도의 업데이트 "생성 AI로 인해 기술 분야의 근본적인 플랫폼 전환이 일어날 것이라 예상했는데, 폭풍이 몰아쳤다" 혁신의 캄브리아 대폭발이 일어나는 순간은 몇십년간에 걸쳐 만들어졌음 60년간 무어의 법칙으로 Exaflop의 데이터 처리가 가능한 컴퓨팅 파워가 인터넷 40년으로 수조개의 토큰에 달하는 학습 데이터가 모바일/클라우드 20년으로 모든 사람에게 손안의 슈퍼 컴퓨터가 이 수십 년간의 기술 발전이 축적되어 생성AI가 날아오르는데 필요한 조건이 만들어짐 ChatGPT의 부상은 도화선에 불을 붙인 불꽃 인터넷 초창기 이래로 수년간 볼 수 없었던 밀도 높은 혁신의 열정을 불러 일으킴 곧, AI의 흥분은 경계선 히스테리(Borderline Hysteria)로 변함 갑자기 모든 회사가 "AI Copilot"이 되었음 메일함에 "AI Salesforce", "AI Adobe", "AI Instagram" 같은 피치가 쏟아짐 $100M pre-product 시드 라운드가 반환되었음(제품 나오기전에 1300억원을 투자하겠다고 했는데도 안 받았다는 것) 펀드레이징, 인재 확보 전쟁, GPU 조달과 같은 지속 불가능한 광란의 늪에 빠짐 당연하게도 균열이 나타나기 시작 예술가, 작가, 가수들이 기계생성 IP의 정당성에 도전 윤리, 규제, 초지능의 정당성에 대한 것이 워싱턴(정부)을 사로잡았음 가장 걱정스러운 것은 생성AI가 실제로는 유용하지 않다는 속삭임이 실리콘 밸리내에서 퍼지기 시작했다는 것 끔찍한 사용자 리텐션에서 알 수 있듯이 제품은 크게 기대에 미치지 못했음 많은 어플리케이션에 대한 최종 사용자 수요가 정체되기 시작 또 다른 Vaporware 사이클이었을까 ? AI에 대한 불만의 여름은 인터넷 초기를 연상시키며 비평가들을 즐겁게 만들었음 1998년 한 …

---

## [생성형 AI의 구성 요소 (The Building Blocks of Generative AI)](https://discuss.pytorch.kr/t/ai-the-building-blocks-of-generative-ai/2188)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 29, 2023, 4:13오전 UTC](https://discuss.pytorch.kr/t/ai-the-building-blocks-of-generative-ai/2188 "2023-07-29T04:13:23Z")

</div>

이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile: 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing\_man: 소개 이 블로그 게시물은 생성형 AI의 기반 요소에 대해 설명하고 있습니다. 생성형 AI는 기계 학습의 한 분야로, 새로운 데이터를 생성하거나 기존 데이터를 변형하는 능력을 가진 AI를 말합니다. 이 글은 생성형 AI의 인프라 구조를 이해하는 데 도움이 됩니다. 요약 기반 모델 (Foundation Models) 기반 모델은 AI 인프라의 가장 하위 계층입니다. 이들은 대규모 데이터셋(데이터셋)에서 학습하여 다양한 작업에 적용할 수 있는 범용 AI 모델입니다. GPT-3와 같은 언어 모델은 이 계층의 대표적인 예입니다. 이러한 모델은 다양한 어플리케이션에 사용될 수 있으며, 이를 통해 개발자들은 새로운 서비스와 제품을 만들 수 있습니다. 벡터 데이터베이스 (Vector Databases) 벡터 데이터베이스는 AI 인프라의 다음 계층입니다. 이들은 AI 모델이 생성한 벡터를 저장하고 검색하는 데 사용됩니다. 벡터 데이터베이스는 AI 모델의 출력을 저장하고, 이를 통해 사용자가 쿼리를 실행할 수 있게 합니다. 벡터 데이터베이스는 AI 모델의 출력을 저장하고, 이를 통해 사용자가 쿼리를 실행할 수 있게 합니다. 세부 조정 (Fine-Tuning) 세부 조정은 인프라 스택의 다음 계층입니다. 생성형 AI에서의 세부 조정은 특정 작업이나 데이터셋에서 모델을 추가로 학습시키는 과정을 의미합니다. 이 과정은 모델의 성능을 향상시키고, 해당 작업이나 데이터셋의 독특한 요구 사항에 맞게 모델을 조정합니다. 라벨링 (Labeling) 정확한 데이터 라벨링은 생성형 AI 모델의 성공에 중요합니다. 데이터는 이미지, 텍스트, 오디오 등 다양한 형태를 가질 수 있으며, 라벨은 데이터의 설명 역할을 합니다. 라벨링은 기계 학습 모델에게 필요한 정보를 …

---

## [\[GN\] LLM 어플리케이션을 위한 새로운 아키텍쳐](https://discuss.pytorch.kr/t/gn-llm/1981)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 4, 2023, 7:46오전 UTC](https://discuss.pytorch.kr/t/gn-llm/1981 "2023-07-04T07:46:03Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 a16z에서 정리한 "LLM 앱 스택을 위한 레퍼런스 아키텍쳐" Emerging LLM App Stack Contextual Data Data Pipelines: Databricks, Airflow, Unstructured,.. Embedding Model: OpenAI, Cohere, Hugging Face Vector Database: Pinecone, Weaviate, Chroma, pgvector Prompt Few-shot Examples Playground: OpenAI, nat.dev, Humanloop Orchestration: Pytion/DIY, LangChain, LlamaIndex, ChatGPT APIs/Plugins: Serp, Wolfram, Zapier,... Query & Output App Hosting: Vercel, Steamship, Streamlit, Modal LLM Cache: Redis, SQLite, GPTCache Logging/LLMops: Weights & Biases, MLflow, PromptLayer, Helicone Validation: Guardrails, Rebuff, Guidance, LMQL LLM APIs and Hosting Proprietary API: OpenAI, Anthropic Open API: Hugging Face, Replicate Cloud Provider: AWS, GCP, Azure, Coreweave Opinionated Cloud: Databricks, Anyscale, Mosaic, Modal, Runpod,... Design Pattern: In-context Learning In-Context Learning: LLM을 파인튜닝 없이 그대로 사용하면서, 똑똑한 프롬프팅 및 일부 "Contextual…

---

## [\[GN\] AI 어플리케이션을 위한 새로운 Language Model Stack](https://discuss.pytorch.kr/t/gn-ai-language-model-stack/1846)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 19, 2023, 3:31오전 UTC](https://discuss.pytorch.kr/t/gn-ai-language-model-stack/1846 "2023-06-19T03:31:26Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Sequoia가 투자한 모든 거의 모든 회사가 제품에 ChatGPT와 같은 LLM을 도입중 자신들 네트워크내의 회사들을 조사한 내용을 통해 2개의 AI 스택을 정리 LLM API Stack LLM APIs : OpenAI, Anthropic, Cohere Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma Frameworks: LangChain, LlamaIndex, Anarchy Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks Custom Model Training / Tuning Stack Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai Model Hub: Hugging Face, Replicate Frameworks: PyTorch, TensorFlow Experimentation: Weights & Biases Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs Hosting: Replicate, HuggingFace 키포인트 대부분의 회사가 LLM을 제품에 구축중 언어 모델 API, 검색 및 오케스트레이션에 중점. 오픈소스 사용이 증가 회사들은 언어 모델을 자신의 컨텍스트에 맞고 커스터마이징 하고 싶어함 현재는 LLM API 스택과 모델 트레이닝 스택이 분리된 것처럼 보이지만 점점 합쳐질 것 스택은 점점 더 개발자 친화적이 되어감 언어 모델이 완전히 채택되려면 언어 모델의 신뢰성(품질, 데이터 프라이버시…
