상용 수준의 LLM 애플리케이션 구축하기 (무료/영어/온라인)

행사&이벤트 홍보
, , ,
1

상용 수준의 LLM 애플리케이션 구축하기 (무료/영어/온라인)

상용 수준의 LLM 애플리케이션 구축하기 (Building Production-Grade LLM Apps)

소개

DeepLearning.AI, Pinecone, 그리고 Truera가 함께 진행하는 Webinar로, 프로토타입을 넘어서, 기업에서 사용 가능한 상용 수준의 LLM 애플리케이션을 어떻게 구축하는지에 대해서 설명한다고 합니다. 주요 내용은 다음과 같다고 합니다:

  • Enterprise급 AI 모델과 애플리케이션을 만들기 위해서는 무엇이 필요할까요? 현재 스택에서의 부족한 점과 효과적인 방법을 알아봅니다.
  • 애플리케이션을 신속하게 평가하고 반복적으로 개선하여 상용 수준이 되었는지를 확신하려면, 무엇이 필요할까요?
  • 애플리케이션이 환각 현상을 일으키거나, 잘못되거나 위험한 답변을 생성했을 때 어떻게 신속하게 알 수 있을까요? 애플리케이션을 모니터링하고, 문제가 생겼을 때 인지하고, 빠르게 정상화할 수 있는 방법을 알아보세요.
  • What do you need to create enterprise-ready AI models and apps? Your current stack might have some gaps in it. Here’s what’s working.
  • What do you need to evaluate and iterate on apps quickly, so that you can gain confidence that your app is ready for production?
  • Rapid response - what happens when an app generates a hallucinatory or irrelevant or unsafe response? How to monitor, recognize when your app is in trouble and quickly get it back on the rails.

세부 정보

  • 진행 일시: 한국시간 3월 8일(금) 오전 3~4시 (Friday, March 8 · 3 - 4am KST)
  • 소요 시간: 1시간

더 보기 및 등록 신청 페이지

2

Production Grade LLM App에는 Vector DB와의 Integration이 필수 불가결하다고 생각해왔는데 역시나 저 혼자만의 생각은 아닌가 봅니다.

기존에 많이 알려진 Langchain 이외에도 llama index가 Vector DB Integration에 많이 보이고 Ingres같은 기존DB와의 Integration도 보입니다. 단순 질의에서 Nested Query나 복잡한 Query를 수행하고 이를 Storing하려면 DB(기존 혹은 벡터)와의 Integration이 반드시 필요할 것으로 보입니다.

뭐든지 상용이 되려면 백엔드에 DBMS가 아주 중요하겠죠.

3

네, 최근에는 아예 KNN(ANN) 연산만을 위한 FPGA 보드도 등장하고 있는 것 같더라구요. 점점 LLM이 프로토타입을 넘어 서비스로 나오면서 여러가지 시도들과 기회들이 생길 것 같습니다. :partying_face: