최근 LPU(Language Processing Unit)이라는 AI Chip이 등장해서 기존 LLM보다 몇 십 배 빠른 응답 속도를 보이고 있다는 소식이 있습니다. 그런데 이미 LPU Chip위에서 돌아가는 LLM의 품질이 제한된다면 빠른 응답 속도는 의미가 없습니다.
그런데 LLM에 대한 질의의 품질을 획기적으로 높이는 방법이 등장했습니다. 구글 딥마인드에서 최근에 발표한 Self-Discover라는 프레임워크입니다.
아래 내용은 Bing Copilot로 정리하고 파파고로 번역한 내용입니다.
[아래]
셀프 디스커버리는 구글 딥마인드와 서던캘리포니아 대학교가 도입한 프레임워크입니다. 핵심 아이디어는 LLM(Large Language Models)이 복잡한 추론 문제를 해결하기 위해 작업 내재적 추론 구조를 셀프 디스커버리할 수 있도록 하는 것입니다. 이는 일반적인 프롬프트 방법에서는 어렵습니다.
이 프레임워크는 LLM이 비판적 사고와 단계별 사고와 같은 여러 원자 추론 모듈들(Atomic Reasoning Modules)을 선택하여 디코딩 시 LLM이 따라야 할 명시적 추론 구조로 구성하는 자체 발견 과정을 포함합니다. 이 방법은 인간의 문제 해결 과정을 모방합니다.
Self-Discover는 BigBench-Hard, 근거 에이전트 추론(Grounded Agent Reasoning) 및 MATH1과 같은 까다로운 추론 벤치마크에서 GPT-4 및 PaLM2와 같은 모델의 성능이 크게 향상되었음을 보여주었습니다. 추론 집약적인 방법보다 성능이 뛰어나고 계산 리소스가 훨씬 적게 필요합니다.
다음은 추가로 읽을 수 있는 자료 리스트입니다:
- Self-Discover: Large Language Models Self-Compose Reasoning Structures - arXiv.org
- DeepMind’s Self-Discover prompt technique encourages LLMs to think for themselves - The Decoder
- Google Deepmind proposes ‘self-discover’ framework for LLMs, improves GPT-4 - VentureBeat
- A self-discovery approach: DeepMind framework allows LLMs to find and use task - TechXplore
- Google Deepmind proposes ‘self-discover’ framework for LLMs, improves GPT-4 - AI Commission
[끝]
출시된 지 1년 남짓 한 LLM AI Model의 향후 발전 방향에 대하여 아직은 제대로 갈음이 되지 않은 상태로 많은 AI Startup들이 AI라는 Magic word에 취해 부나방 마냥 AI 사업에 뛰어들고 있지만, 핵심이 되는 LLM AI Model 자체가 완성된 기술이 아니라 계속 발전하는 기술이라서 아차하는 사이에 비즈니스 모델이 진부화 될 가능성이 높습니다.
여기에 소개한 Self-Discover기술은 Prompt engineering을 의미가 없는 것으로 만들 가능성이 높습니다. LLM에게 잘 이해가 될 수 있는 효율적인 prompt를 Self-Discover를 통하여 만들 수 있다면 Prompt engineering은 생긴 지도 얼마 안돼서 없어지게 되는 것입니다.
그리고 앞서 언급한 LPU AI Chip과 이게 결합하면 추가적인 모델 훈련과 엄청난 에너지 낭비 없이도 Edge기반의 Open Source LLM AI Model에 엄청난 에너지를 소모하는OpenAI의 chatGPT급 응용 tool이 생기는 계기가 됩니다. 결국 이들 tool을 통하여 궁극적으로 LLM분야에서 Open Source 모델들이 최후 승리를 거둘 가능성이 점점 더 높아지고 있습니다.
특히, 추론 집약적인 방법보다 성능이 뛰어나고 계산 리소스가 훨씬 적게 필요하다는 점에서 Nvidia기반의 OpenAI의 chatGPT같은 Cloud 기반 LLM AI Model에게는 약간의 sustainability를 높여 줄 것입니다.