PyTorchKR
- LLM을 더 잘 활용하기 위한 여러 방법들 중 하나로, Chain-of-Thoughts(CoT)와 같은 Chain-of-X 방법들이 많이 연구되고 있습니다. 이번에 소개하는 논문은 Chain-of-Abstraction(CoA)에 대한 것으로, LLM이 외부 도구를 사용하여 외부 지식을 효율적으로 활용하는 방법을 제시하고 있습니다.
- 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
CoA(Chain-of-Abstraction) 추론을 통한 외부 도구의 효율적 사용에 대한 연구 (Efficient Tool Use with Chain-of-Abstraction Reasoning)
소개
이 논문, **CoA(Chain-of-Abstraction) 추론을 통한 외부 도구의 효율적 사용에 대한 연구 (Efficient Tool Use with Chain-of-Abstraction Reasoning)**은 외부 지식을 도구 사용을 통해 통합함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 새로운 방법을 제시하고 있습니다. 2024년 1월 30일에 발표된 이 연구는 외부 도구를 활용하여 복잡한 추론 과제를 수행하는 과정에서 LLM이 직면하는 도전과제를 해결하고자 합니다. 저자들은 Chain-of-Abstraction (CoA) 방법을 도입하여 LLM의 효율성과 정확성을 크게 향상시키는 방법을 소개합니다.
LLM은 다단계 추론 과정에서 외부 도구를 호출하는 데 어려움을 겪는다고 알려져있습니다. 그동안 다양한 지식 조각을 통합하는 작업이 필요한 과제에 대해 도구 사용 계획을 효과적으로 만들어내는 데 한계가 있었습니다. CoA 접근 방식은 LLM이 실제 세계 지식(예: 웹 사실, 수학 규칙, 물리 원리)에 기반한 추론을 수행하여 인간의 기대에 더 부합하게 만드는 것의 필요성을 강조하고 있습니다.
CoA 추론(Chain-of-Abstraction Reasoning) 과정
CoA 추론의 주된 목적은 LLM이 다단계 추론 과정에서 필요한 외부 지식을 효율적으로 활용할 수 있도록 하는 것입니다. 이는 모델이 추론 과정을 추상적인 단계로 먼저 계획하고, 이후 필요한 구체적 지식을 외부 도구를 통해 채워 넣는 방식으로 이루어집니다.
이러한 추론 과정에서 LLM은 주어진 문제에 대한 추론 체인을 생성합니다. 이때, 모델은 구체적인 정보나 데이터 대신 추상적인 템플릿(Placeholder)를 사용하여 추론 과정을 구성합니다. 이렇게 추론 체인(CoA)이 생성된 후, 모델은 각 추론 단계에서 필요한 구체적인 지식을 얻기 위해 도메인별 도구를 호출합니다. 예를 들어, 수학 문제 해결 시 계산기 도구를, 지식 검색 시 데이터베이스 조회 도구를 사용할 수 있습니다.
이렇게 외부 도구로부터 얻은 정보를 추론 체인의 해당 템플릿(Placeholder)에 채워 넣음으로써, 추상적인 추론 과정을 구체적인 답안으로 변환합니다. 이 과정은 모델이 다양한 도메인의 지식을 효과적으로 활용할 수 있도록 합니다.
즉, CoA 방법은 추론 과정을 추상화함으로써, 모델이 보다 일반화된 추론 전략을 학습할 수 있게 합니다. 특히 다양한 도메인과 질문에 적응할 수 있는 더 일반화된 추론 전략을 가능하게 합니다. 또한 추론 체인 생성과 도구 호출을 병렬로 수행할 수 있어 추론 속도가 향상되는 장점이 있습니다.
파인튜닝 데이터 생성 (Fine-tuning Data Construction)
위와 같이 CoA 추론을 하기 위해서는 이에 특화된 학습 데이터를 구축하고 파인튜닝을 하는 것이 필요합니다. 이 단계에서는 모델이 실제 추론 과제에서 CoA 방법을 사용할 때 발생할 수 있는 다양한 시나리오에 대비하도록 합니다.
먼저 다양한 도메인의 문제와 해당 문제를 해결하기 위한 CoA(Chain-of-Abstraction) 추론, 그리고 이를 구체화하는 데 필요한 외부 지식을 포함하는 학습 데이터셋을 구성합니다. 이러한 학습 데이터는 모델이 추론 체인을 생성하고, 이를 구체화하기 위해 필요한 외부 지식을 어떻게 활용해야 하는지를 학습할 수 있도록 설계됩니다. 이 과정에서 모델은 다양한 도구의 호출 방법과 이를 통해 얻은 정보의 통합 방법을 학습합니다.
위와 같은 과정을 통해 구축된 학습 데이터를 사용하여 LLM을 파인튜닝함으로써, 모델은 CoA 추론 방법을 효과적으로 적용할 수 있는 능력을 개발합니다. 이 과정은 모델의 추론 정확도와 효율성을 크게 향상시킵니다. 이를 통해 모델은 다양한 도메인과 문제 유형에 대해 CoA 추론 방법을 적용할 수 있는 능력을 갖추게 되며, 모델의 범용성과 적용 범위를 크게 확장시킬 수 있게 됩니다.
성능 측정 결과
CoA 방법은 수학적 추론 및 Wiki QA 도메인 모두에서 기존의 사고 체인 및 도구 보강 기준을 일관되게 능가하는 것으로 나타났습니다. 논문은 분포 내 및 분포 외 테스트 세트에서 평균적으로 ~6%의 절대 QA 정확도 향상을 보고합니다. 또한, CoA 방법으로 훈련된 LLM 에이전트는 기준 도구 보강 LLM보다 평균적으로 ~1.4배 빠른 추론 속도를 보였습니다.
함의
CoA 방법은 AI 분야, 특히 LLM의 추론 능력을 향상시키는 데 있어 중요한 진전을 나타냅니다. 복잡한 문제 해결과 의사 결정이 필요한 영역에서 AI 응용 프로그램에 대한 새로운 가능성을 열어줍니다. 또한, 도메인 지식 변화에 대한 이 방법의 적응성은 다양한 분야에서의 광범위한 적용 가능성을 시사하고 있습니다.
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 