더 나은 AI 에이전트(Agentic AI)를 위한 새로운 생태계에 대한 연구 (feat. Microsoft)

9bow · 1월 16, 2025, 3:30오전

연구 소개

에이전트(Agent)는 AI의 초기 개념 중 하나로, 사용자를 대신해 자율적으로 특정 작업을 수행하는 시스템입니다. 기본적으로 에이전트는 다음과 같은 특징을 갖습니다:

자율성(Autonomy): 사용자 개입 없이 스스로 작업을 수행합니다.
반응성(Reactivity): 환경 변화에 따라 적응하고 반응합니다.
계획성(Proactiveness): 단순히 명령을 따르는 것을 넘어, 상황을 예측하고 주도적으로 행동합니다.

이러한 에이전트는 간단한 온도 조절 장치와 같은 규칙 기반 시스템부터 자율주행 자동차와 같은 복잡한 시스템에 이르기까지 다양하게 활용되고 있습니다. 그러나 지난 수십 년 동안 에이전트 기술은 기대에 부응하지 못한 경우가 많았습니다. 단순 정보 검색에서 벗어나 더 복잡한 작업을 수행할 수 있어야 했지만, 일반화 부족, 확장성 문제, 사용자 신뢰 부족과 같은 한계가 지속되었습니다.

이 논문은 이러한 한계를 분석하고 새로운 접근법을 제안합니다. 단순히 에이전트의 기능을 개선하는 것을 넘어, 사용자 시뮬레이션(Sim) 및 어시스턴트(Assistant) 라는 새로운 개념을 통합한 생태계를 구축하여 문제를 해결하고자 합니다. 이 새로운 생태계는 사용자 중심의 설계, 작업의 개인화, 그리고 신뢰성 있는 상호작용을 통해 에이전트 기술의 진정한 잠재력을 실현할 수 있습니다.

지금까지의 AI 에이전트 분야에서의 발전 과정을 살펴보면 다음과 같습니다:

초기 AI 에이전트: 1950년대 **상징적 AI(Symbolic AI)**를 기반으로 한 초기 시스템은 규칙 기반의 문제 해결을 시도했습니다. 예를 들어, **General Problem Solver (GPS)**는 수학적 문제 해결을 목표로 했지만, 실제 환경의 복잡성을 처리하는 데 한계를 보였습니다.
전문가 시스템 (Expert Systems): 1980년대 MYCIN과 같은 전문가 시스템은 특정 도메인 지식을 바탕으로 진단과 의사 결정을 수행했습니다. 하지만 범용성을 결여하고, 새로운 도메인에 적용하기 위해 방대한 지식 엔지니어링이 필요했습니다.
반응형 에이전트 (Reactive Agents): 1990년대 Rodney Brooks의 **서브섬션 아키텍처(Subsumption Architecture)**는 환경 변화에 실시간으로 반응하는 시스템을 제안했습니다. 그러나 이 시스템은 장기적인 계획을 세우거나 학습하는 능력이 부족했습니다.
다중 에이전트 시스템 (Multi-Agent Systems, MAS): 다중 에이전트 시스템은 여러 에이전트 간의 상호작용을 통해 분산 문제를 해결하려 했습니다. 하지만, 에이전트 간의 효율적인 협력과 통신은 여전히 해결되지 않은 과제였습니다.
인지 아키텍처 (Cognitive Architectures): SOAR, ACT-R과 같은 인지 아키텍처는 인간의 인지 과정을 모델링하려 했습니다. 이는 정교한 설계를 가졌으나, 실시간 성능과 확장성 문제로 인해 제한적으로 사용되었습니다.

AI Agents의 한계와 개선 방향

앞에서 살펴본 AI 에이전트들의 연구 및 활용 중인 에이전트들은 다음과 같은 한계들을 갖고 있습니다:

일반화 부족

대부분의 AI 에이전트는 특정 작업에만 최적화되어 있으며, 새로운 도메인이나 상황에서는 성능이 급격히 떨어집니다. 이는 심볼릭 AI와 머신러닝 모델이 데이터를 통해 학습한 패턴 외의 상황을 처리하지 못하기 때문입니다.

이러한 문제는 머신러닝(ML)과 심볼릭 AI(Symbolic AI)를 통합하여 개선할 수 있습니다. 머신러닝은 데이터를 통해 패턴을 학습하여 적응성을 제공하지만, 이는 종종 설명 가능성과 구조적 사고 능력이 부족합니다. 반면, 심볼릭 AI는 논리적 추론과 명확한 규칙을 통해 높은 수준의 설명 가능성을 보장하지만, 일반화와 학습 능력이 떨어집니다.

확장성 문제

작업의 복잡도가 증가하면 에이전트가 요구하는 계산 자원이 기하급수적으로 늘어납니다. 이는 대규모 언어 모델(LLM, Large Language Model)의 경우에도 동일한 문제로, 실제 운영에서의 비용 부담을 증가시킵니다.

이를 개선하기 위해 새로운 아키텍처가 제안되고 있습니다. 에이전트 워크플로우를 저장하고 실행하는 캐싱 솔루션을 구현하고, 일반 작업에 대해 기초 모델 호출 필요성을 줄이는 새로운 하이브리드 및 계층 아키텍처를 통해 확장성과 효율성을 향상시킬 수 있습니다. 작업을 하위 작업으로 분해하고 이를 전문 에이전트에 할당함으로써 복잡성을 보다 효과적으로 관리할 수 있습니다.

조정(Coordination)과 의사소통의 어려움

다중 에이전트 시스템(MAS, Multi-Agent System)에서는 에이전트 간 조정이 필수적입니다. 그러나 현재의 기술은 이러한 조정을 효율적으로 처리하지 못하며, 이는 에이전트 간 충돌, 불필요한 중복 작업, 비효율성을 초래합니다.

이러한 다중 에이전트 시스템(MAS)에서의 조정과 협력 문제를 해결하기 위해 분산 제어(Decentralized Control)와 협상 프로토콜(Negotiation Protocols)과 같은 방법들이 시도되고 있습니다. 이러한 방법들은 에이전트들 간의 더 나은 통신과 협업을 촉진할 수 있습니다.

견고성(Robustness)

대부분의 AI 에이전트는 특정 조건에서만 잘 작동하며, 예상치 못한 상황에서는 성능이 급격히 저하됩니다. 이는 학습 데이터가 제한적이고, 강화 학습(Reinforcement Learning)과 같은 적응형 알고리즘이 충분히 활용되지 못했기 때문입니다.

이를 위해 강화 학습 및 전이 학습과 같은 견고한 학습 알고리즘을 통합함으로써 AI 에이전트의 적응성을 향상시킬 수 있습니다. 이러한 알고리즘은 에이전트가 경험으로부터 학습하고 다양한 작업에 대한 지식을 적용할 수 있게 합니다.

윤리적 우려와 안전성 문제

에이전트가 자율적으로 의사결정을 내릴 때 편향된 결과나 윤리적으로 문제가 될 수 있는 결정을 내릴 가능성이 있습니다. 또한, 사용자의 개인 정보를 안전하게 보호하면서 작업을 수행하는 방법에 대한 명확한 가이드라인이 부족합니다.

따라서 에이전트의 신뢰성과 안전성을 확보하기 위해 투명성(Transparency), 공정성(Fairness), 그리고 책임(Accountability) 등을 강조한 설계가 필요합니다: 특히, 시스템 설계 시 설명 가능성을 도입하고 시스템 배포 시 견고한 테스트를 수행하여 예상치 못한 윤리적 문제나 안전 위험을 최소화할 수 있습니다.

그 외 살펴봐야 할 과제들(Issues)

앞에서 살펴본 기술적 문제들만 보더라도 쉽지 않지만, 이러한 기술적 문제들 외에도 해결해야 할 다른 문제들이 있습니다. 특히, 성공적인 에이전트 개발을 위해서는 최소한 다음 다섯가지 측면들을 살펴봐야 합니다:

사용자 가치 창출(Value generation): 에이전트는 사용자를 대신해 작업을 수행함으로써 편의성을 제공해야 하지만, 이러한 작업이 사용자에게 실질적인 가치를 전달하지 못하면 무용지물이 됩니다. 예를 들어, 에이전트가 지속적으로 사용자의 개입이나 수정을 요구한다면 효율성을 제공하지 못할 것입니다.
적응 가능한 개인화(Adaptable personalization): 모든 사용자는 다르고, 각 상황은 고유합니다. 따라서 에이전트는 사용자의 선호와 맥락에 맞게 적응해야 합니다. 예를 들어, 사용자가 온라인 거래를 진행하다 비밀번호를 재설정해야 한다면, 에이전트는 상황에 따라 독립적으로 진행하거나 사용자에게 입력을 요청할 수 있어야 합니다.
신뢰 구축(Trustworthiness): 사용자가 금융 거래나 중요한 의사결정을 에이전트에 맡기려면, 에이전트에 대한 강력한 신뢰가 필요합니다. 이를 위해서는 지속적인 정확성과 투명성을 통해 신뢰를 쌓아야 합니다.
사회적 수용성(Social acceptability): 다양한 문화와 사회적 맥락에서 에이전트 기반 상호작용이 수용되려면 충분한 시간이 필요합니다. 예를 들어, 일부 국가에서는 온라인 결제가 여전히 드물고, 이러한 새로운 기술이 대중화되기 위해서는 사회적 인식 변화가 필요합니다.
표준화(Standardization): 에이전트의 개발과 배포는 탈중앙화되어 있지만, 호환성과 보안을 보장하기 위해 표준화가 필수적입니다. 이를 위해 네트워크 프로토콜이나 앱 스토어와 유사한 에이전트 스토어(Agent Store)가 필요합니다.

새로운 에이전트 생태계 (A New Ecosystem with Agents)

앞에서 살펴본 과제들을 극복하고, 효과적인 에이전트 활용을 위해서는 새로운 생턔계가 필요합니다. 이 연구에서는 이러한 생태계의 주요 구성 요소로 에이전트(Agents), 시뮬레이션(Sims), 어시스턴트(Assistants)를 제안하고 있습니다:

주요 구성요소

에이전트(Agents): 에이전트는 특정 작업을 수행하는 데 특화된 협소한 목적의 모듈입니다. 에이전트는 높은 자율성을 가지고 독립적으로 동작하며, 사용자의 입력을 받아 작업을 수행합니다. 그러나 각 에이전트는 제한된 영역(예: 이메일 관리, 데이터 분석, 고객 지원)에만 최적화되어 있기 때문에, 다른 작업 영역으로 쉽게 확장되지 않습니다. 새로운 생태계에서 에이전트는 모듈식 설계를 통해 서로 상호작용하고 통합될 수 있도록 구성해야 합니다.
시뮬레이션(Sims, 사용자 시뮬레이션): Sims는 사용자의 행동, 선호도, 개인정보를 반영하는 가상의 사용자 프로필입니다. 즉, Sims는 단순히 사용자의 데이터 저장소가 아니라, 사용자가 선호하는 작업 방식과 특정 작업의 우선순위를 이해하고 이를 반영합니다. 예를 들어, 사용자가 쇼핑할 때는 가격과 품질 중 무엇을 더 중요시하는지, 혹은 특정 브랜드를 선호하는지에 따라 에이전트의 의사 결정을 안내합니다. 새로운 생태계에서는 다양한 Sims가 만들어질 수 있으며, 각 Sims는 프라이버시와 개인화를 설정할 수 있어 사용자가 원하는 수준의 데이터 노출을 제어할 수 있습니다.
어시스턴트(Assistants): Assistant는 사용자와 직접 상호작용하며, Sims와 에이전트를 조정하는 역할을 합니다. 특히, Assistant는 사용자의 요청을 이해하고, 이를 기반으로 적절한 에이전트와 Sims를 호출하여 작업을 수행합니다. 이를 위해 Assistant는 사용자의 맥락을 학습하며, 시간이 지남에 따라 사용자와의 상호작용을 개선할 수 있습니다. 예를 들어, 사용자가 일정을 잡아달라고 요청하면 Assistant는 사용자의 일정 선호도(Sims)를 참조하고, 관련 에이전트를 호출하여 적절한 시간을 찾아냅니다.

동작 방식

이 생태계는 다음과 같은 흐름으로 작동합니다:

사용자의 입력: 사용자는 Assistant에 요청(예: “내일 회의 일정 잡아줘”)을 전달합니다.
맥락 이해: Assistant는 사용자 Sims를 참조하여 요청의 우선순위와 맥락을 파악합니다.
작업 분할 및 에이전트 호출: Assistant는 작업을 세부적으로 나누어 적합한 에이전트를 호출합니다. 예를 들어, 캘린더 관리 에이전트와 이메일 확인 에이전트를 함께 활용합니다.
결과 전달: 에이전트들이 작업을 완료하면 Assistant는 결과를 사용자에게 통합적으로 전달합니다.
학습과 개선: Assistant는 작업 과정에서 사용자 피드백을 받아 향후 작업 수행 방식을 개선합니다.

결론

에이전트 기반 AI 기술은 오랫동안 발전해 왔지만, 여전히 여러 가지 한계를 가지고 있습니다. 이 논문은 기존 접근 방식의 한계를 분석하며, 단순히 더 강력한 에이전트를 만드는 것만으로는 문제를 해결할 수 없음을 강조합니다. 대신, Sims와 Assistant를 포함한 새로운 생태계를 통해 개인화, 신뢰성, 그리고 효율성을 극대화할 수 있다고 주장하고 있습니다.

Agents Are Not Enough 논문

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~