설명
제 프로젝트는 사업 및 투자 결정에 도움을 주는 개인적인 연구 자동화 도구로 시작되었습니다. 다중 에이전트 오케스트레이션 시스템(Sakana AI's Fugu)의 철학에서 영감을 받아 개인적인 용도에 최적화된 최소 기능 제품(MVP)으로 개발되었습니다.
제가 보기에 요즘 등장하는 에이전트 시스템의 특징은 '작업을 인공지능에게 전적으로 맡기는 것'이라고 보는데, 제 프로젝트의 시스템이 추구하는 방향성은 좀 다릅니다. 오히려 사용자의 질문과 의견, 제안을 제시하면 LLM들이 사용자의 판단에서 빠진 근거, 반론, 리스크를 강제로 드러내게 하는 것입니다.
본디 성공적인 사업과 투자란 성공담보다 실패담에서 더 많은 교훈을 얻는 것에서 시작하는 법. 성공은 우연과 운이 작용하는 경우가 많지만, 실패는 시장의 냉혹한 현실, 고객의 니즈 파악 실패 등 구체적인 원인을 명확하게 보여주기 때문입니다. 실패 사례 분석에 LLM들의 도움을 받음으로써 더 논리적이고 객관적으로 분석할 능력을 개인에게 부여해줄 수 있도록 해당 프로젝트를 진행하고 있습니다.
진행사항
- 마일스톤 2단계
- 다중 LLM API 호출 기능 구현.
- LLM 공급사들 중 OpenAI와 Anthropic 호출 성공.
- 여러 LLM에게 질문을 동시에 보내고 여러 답변을 받아내는compare기능 구현.
- 공통 결과 모델을Protocol로 명시화하여 추상화 진행.
-Pydantic을 이용하여 제공업체 중립적인 스키마 구현.
- 여러 LLM로부터 받은 응답을 jsonl로 변환 후 SQLite 데이터베이스에 저장.
다음 작업내용
- Google의 Gemini도 붙여 3개의 멀티모델 호출 성공시키기.
- async 비동기 호출 구현.
- 저장 추상화(LogRepository + LogWriter) 구현.
마일스톤 3단계 예정 작업
- 평가자 프롬프트로 세 답변 비교 요약 출력
- 모델 A 답변, 모델 B 답변, 모델 C 답변 → 평가자 모델이 비교 → 공통점 / 충돌점 / 근거 부족 주장 / 추가 확인 필요 사항 출력
- 최종 답변 시 다음 구조를 갖추기
-1. 결론
-2. 모델 간 공통 의견
-3. 충돌 지점
-4. 근거가 부족한 주장
-5. 확인이 필요한 사항
-6. 최종 판단 - 멀티모델의 답변 저장을 위한 SQLite 데이터베이스 보강 작업
- (선택) 비교 요약을 위한 테스트용 로컬 LLM 호출 기능 추가
- (선택) LangChain, LangGraph 등의 오픈소스 도입
그외 추가해보고 싶은 기능
- GUI 도입
- 재귀 호출
- 벡터 DB/RAG
여담
제 프로젝트 한번 가볍게 구경해보셔도 됩니다. 다들 바쁘실텐데 굳이 안해도 되지만 코드 리뷰까지 해주신다면 정말 감사드립니다.