# \#françois-chollet **URL:** https://discuss.pytorch.kr/tag/fran-ois-chollet/3381.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [ARC-AGI 벤치마크: AGI 개발에 필요한 새로운 벤치마크 (feat. 규모가 아니라 새로운 아이디어가 필요합니다)](https://discuss.pytorch.kr/t/arc-agi-agi-feat/4756)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 5, 2024, 12:15오전 UTC](https://discuss.pytorch.kr/t/arc-agi-agi-feat/4756 "2024-07-05T00:15:12Z")
들어가며 :pytorch::kr: 몇 일 전 :hugs: Hugging Face에서 새로운 리더보드를 발표한 것처럼, 최근 많은 AI 벤치마크들이 포화(saturate)되고 있습니다. 하지만 이러한 AI 벤치마크가 인간보다 더 뛰어난 일반 인공지능(AGI)이 탄생했음을 뜻하지는 않습니다. 왜일까요? SEQUIA 벤처 캐피탈(VC)에 이번에 게재된 마이크 눕(Mike Knoop)의 인터뷰에서 힌트를 얻어볼 수 있을 것 같아 간략하게 정리하여 소개해봅니다. Knoop은 Keras를 만든 프라아수아 숄레(François Chollet)가 제안했던 새로운 기술을 익히는 효율성을 알아보기 위한 벤치마크가 필요하다고 말합니다. 인간의 사고와 추론이 비언어적 사고를 통해 이뤄진다면, 이를 측정하기 위해서는 어떠한 문제들이 필요할까요? 좋은 아이디어가 있으신 분들께서는 ARC Prize에 참여해보시는 것도 좋을 것 같습니다. :smiley: AGI를 위한 새로운 아이디어의 필요성 “Scale is not all you need. New ideas are needed.” 현재의 대규모 언어 모델(LLM)은 큰 데이터와 계산 자원을 사용하여 놀라운 성과를 내고 있습니다. 하지만 진정한 범용 인공지능(AGI)은 새로운 아이디어와 벤치마크가 필요합니다. 마이크 누프(Mike Knoop)는 스케일만으로는 충분하지 않으며, 새로운 접근 방식이 필요하다고 강조합니다. 그는 ARC Prize와 Zapier의 공동 창립자로, 현재 AI의 한계를 극복하기 위해 새로운 벤치마크를 제안합니다. 이 벤치마크는 프랑수아 숄레(François Chollet)가 2019년에 만든 것으로, 기존의 AI 기법으로는 해결이 어려운 문제들을 포함하고 있습니다. ARC-AGI 벤치마크는 데이터를 많이 투입하더라도 단순히 기억하기 어려운 문제들로 구성되어 있습니다. 이 벤치마크를 해결하려면 매우 적은 양의 데이터로 새로운 작업을 학습할 수 있어야 합니다. 이는 현재의 LLM이 수행할 수 없는…