# \#o1 **URL:** https://discuss.pytorch.kr/tag/o1/3727.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [\[2024/12/02 ~ 12/08\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-12-02-12-08-ml-top-ml-papers-of-the-week/5673)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 9, 2024, 1:02오후 UTC](https://discuss.pytorch.kr/t/2024-12-02-12-08-ml-top-ml-papers-of-the-week/5673 "2024-12-09T13:02:53Z")
\[2024/12/02 ~ 12/08\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들을 살펴보았을 때, 자연어 처리(NLP) 및 대규모 언어 모델(LLM)에 초점을 맞춘 연구가 눈에 띄게 많습니다. 특히, OpenAI o1, Genie 2, Auto-RAG, Retrieval-Augmented Reasoning for LLMs, 그리고 Procedural Knowledge in Pretraining Drives Reasoning in LLMs와 같은 논문들이 이 범주에 속하며, 인간-에이전트 커뮤니케이션에 관한 논문도 포함되어 있어 다채로운 접근 방식을 제시하고 있습니다. 또한, 'Reverse Thinking'이나 'DataLab'과 같은 논문들을 통해 데이터 활용 및 자동화에 대한 학문적 관심도 엿볼 수 있었습니다. 이러한 트렌드는 인공지능 기술의 발전 방향에 대한 중요한 시사점을 제공합니다. 우선, 자연어 처리 및 언어 모델에서의 연구가 두드러지는 이유는, 인간과 기계 간의 상호작용을 보다 자연스럽고 효율적으로 만들려는 노력이 배경에 깔려 있다고 볼 수 있습니다. 이러한 기술 발전은 고객 서비스나 정보 검색, 그리고 다양화된 대화형 AI 애플리케이션 등 현실적인 문제 해결에 큰 기여를 하고 있습니다. 더불어, 데이터 활용과 자동화는 AI 연구에서 핵심적인 역할을 합니다. 데이터를 어떻게 수집하고, 구성하며, 활용할 것인지가 AI의 성능을 좌지우지할 수 있기 때문입니다. 데이터를 통한 설계 및 학습 자동화는 AI의 정확성을 향상시키고, 새로운 기능을 가능한 한 빠르고 정확하게 개발하도록 도와줍니다. 이러한 트렌드는 AI 연구의 필수 요소로 자리잡고 있으며, 앞으로도 계속 중요한 연구 주제로 남을 것입니다. OpenAI o1 논문 소개 대규모 강화 학습으로 추론하도록 훈련된 모델… --- ## [OpenAI, o1 모델 정식 릴리즈 및 ChaGPT Pro 요금제($200/월) 출시](https://discuss.pytorch.kr/t/openai-o1-chagpt-pro-200/5665)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [12월 9, 2024, 1:06오전 UTC](https://discuss.pytorch.kr/t/openai-o1-chagpt-pro-200/5665 "2024-12-09T01:06:53Z")
o1 모델 소개 OpenAI가 이전에 공개한 o1-preview에 이어 정식으로 o1을 발표했습니다. 이 모델은 응답 전에 내부적으로 사고 과정을 거쳐 복잡한 문제를 해결하는 능력을 갖추고 있습니다. 특히 과학, 수학, 프로그래밍 분야에서 GPT-4o보다 뛰어난 성능을 보이며, 예를 들어, 국제 수학 올림피아드 예선에서 83%의 점수를 기록했습니다. 또한, o1-mini라는 더 빠르고 저렴한 버전도 함께 출시되어 다양한 활용이 가능합니다. 기존의 GPT-4o 모델은 텍스트, 이미지, 오디오를 처리할 수 있는 멀티모달 모델로, 일반적인 언어 처리 작업에 강점을 보입니다. 반면, o1 모델은 응답 전에 더 깊이 사고하는 과정을 통해 복잡한 문제 해결에 특화되어 있습니다. 또한, o1-mini는 80% 가량 저렴하며, 코딩 작업에 특히 효과적입니다. o1 모델의 주요 기능은 다음과 같습니다: 심층 사고 과정: 응답 전에 내부적으로 사고 과정을 거쳐 복잡한 문제를 해결합니다. 향상된 성능: 과학, 수학, 프로그래밍 분야에서 GPT-4o보다 뛰어난 성능을 보입니다. 다양한 모델 옵션: 고성능의 o1모델과 함께 더 빠르고 저렴한 o1-mini 버전을 제공합니다. ChatGPT Plus 및 Team 사용자들은 ChatGPT의 모델 선택기에서 o1 또는 o1-mini를 선택하여 사용할 수 있습니다. API를 통해서도 접근이 가능하며, 다양한 응용 프로그램에서 활용할 수 있습니다. o1 모델 시스템 카드 https://openai.com/index/openai-o1-system-card/ ChatGPT Pro 요금제 소개 OpenAI가 새로운 구독 서비스인 ChatGPT Pro를 월 $200에 출시했습니다. 이 서비스는 가장 진보된 모델인 OpenAI o1에 무제한 접근을 제공하며, 특히 데이터 과학, 프로그래밍, 법률 분석 등에서 더욱 신뢰성 있는 응답을 제공합니다. OpenAI는 ChatGPT Pro 요금제로 연구자, 엔지니어 등 연구급 지능을 일상적으… --- ## [\[GN\] Generative AI’s Act o1 - 에이전트 추론의 시대 개막 (feat. Sequoia Capital)](https://discuss.pytorch.kr/t/gn-generative-ai-s-act-o1-feat-sequoia-capital/5361)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 21, 2024, 2:53오전 UTC](https://discuss.pytorch.kr/t/gn-generative-ai-s-act-o1-feat-sequoia-capital/5361 "2024-10-21T02:53:28Z")
글 소개 Generative AI 혁명 2년차에 접어들면서, 연구는 "빠른 사고"에서 "느린 사고"로 진화하고 있음 "빠른 사고"는 사전 학습된 빠른 응답을 의미하고, "느린 사고"는 Inference 시 Reasoning 하는 것을 의미함 이런 진화로 인해 새로운 유형의 에이전트 애플리케이션이 등장하고 있음 Generative AI 시장의 기반 계층이 안정화되면서 Microsoft/OpenAI, AWS/Anthropic, Meta, Google/DeepMind 등 소수의 대형 업체들이 시장을 주도하고 있음 경제적 엔진과 막대한 자본을 가진 대형 업체들만이 경쟁에 남아있음 시장 구조 자체는 견고해지고 있으며, 저렴하고 풍부한 next-token 예측이 가능해질 것임 LLM 시장 구조가 안정화되면서 새로운 프론티어가 등장 "시스템 2" 사고 방식이 우선시되는 추론 계층의 개발과 확장에 초점이 맞춰지고 있음 AlphaGo와 같은 모델에서 영감을 받아, 이 계층은 단순한 패턴 매칭을 넘어 신중한 추론, 문제 해결, 인지 작용 등을 AI 시스템에 부여하는 것을 목표로 함 새로운 인지 아키텍처와 사용자 인터페이스가 이러한 추론 능력이 사용자에게 전달되고 상호 작용하는 방식을 형성하고 있음 Strawberry Fields Forever 2024년 가장 중요한 모델 업데이트는 OpenAI의 o1임 (이전에는 Q\*로 알려졌으며 Strawberry라고도 함) 이는 단순히 OpenAI가 모델 품질 리더보드 상위권에 올라선 것뿐만 아니라, 현상 유지 아키텍처에 상당한 개선을 가져온 것임 구체적으로, 이는 추론-시간 컴퓨팅으로 달성한 진정한 "일반 추론 능력"을 가진 최초의 모델임 사전 학습 모델 vs 추론 시간 컴퓨팅 사전 학습 모델은 방대한 양의 데이터를 사용해 next token prediction을 수행함 규모의 창발 특성(emergent property)은 기본적인 추론이지만, 이 추론은 매우 제한적임 추론 시간 컴퓨팅은 모델에게 응답을 제공하… --- ## [\[2024/09/30 ~ 10/06\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-09-30-10-06-ml-top-ml-papers-of-the-week/5300)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 7, 2024, 7:21오전 UTC](https://discuss.pytorch.kr/t/2024-09-30-10-06-ml-top-ml-papers-of-the-week/5300 "2024-10-07T07:21:29Z")
\[2024/09/30 ~ 10/06\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들에서 주목할 만한 트렌드는 크게 두 가지가 있습니다. 첫째, 대형 언어 모델(LLM)에 관련된 연구가 상당히 많다는 점입니다. 'LLMs Know More Than They Show', 'Not All LLM Reasoners Are Created Equal' 등의 논문들이 바로 이 범주에 속합니다. 이 논문들은 대형 언어 모델의 능력, 한계, 그리고 다양한 상황에서의 성능 분석에 주로 초점을 맞추고 있습니다. NLP 영역에서 LLM의 진화와 그 활용 가능성에 대한 학계와 산업계의 지속적인 관심을 반영하고 있다고 볼 수 있습니다. 둘째, 신경망의 구조 및 설계에 관련된 연구들이 눈에 많이 띕니다. 'Were RNNs All We Needed?', 'Architecture Search Framework for Inference-Time Techniques' 등의 논문들이 그러한 내용을 다루고 있습니다. 이러한 연구들은 기존의 RNN 및 다른 신경망 구조들이 현재의 최신 기술 상황에서 여전히 유효한지, 아니면 어떻게 더 효율적으로 사용될 수 있는지를 탐구하며 심층 학습에서는 모델 성능을 최적화할 수 있는 새로운 방법을 모색하고 있습니다. 이런 트렌드에 대해 논의하면, 최근 AI 연구에서 대형 언어 모델은 매우 중요한 분야로 자리 잡았습니다. 새로운 발견이나 발전이 있을 때마다 NLP 분야에 직접적인 영향을 미치기 때문에, 연구자들은 이 주제에 대해 지속적으로 탐구하고 있습니다. 이러한 모델들이 가진 사전 지식을 더 효과적으로 활용하거나, 단점을 보완하여 더욱 다양한 응용 분야에 활용하고자 하는 연구가 계속 늘어나고 있는 것입니다. 또한, 신경망의 구조나 설계 관련 연구는 AI 모델의 성능 향상과 직결된 문제입… --- ## [\[2024/09/09 ~ 09/15\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-09-09-09-15-ml-top-ml-papers-of-the-week/5208)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 15, 2024, 11:47오후 UTC](https://discuss.pytorch.kr/t/2024-09-09-09-15-ml-top-ml-papers-of-the-week/5208 "2024-09-15T23:47:54Z")
\[2024/09/09 ~ 09/15\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들에서 두드러지는 트렌드는 주로 대형 언어 모델(LLM)과 이들의 다양한 적용 가능성에 관한 것입니다. 논문 제목들에서 "LLMs," "Large Language Models," 및 "Can LLMs..." 등이 자주 등장하며, 이는 대형 언어 모델들이 연구와 논의의 주요 주제라는 점을 시사합니다. 예를 들어, 'Learning to Reason with LLMs,' 'Can LLMs Generation Novel Research Ideas,' 및 'Achieving Peak Performance for LLMs' 같은 논문들은 LLM의 다양한 능력과 최적화 방법을 중점으로 다루고 있습니다. 대형 언어 모델의 다양한 가능성을 탐구하는 것은 현재 AI 연구의 주요 방향 중 하나로 보입니다. 이는 LLM이 자연어 처리(NLP)뿐만 아니라 다양한 다른 영역에서도 혁신을 가져올 수 있는 잠재력이 크기 때문이라고 할 수 있습니다. 연구자들은 이 모델들이 단순히 텍스트를 생성하는 것을 넘어 더 복잡한 reasoning (추론) 능력, 새로운 연구 아이디어 생성, 특정 작업에서의 최적화 등 다양한 방법으로 활용될 수 있는지 조사하고 있습니다. 이러한 연구들이 앞으로 인공지능의 발전 방향에 큰 영향을 미칠 것으로 예상됩니다. 또한, 소형 언어 모델(SLM, Small Language Model)과 관련된 연구도 눈에 띕니다. 예를 들어, 'The Role of Small Language Models in the LLM Era'라는 논문은 대형 모델뿐만 아니라 소형 모델이 어떻게 중요한 역할을 할 수 있는지를 탐구합니다. 이는 대형 모델이 갖는 자원 소모 문제와 함께 소형 모델들이 효율적이고 실용적인 대안이 될 수 있다는 점을 … --- ## [OpenAI, 더 복잡한 문제 해결을 위해 더 많은 시간과 노력을 들여 생각하는 o1 모델 미리보기 공개 (feat. o1-preview, o1-mini)](https://discuss.pytorch.kr/t/openai-o1-feat-o1-preview-o1-mini/5196)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [9월 15, 2024, 6:49오전 UTC](https://discuss.pytorch.kr/t/openai-o1-feat-o1-preview-o1-mini/5196 "2024-09-15T06:49:41Z")
OpenAI o1 시리즈 소개 OpenAI o1-preview: 더 복잡한 문제를 풀어내는 추론 모델 OpenAI는 복잡한 문제 해결을 위해 더 많은 시간과 노력을 들여 생각하는 새로운 AI 모델 o1-preview를 공개했습니다. 이 모델은 과학, 코딩, 수학에서 기존 모델보다 더 어려운 문제를 해결할 수 있는 능력을 갖췄으며, ChatGPT와 API를 통해 사용할 수 있습니다. 새 모델은 출시 초기 단계로, 지속적인 업데이트와 성능 향상이 예정되어 있습니다. 현재는 웹 검색, 파일 및 이미지 업로드 등의 기능은 없지만, 향후 추가될 예정입니다. 이 모델은 특히 복잡한 추론 작업에서 GPT-4o보다 뛰어난 성능을 발휘하며, 과학, 코딩, 수학 등 다양한 분야에서 큰 도움이 될 수 있습니다. o1 모델의 주요한 특징은 다음과 같습니다: 강화 학습을 통한 추론 능력: o1-preview 모델은 강화 학습을 통해 체계적인 사고 과정을 학습하여 문제를 해결합니다. 안전성 향상: 모델이 안전 정책을 준수하는 능력이 크게 향상되었습니다. 특히, 허용되지 않는 콘텐츠 생성 요청에 대한 거부 능력이 개선되었습니다. 고난도 추론 성능: 수학, 물리, 화학, 생물학 등 고난도의 문제에서 기존 모델들보다 높은 정확도를 보입니다. 모델 평가: 다양한 평가 지표에서 기존의 GPT-4o보다 뛰어난 성능을 보이며, 특히 난이도가 높은 테스트에서 눈에 띄는 성과를 기록했습니다. 현재 o1-preview 모델은 ChatGPT Plus 및 Team 사용자들이 접근할 수 있으며, ChatGPT의 모델 선택기에서 수동으로 선택할 수 있습니다. API 사용자는 특정 사용 요건을 충족할 경우 바로 사용해 볼 수 있습니다. 사용자는 주당 메시지 전송 제한이 있지만, 추후에 점진적으로 늘어날 예정입니다. OpenAI o1-mini: 비용 효율적 추론 모델 o1-mini는 OpenAI의 비용 효율적인 추론 모델로, o1-preview와 거의 비슷한 성능을 제공하면서도 80% … --- ## [OpenAI의 개발자 대상 AMA 정리 소개 (feat. Tibor Blanho @btibor91)](https://discuss.pytorch.kr/t/openai-ama-feat-tibor-blanho-btibor91/5201)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 14, 2024, 8:09오전 UTC](https://discuss.pytorch.kr/t/openai-ama-feat-tibor-blanho-btibor91/5201 "2024-09-14T08:09:29Z")
OpenAI의 AMA 소개 𝕏(:twitter:Twitter)의 OpenAI Developers 계정(@OpenAIDevs)에서는 오늘 새벽 개발자들을 대상으로 AMA(Ask Me Anything) 세션을 진행했습니다. 이번 AMA에서는 OpenAI에 새로 공개한 o1 모델에 대한 질문들이 쏟아졌으며, 이를 Tibor Blanho(@btibor91)가 정리한 내용이 있어 소개합니다. 전문은 아래 이미지를 눌러 보실 수 있습니다: Tibor Blanho(@btibor91)가 정리한 OpenAI AMA 요약 모델 명명과 추론 패러다임 OpenAI o1 명명: o는 OpenAI의 o를 따서 새로운 수준의 AI 능력을 나타내며, 카운터가 1로 리셋됨을 의미. "Preview"와 "Mini" 변형: "Preview"는 초기 버전을, "Mini"는 속도에 최적화된 버전을 의미. 모델 목적: 이전 모델과 달리, 최종 답변을 반환하기 전에 긴 사고의 연쇄를 생성하도록 학습됨. 아이콘 의미: 특별한 능력을 가진 외계인을 상징적으로 나타냄. o1 모델의 크기와 성능 o1-mini vs. o1-preview: o1-mini는 더 작고 빠르며 무료 사용자에게 제공될 예정이고, o1-preview는 초기 체크포인트. 성능 비교: o1-mini는 STEM 및 코드 관련 작업에서 뛰어난 성능을 보이며, 제한된 세계 지식을 가짐. 입력 토큰: GPT-4o와 동일한 토크나이저를 사용하여 계산됨. 입력 토큰 컨텍스트와 모델 능력 더 큰 입력 컨텍스트: 곧 제공될 예정으로, 입력을 나누지 않고 더 길고 개방적인 작업 수행 가능. 긴 사고의 연쇄: 최종 답변을 제공하기 전에 긴 추론 연쇄를 생성할 수 있음. 미래 탐색: 추론 중 추론을 멈추고 더 많은 컨텍스트를 추가할 수 있는 기능이 연구 중임. 도구, 기능, 그리고 향후 업데이트 도구 지원: 함수 호출, 코드 해석기, 브라우징 등의 도구 지원이 계획됨. 사용자 제어: 향후 업데이트에서 사고 시간 및 토큰 한도에 대한 제…