PyTorchKR
- 얼마 전에 끝난 NeurIPS 2023의 논문 6편을 소개한 글을 발견하여 정리하였습니다.
- 더불어, 올해 주목할만한 논문들 5편도 함께 포함되어 있으니 한 번쯤 훑어보시면 좋을 것 같습니다!
- 아래 내용은 GPT 모델로 자동 요약한 것으로, 자세한 내용은 원문을 참고해주세요!
- 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다!
NeurIPS(Neural Information Processing Systems) 2023 컨퍼런스는 연구와 협업의 새로운 기준을 세웠습니다. 올해 컨퍼런스에는 기록적인 13,321건의 논문이 제출되었습니다. 1,100명이 넘는 지역 위원장, 100명의 선임 지역 위원장, 396명의 윤리 검토위원이 엄격한 검토 과정을 거쳐 3,584편의 논문이 채택되었습니다.
주목할만한 메인트랙 논문 2편(Outstanding Main Track Papers)
Privacy Auditing with One (1) Training Run
이 논문은 기존의 여러 번의 반복이 필요한 방식과 달리, 단일 트레이닝 실행을 통해 차별적 프라이버시 머신러닝 시스템을 감사하는 혁신적인 방법을 제시합니다. 이 접근법은 프라이버시 중심의 머신러닝 알고리즘 개발에 중대한 발전을 약속하며, AI에서 프라이버시 유지 방식을 혁명적으로 바꿀 가능성이 있습니다.
Are Emergent Abilities of Large Language Models a Mirage?
이 논문은 대규모 언어 모델의 등장 능력에 대해 전통적인 지혜에 도전합니다. 저자들은 이러한 능력이 AI 모델의 확장으로 인한 것이 아니라 평가에 사용되는 지표에서 비롯될 수 있다고 주장합니다. 이러한 도발적인 입장은 대규모 언어 모델에 대한 우리의 이해를 재평가하고 AI 능력을 정확하게 평가하기 위한 더 견고한 지표의 필요성을 강조합니다.
주목할만한 메인트랙 우수 논문 2편(Outstanding Main Track Runner-up Papers)
Scaling Data-Constrained Language Models
이 논문은 데이터가 제한된 상황에서 언어 모델을 확장하는 데 있어 큰 도전을 다룹니다. 대규모 언어 모델은 전통적으로 광범위한 데이터 세트에 의존하지만, 저자들은 더 작은 데이터 세트로도 이러한 모델의 성능을 향상시킬 수 있는 혁신적인 기술을 제안합니다. 이는 고급 언어 모델링에 대한 접근을 민주화하는 데 기여할 수 있습니다.
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
이 논문은 인간의 선호도에 기반하여 언어 모델의 행동을 직접 최적화하는 새로운 방법을 제시합니다. 이 접근법은 사용자 중심적이고 제어 가능한 언어 모델을 만드는 데 길을 열어, 실용성과 윤리적 정렬을 향상시킬 수 있습니다.
우수 데이터 세트 및 벤치마크 논문 2편(Outstanding Datasets and Benchmarks Papers)
ClimSim: A Large Multi-Scale Dataset for Hybrid Physics-ML Climate Emulation
이 논문에서는 기후 예측 및 모델링 기술의 혁신을 지향하는 연구자들에게 귀중한 자원이 될 클라이머릿(ClimSim)이라는 하이브리드 머신러닝과 물리 연구를 위한 전례 없는 대규모 데이터셋을 소개합니다. 이것은 이 분야에서 가장 큰 데이터셋입니다.
DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models
이 논문은 AI 개발의 핵심 측면인 신뢰성에 대해 다룹니다. 저자들은 GPT(Generative Pre-trained Transformer) 모델의 신뢰성을 평가하는 포괄적인 프레임워크를 제안하며, 이는 더 신뢰할 수 있고 윤리적으로 건전한 언어 모델을 개발하는 데 중요한 발걸음이 됩니다.
그 외 주목할만한 논문 5편
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
이 논문은 "Tree of Thoughts" (ToT) 프레임워크를 통해 언어 모델이 전략적인 선견 및 중대한 초기 결정을 필요로 하는 작업에서의 한계를 극복하는 방법을 소개합니다. ToT는 문제 해결을 위한 중간 단계로서 일관된 텍스트 단위("생각들")를 탐색하는 기능을 제공하며, 여러 추론 경로를 고려하고 선택을 자가 평가하며 필요에 따라 앞뒤를 볼 수 있습니다. 이 프레임워크는 복잡한 계획이나 탐색을 요구하는 작업에서 문제 해결 능력을 크게 향상시킵니다.
Toolformer: Language Models Can Teach Themselves to Use Tools
이 논문은 언어 모델이 계산기, Q&A 시스템, 검색 엔진, 번역 시스템, 달력 등의 외부 도구를 사용하는 방법을 스스로 배울 수 있다는 것을 보여줍니다. Toolformer는 이러한 도구들을 사용할 때와 방법을 최소한의 데모를 통해 자가 감독 방식으로 훈련합니다. 이 접근법은 다양한 작업에서 제로샷 성능을 크게 향상시키며 모델의 핵심 언어 능력을 유지합니다.
Zephyr: Direct Distillation of LM Alignment
이 논문은 사용자 의도와의 더 나은 일치를 위해 설계된 7억 파라미터의 언어 모델, ZEPHYR-7B를 소개합니다. 이 모델은 효율적인 방법으로 불과 몇 시간의 훈련으로 높은 성능을 달성하며, 기존 모델들보다 채팅 벤치마크에서 뛰어난 성능을 보입니다. 이 시스템과 관련된 자료들은 온라인에서 공개적으로 공유됩니다.
Chain of Code: Reasoning with a Language Model-Augmented Code Emulator
이 논문은 언어 모델의 추론 능력을 향상시키기 위한 Chain of Code (CoC)를 소개합니다. CoC는 언어 모델이 논리, 산술 및 의미 이해를 요구하는 작업에 유연한 의사 코드로 의미 있는 하위 작업을 형식화하게 합니다. 이 접근법은 다양한 벤치마크에서 Chain of Thought 및 다른 기준 모델들을 능가합니다.
Large Language Models as Zero-Shot Conversational Recommenders
이 논문은 대규모 언어 모델을 사용한 대화형 추천 시스템에 대한 실증적 연구를 제시합니다. 연구에는 인기있는 토론 웹사이트에서 만들어진 가장 큰 공개 대화형 추천 데이터셋의 생성, 대규모 언어 모델이 미세 조정 없이도 기존에 미세 조정된 모델들을 능가함을 보여주는 평가, 모델 성능에 대한 프로빙 작업을 통한 분석이 포함됩니다.
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~