[2023/08/21 ~ 08/27] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)

읽을거리&정보공유
, , , , , , , , ,
1
  • 이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile:
  • 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing_man:

서론

이번 주에는 다양한 분야에서 적용된 언어 모델에 대한 논문들이 주를 이루었습니다. 특히, 코드 기반의 언어 모델, 다양한 언어와 모달을 지원하는 기계 번역 시스템, 법률 추론을 위한 벤치마크, 로봇 스킬 합성을 위한 언어-보상 시스템 등 다양한 분야에서 언어 모델의 활용 가능성을 보여주는 논문들이 있었습니다. 이러한 트렌드는 언어 모델이 단순히 텍스트 생성 또는 분류와 같은 기본적인 NLP 작업을 넘어, 다양한 분야와 응용 분야로 확장되고 있음을 보여줍니다.

image
image1299×763 161 KB

논문 목록

1. Code Llama

Llama 2 기반의 코드용 LLMs인 Code Llama에 대한 논문입니다. 이번 릴리즈에는 기본 모델 (Code Llama), Python 전문화 모델 (Code Llama - Python), 지시사항 따르기 모델 (Code Llama - Instruct) 등이 포함되어 있습니다. 모델 크기는 7B, 13B, 34B 등 다양합니다.

2. Survey on Instruction Tuning for LLMs

LLM의 지시사항 튜닝에 대한 새로운 조사 논문입니다. 이 논문에서는 문헌, 방법론, 데이터셋 구축, 학습 모델, 응용 프로그램 등에 대한 체계적인 리뷰를 제공합니다.

3. SeamlessM4T

ASR, 텍스트-텍스트 번역, 음성-텍스트 번역, 텍스트-음성 번역, 음성-음성 번역을 지원하는 통합 다언어 및 다모달 기계 번역 시스템인 SeamlessM4T에 대한 논문입니다.

4. Use of LLMs for Illicit Purposes

LLMs로 인해 발생하는 위협과 취약점을 식별하고 완화하는 기존 노력에 대한 개요를 제공하는 논문입니다. 이 논문은 더욱 신뢰할 수 있고 견고한 LLM 기반 시스템을 구축하는 가이드 역할을 합니다.

5. Giraffe

기본 Llama와 Llama 2에서 미세 조정된 새로운 모델 계열인 Giraffe에 대한 논문입니다. 이 논문에서는 LLMs에서 컨텍스트 길이를 4K, 16K, 32K로 확장하고, 이를 통해 연구자와 실무자에게 유용한 통찰력을 제공합니다.

6. IT3D

명시적으로 합성된 다중 뷰 이미지를 활용하여 Text-to-3D 생성을 향상시키는 전략을 제시하는 IT3D에 대한 논문입니다. 이 논문에서는 Diffusion-GAN 이중 학습 전략을 통해 3D 모델의 학습을 안내하는 판별자를 통합합니다.

7. A Survey on LLM-based Autonomous Agents

LLM 기반 자율 에이전트에 대한 종합적인 조사를 제시하는 논문입니다. 이 논문에서는 사회 과학과 공학 등의 분야에서 LLM 기반 AI 에이전트의 다양한 응용에 대한 체계적인 리뷰와 요약을 제공합니다.

8. Prompt2Model

자연어를 통해 작업을 설명하는 프롬프트를 받아들이는 새로운 프레임워크인 Prompt2Model에 대한 논문입니다. 이 프레임워크는 프롬프트를 사용하여 배포에 유리한 작은 특수 목적 모델을 학습하며, 제안된 파이프라인은 데이터셋 검색, 데이터셋 생성, 모델 검색의 세 가지 채널을 통해 자동으로 지식을 수집하고 합성합니다.

9. LegalBench

LLMs에서 법률 추론을 측정하기 위한 협업적으로 구축된 벤치마크인 LegalBench에 대한 논문입니다. 이 벤치마크는 6가지 다른 유형의 법률 추론을 다루는 162개의 작업으로 구성되어 있습니다.

10. Language to Rewards for Robotic Skill Synthesis

LLMs를 활용하여 다양한 로봇 작업을 달성하기 위해 최적화 가능한 보상 매개변수를 정의하는 새로운 언어-보상 시스템을 제안하는 논문입니다. 이 방법은 실제 로봇 팔에서 복잡한 조작 스킬인 비-잡아당기기 밀기 등이 나타나는 것을 평가합니다.

원문