이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요!
읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다!
서론
이번 주에는 다양한 분야에서 적용된 언어 모델에 대한 논문들이 주를 이루었습니다. 특히, 코드 기반의 언어 모델, 다양한 언어와 모달을 지원하는 기계 번역 시스템, 법률 추론을 위한 벤치마크, 로봇 스킬 합성을 위한 언어-보상 시스템 등 다양한 분야에서 언어 모델의 활용 가능성을 보여주는 논문들이 있었습니다. 이러한 트렌드는 언어 모델이 단순히 텍스트 생성 또는 분류와 같은 기본적인 NLP 작업을 넘어, 다양한 분야와 응용 분야로 확장되고 있음을 보여줍니다.
논문 목록
1. Code Llama
Llama 2 기반의 코드용 LLMs인 Code Llama에 대한 논문입니다. 이번 릴리즈에는 기본 모델 (Code Llama), Python 전문화 모델 (Code Llama - Python), 지시사항 따르기 모델 (Code Llama - Instruct) 등이 포함되어 있습니다. 모델 크기는 7B, 13B, 34B 등 다양합니다.
GeekNews 의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.
소개
[369899645_822741339422669_4458807373211021546_n]
Meta가 Llama 2를 기반으로 구축된 코딩 전용 모델인 Code Llama를 공개.
코드와 자연어 프롬프트에서 코드 생성이 가능하며, 자체 벤치마크 결과 ChatGPT보다 성능이 뛰어났음.
5,000억 개의 코드 토큰과 관련 데이터로 훈련된 7B, 13B, 34B 모델을 각각 출시.
최대 10만 개의 컨텍스트 토큰을 지원하여 더 긴 프로그램을 작성하거나 상세한 조건, 실제 코드를 프롬프트로 입력하기 용이함.
Code Llama는 원본 모델 말고도 2가지 추가 변형으로 출시함.
Code Llama - Python: 1,000억 개의 Python 코드 토큰을 추가하여 미세 조정한 모델.
Code Llama - Instruct: 50억 개의 명령 토…
2. Survey on Instruction Tuning for LLMs
LLM의 지시사항 튜닝에 대한 새로운 조사 논문입니다. 이 논문에서는 문헌, 방법론, 데이터셋 구축, 학습 모델, 응용 프로그램 등에 대한 체계적인 리뷰를 제공합니다.
3. SeamlessM4T
ASR, 텍스트-텍스트 번역, 음성-텍스트 번역, 텍스트-음성 번역, 음성-음성 번역을 지원하는 통합 다언어 및 다모달 기계 번역 시스템인 SeamlessM4T에 대한 논문입니다.
이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요!
읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다!
세계를 더 가깝게 만드는, 멀티모달에서의 파운데이션 모델을 통한 음성 번역 (Bringing the world closer together with a foundational multimodal model for speech translation)
세계를 더 가깝게 연결해주는 기본 다중 모달 모델을 통한 음성 번역을 소개합니다.
개요
[image]
현대는 인터넷, 모바일 기기, 소셜 미디어 및 커뮤니케이션 플랫폼의 글로벌 확산 덕분에 이전보다 훨씬 더 연결되어 있습니다. 이러한 맥락에서 언어의 장벽 없이 정보를 소통하고 이해하는 능력은 점점 더 중요해지고 있습니다. AI 기술은 이러한 비전을 현실로 만들어 가고 있습니다.
주요 내용
SeamlessM4T…
4. Use of LLMs for Illicit Purposes
LLMs로 인해 발생하는 위협과 취약점을 식별하고 완화하는 기존 노력에 대한 개요를 제공하는 논문입니다. 이 논문은 더욱 신뢰할 수 있고 견고한 LLM 기반 시스템을 구축하는 가이드 역할을 합니다.
Spurred by the recent rapid increase in the development and distribution of
large language models (LLMs) across industry and academia, much recent work has
drawn attention to safety- and security-related threats and vulnerabilities of
LLMs, including...
5. Giraffe
기본 Llama와 Llama 2에서 미세 조정된 새로운 모델 계열인 Giraffe에 대한 논문입니다. 이 논문에서는 LLMs에서 컨텍스트 길이를 4K, 16K, 32K로 확장하고, 이를 통해 연구자와 실무자에게 유용한 통찰력을 제공합니다.
6. IT3D
명시적으로 합성된 다중 뷰 이미지를 활용하여 Text-to-3D 생성을 향상시키는 전략을 제시하는 IT3D에 대한 논문입니다. 이 논문에서는 Diffusion-GAN 이중 학습 전략을 통해 3D 모델의 학습을 안내하는 판별자를 통합합니다.
Recent strides in Text-to-3D techniques have been propelled by distilling
knowledge from powerful large text-to-image diffusion models (LDMs).
Nonetheless, existing Text-to-3D approaches often grapple with challenges such
as over-saturation,...
7. A Survey on LLM-based Autonomous Agents
LLM 기반 자율 에이전트에 대한 종합적인 조사를 제시하는 논문입니다. 이 논문에서는 사회 과학과 공학 등의 분야에서 LLM 기반 AI 에이전트의 다양한 응용에 대한 체계적인 리뷰와 요약을 제공합니다.
8. Prompt2Model
자연어를 통해 작업을 설명하는 프롬프트를 받아들이는 새로운 프레임워크인 Prompt2Model에 대한 논문입니다. 이 프레임워크는 프롬프트를 사용하여 배포에 유리한 작은 특수 목적 모델을 학습하며, 제안된 파이프라인은 데이터셋 검색, 데이터셋 생성, 모델 검색의 세 가지 채널을 통해 자동으로 지식을 수집하고 합성합니다.
Large language models (LLMs) enable system builders today to create competent
NLP systems through prompting, where they only need to describe the task in
natural language and provide a few examples. However, in other ways, LLMs are a
step backward...
GeekNews 의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.
소개
[369899645_822741339422669_4458807373211021546_n]
Meta가 Llama 2를 기반으로 구축된 코딩 전용 모델인 Code Llama를 공개.
코드와 자연어 프롬프트에서 코드 생성이 가능하며, 자체 벤치마크 결과 ChatGPT보다 성능이 뛰어났음.
5,000억 개의 코드 토큰과 관련 데이터로 훈련된 7B, 13B, 34B 모델을 각각 출시.
최대 10만 개의 컨텍스트 토큰을 지원하여 더 긴 프로그램을 작성하거나 상세한 조건, 실제 코드를 프롬프트로 입력하기 용이함.
Code Llama는 원본 모델 말고도 2가지 추가 변형으로 출시함.
Code Llama - Python: 1,000억 개의 Python 코드 토큰을 추가하여 미세 조정한 모델.
Code Llama - Instruct: 50억 개의 명령 토…
9. LegalBench
LLMs에서 법률 추론을 측정하기 위한 협업적으로 구축된 벤치마크인 LegalBench에 대한 논문입니다. 이 벤치마크는 6가지 다른 유형의 법률 추론을 다루는 162개의 작업으로 구성되어 있습니다.
10. Language to Rewards for Robotic Skill Synthesis
LLMs를 활용하여 다양한 로봇 작업을 달성하기 위해 최적화 가능한 보상 매개변수를 정의하는 새로운 언어-보상 시스템을 제안하는 논문입니다. 이 방법은 실제 로봇 팔에서 복잡한 조작 스킬인 비-잡아당기기 밀기 등이 나타나는 것을 평가합니다.
원문