안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다.
- 자가 복구까지 가능한 인공지능 코드생성, 어디까지 가능할까?
LLM은 문장 생성과 코드 생성 측면에서 뛰어난 능력을 보이고 있는데요,
현재는 자체 디버깅을 통한 코드 오류 수정에 관한 여러 연구가 활발히 진행 중입니다.
오늘 소개해드리는 논문에서는 GPT-3.5와 GPT-4의 자가 복구 능력을 평가하고, 자체 디버깅이 가능한 인공지능 코드 생성의 가능성을 다루고 있습니다.
자가 복구까지 가능한 인공지능 코드생성이 자체 디버깅까지 가능해진다면
그 활용도는 무궁무진해질 것 같아요! 아래 링크에서 자세한 연구 내용을 확인해보세요!
Demystifying GPT Self-Repair for Code Generation
- MagicBrush 데이터셋을 통한 더 나은 이미지 편집의 신세계
ControlNet 이후에 텍스트를 기반으로 하는 이미지 편집은 포토샵에서도 사용될 만큼 범용적으로 발전해왔습니다. 그러나 기존 방식의 경우 노이즈가 많은 자동 합성 이터셋기반으로 이뤄지다보니
수동으로 튜닝해야 하는 단점 또한 존재하는데요,
이러한 문제를 해결하기 위해서 나온 MagicBrush는 마스크 생성, 다중 턴 등 다양한 시나리오를 포괄하고 있는 대규모 데이터셋입니다.
MagicBrush 데이터셋을 사용하면 기존에 사용했던 데이터를 사용하는 것보다 정성적, 정량적 모든 측면에서 더 좋은 성과를 낼 수 있다고 하네요~
MagicBrush: A Manually Annotated Dataset for Instruction-Guided Image Editing
- 모델링, 업스케일링 VS 역스케일링
현재 통상적인 모델링에 대한 방향성은 데이터셋과 함께 파라미터 크기를 업스케일링하는 방향으로 흘러가고 있습니다.
현재까지의 연구를 토대로 볼 때 데이터셋과 파라미터 크기가 함께 업스케일링되면 될 수록 긍정적인 효과를 가져왔다고 볼 수 있습니다. 그러나 이번에 소개해드릴 논문에 따르면 이와는 반대로 학습 목표 및 데이터 결함으로 인해 모델링이 오히려 역스케일링을 보이거나 규모가 확대될 수록 오히려 작업 성능이 저하될 수 있다고 역설적으로 이야기하는데요,
이번 연구를 통해 단순히 모델링 규모만을 늘리는 것만이 중요한 포인트가 아니라 학습 데이터와 모델이 추구하는 궁극적인 목적에 대해 먼저 고려를 해봐야 한다는 생각이 드네요~
Inverse Scaling: When Bigger Isn't Better
- AI학교 아이펠 ‘쏘카 캠퍼스’에서 데이터 AI 엔지니어로 함께 성장해요!
아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠 (aiffel.io)