안녕하세요
오늘은 Huging Face에서 나온 QLoRA, 구글 딥마인드와 OpenAI에서 다루는 Responsible AI에 대해 다뤄보았습니다.
Hugging Face에서 QLoRA에 대해 소개했습니다. 이전에 Hugging Face는 LLM.int8 기법이 bitsandbytes 라이브러리를 사용해 트랜스포머에 통합된 방법을 보여주었습니다. 여기서 다시한번 4비트 정밀도로 모델을 실행할 수 있도록 만들면 다시한번 더 줄일 수 있습니다. 해당 방법론은 QLoRA이며 Vicuna 벤치마크엥서 이전의 공개된 모델보다 성능이 뛰어나다고 합니다. LoRA에 관심있는 분들은 QLoRA를 적용해보는것도 좋을것 같습니다.
구글 딥마인드에서 Responsible AI에 대한 블로그 글을 개제했습니다. 구글 딥마인드는 이미 많은 AI 연구자들이 다양한 벤치마크를 사용해 오해의 소지가 있는 진술, 편향적인 의사결정, 저작권이 있는 콘텐츠 반복과 같은 걸 식별하고 있다고 생각합니다. 그럼에도 아직 AGI에 대한 평가 포트폴리오가 없었고 AI 커뮤니티가 강력한 AI를 구축하고 있기에 구글 딥마인드를 필두로, 옥스포드, 토론도 대학뿐만 아니라 OpenAI도 참여해서 새로운 프레임워크를 소개했습니다.
마찬가지로 OpenAI에서 Responsible AI에 대한 블로그 글을 게재했습니다. 해당ㅇ 내용은 법이 정한 태두리에서 AI 시스템이 어떤 법칙을 따라야 하는지 결정하는 민주절 절차를 수립하는 실험을 진행한다는 이야기입니다. OpenAI가 생각하는 AGI는 정치적으로 특정한 누군가를 지지하는 방식이 아닌 모든 사람에게 혜택이 들어가야 하며 포용가능해야 합니다. 그렇기에 OpenAI는 AI의 강력한 시스템의 거버넌스와 결정은 대중의 감독이 필수적이라고 생각하고 있습니다. OpenAI가 생각하는 Responsible AI의 행보도 구글처럼 기대가 됩니다.