안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다!
오늘은 Hugging Face에 올라온 webapp generator, 이미지를 3D모델로 바꿔주는 NeRF의 새로운 기법, 로봇공학에서 사용하는 ChatGPT에 대한 내용입니다.
Hugging Face 블로그에 새로운 뉴스가 전해졌는데요,스크립트를 입력하면 자동으로 웹을 만들어주는 서비스에 대한 내용이 바로 그것입니다. 해당 프로그램의 이름은 Webapp Factory인데요. 자동으로 Node.JS기반 웹을 만들어준다고 합니다. 해당 앱은 추론할 때 WizardCoder-15B를 사용하고 있으며 LLaMA-node도 함께 사용하고 있다고 합니다. 해당 튜토리얼을 그대로 따라하게 되면 Webapp Factory가 만들어집니다. 물론 클라우드 연결과 같이 별도 비용이 발생하고 아직 완벽하게 웹을 구현하는 것은 아닙니다. 하지만 그래도 text-to-web의 첫 페이지를 장식한 것 같아 몹시 기대가 됩니다!
2D와 3D 디퓨젼 을 이용해서 하나의 이미지를 3D로 바꿔주는 생성모델이 나왔다는 뉴스를 알려드드립니다. 보통 이미지를 기반으로 3D로 바꿔주는 모델은 NeRF(Neural Radiance Field)라고 하는데요, 이번 논문은 NeRF와 Diffusion을 결합하는 방식을 택하고 있습니다. 첫 번째 단계에서는 NeRF로 메모리 효율적인 3D메시를 만들고 두 번째 단계에서는 메모리 효율적인 3D메시를 고해상도로 바꾸는 작업을 합니다.해당 모델은 이전에 있었던 image-to-3D 모델과 비교했을 때 기준으로 보면 정말 많은 개선이 이뤄졌습니다.해당 모델은 깃헙 에서도 확인해보실 수 있으니 관심있는 분들은 사용해보시는 것을 강추드려요!
이번 논문은 로봇 공학에서 어떻게 ChatGPT를 사용하는지에 대한 새로운 논문입니다.해당 논문에서 다루는 내용은 로봇 공학에서의 프롬프트 엔지니어링에 관한 내용으로 프롬프트 엔지니어링 설계원칙을 만들고 시뮬레이션이 가능하도록 대응하는 함수 라이브러리 체계까지 만들었다고 합니다. 정말 대단하죠! 이 연구는 비단 로봇을 움직이는 것을 넘어서서 기본적인 논리, 추론부터 시작해서 항공 네비게이션, 조작, 에이전트 구현등 다양한 영역의 로봇공학을 커버합니다. 당연히 이 부분에서의 챗GPT의 활약은 매우 눈부신데요, 연구진들은 ChatGPT와 로봇공학을 연결하는 모델을 PromptCraft라고 명명했으며 프롬프트 엔지니어링의 결과물 공유하고 투표할 수 있는 플랫폼 또한 따로 만들어서 운영하고 있다고 합니다! 해당 모델에 대한 데모는 여기서 확인가능합니다!
AI학교 아이펠 ‘쏘카 캠퍼스’에서 데이터 AI 엔지니어로 함께 성장해요!
아이펠 캠퍼스 - 모두의연구소가 만든 AI학교 아이펠 (aiffel.io)