[GN] XrayGPT: 메디컬 비전-언어 모델(VLM)을 이용한 흉부 방사선 사진 요약

읽을거리&정보공유
, , , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

  • 흉부 방사선 엑스레이 사진을 자동 분석하는 연구
  • Vicuna LLM을 메디컬 데이터(10만개의 환자/의사간의 실제 대화)와 3만개의 방사선학(Radiology)대화 기반으로 파인 튜닝
  • 무료 텍스트 방사선학 리포트 데이터셋(MIMIC-CXR 과 Openl)으로부터 대화형으로된 깔끔한 요약(~217k)를 생성하여 LLM 성능을 향상
  • Frozen Medical Visual Encoder(MedClip)을 파인튜닝된 LLM(Vicuna)에 얼라인(Simple Linear Transformation을 이용)

원문

소개 영상

논문

GitHub 저장소

https://github.com/mbzuai-oryx/xraygpt

출처 / GeekNews