SymptomAI 소개
몸에 이상 증상이 생겼을 때, 우리는 병원 예약을 잡기 전에 먼저 검색창이나 AI 챗봇을 켜서 "이 증상이 대체 무슨 병일까"를 물어보곤 합니다. 실제로 요즘 대화형 AI에 던지는 질문 중 많게는 다섯 개 가운데 하나가 의료 관련이고, 최근 조사에서는 건강과 웰빙이 사람들이 AI에 가장 많이 구하는 조언 주제로 전체의 25\% 이상을 차지했습니다.
이 논문은 이렇게 "AI에게 증상을 물어보는" 일상적 행동이 과연 얼마나 정확한지를 실제 사용자 규모에서 처음으로 엄밀하게 검증한 연구입니다. Google Research와 Google DeepMind 팀은 SymptomAI 라는 대화형 AI 에이전트를 Fitbit 앱을 통해 미국 전역에 배포하고, 총 13{,}917 명의 연구 참여자가 자신의 증상을 SymptomAI에게 설명하도록 했습니다. 그 결과, SymptomAI가 제시한 감별 진단(differential diagnosis, DDx)이 동일한 대화 기록을 본 실제 임상의의 진단보다 통계적으로 유의하게 더 정확했다는(OR = 2.56 , p < 0.001 ) 결론을 얻었습니다.
왜 지금 이 연구가 중요한가
최근 대형 언어 모델(Large Language Model, LLM)은 정제된 의료 사례집이나 시험 문제 형태의 벤치마크에서 임상 전문가와 대등하거나 오히려 더 나은 진단 성능을 보여 왔습니다. 임상 병력 청취(history taking), 즉 환자와의 자연어 대화만으로 전체 진단의 75 ~ 80\% 의 근거를 확보할 수 있다는 점을 고려하면, 정확한 진단 능력을 갖춘 언어 모델은 의료 접근성을 크게 개선할 잠재력을 지닙니다. 의료 전문성에 대한 접근은 시간적으로도 지리적으로도 여전히 희소하기 때문입니다.
문제는 이런 화려한 벤치마크 성적이 실제 세상에서도 그대로 재현되는지가 전혀 검증되지 않았다는 점입니다. 기존 평가는 대부분 합성 데이터, 단일 턴 질의응답, 혹은 아주 상세하게 기술된 희귀하고 복잡한 사례에 의존했습니다. 이는 의학 지식이 제각각인 일반인이 디지털 인터페이스를 통해 대화하듯 두서없이 전달하는 실제 증상 호소와는 거리가 멉니다.
기존 접근법과 그 한계
이 분야의 기존 해법들은 각기 뚜렷한 한계를 안고 있었습니다.
첫째, 전통적인 온라인 증상 체커(online symptom checker) 입니다. 자가 보고한 증상 목록으로부터 가능한 진단 후보를 제시하는 웹 기반 도구들인데, 여러 체계적 문헌 고찰에서 진단 정확도가 20 ~ 40\% 사이로 낮고 편차가 컸습니다. 2015 년의 한 리뷰에서는 23 개 증상 체커가 첫 번째 진단을 맞힌 비율이 겨우 34\% 에 그쳤습니다.
둘째, 정제된 임상 사례에 적용한 LLM 입니다. 앞서 언급했듯 벤치마크에서는 훌륭하지만, 평가 데이터 자체가 현실과 동떨어져 있다는 근본적 문제가 있습니다. 특히 결정적인 증거는 일반인이 정보를 전달하는 순간 성능이 무너진다는 관찰입니다. 한 연구에서는 AI가 임상 사례 요약본을 직접 처리할 때의 정확도가 94.5\% 였지만, 같은 정보를 일반인이 대화로 전달하자 34.5\% 로 급락했습니다. 비전문가가 전달하는 정보가 불완전하거나 왜곡되기 때문입니다.
바로 이 지점이 이 연구가 파고든 빈틈입니다. 모델의 진단 추론 능력이 아무리 뛰어나도, 실제 사용자가 필요한 정보를 충분히 제공하지 못하면 그 능력은 발휘될 수 없습니다. 그런데 지금 시중의 모든 주요 소비자용 LLM은 사용자가 알아서 정보를 주기를 기다리는 사용자 주도(user-guided) 방식으로 작동합니다.
발상의 전환: 실제 사용자에게, 그리고 모델이 직접 묻게 하라
SymptomAI 연구팀의 접근은 두 가지 발상 전환에서 출발합니다. 하나는 정제된 사례집이 아니라 실제 건강 문제를 가진 일반인 수만 명을 대상으로 국가 규모의 무작위 배정 연구를 수행한 것입니다. 다른 하나는 AI가 수동적으로 답만 기다리는 대신, 마치 진료실의 의사처럼 먼저 후속 질문을 던져 필요한 정보를 능동적으로 이끌어내는(elicit) 문진을 하도록 설계한 것입니다.
미리 핵심 결과를 말하자면, 이 능동적 문진 전략은 현재 챗봇의 기본값인 사용자 주도 대화보다 진단 정확도를 평균 27.57\% 나 끌어올렸고, 최종적으로 SymptomAI의 감별 진단은 블라인드 평가에서 실제 임상의의 진단을 앞질렀습니다.
SymptomAI는 어떻게 작동하는가
스마트폰 앱을 통한 9개월 국가 규모 배포
이 연구의 가장 큰 차별점은 통제된 실험실이 아니라 실제 세상에서 진행되었다는 점입니다. SymptomAI는 Fitbit 앱 안의 Fitbit Labs 연구 환경을 통해 2025 년 6월부터 2026 년 4월까지 약 9개월간 미국 전역에 배포되었습니다. 앱 내 알림을 통해 40{,}000 명의 Fitbit 사용자가 연구에 등록되었고, 이 중 13{,}917 명이 최소 한 번 이상 SymptomAI와 완전한 대화를 마쳤습니다.
참여 흐름은 위 앱 화면에서 볼 수 있습니다. 참여자가 증상을 자유롭게 서술하면(예: "목 왼쪽이 뻐근해요, 대략 중간쯤이요"), SymptomAI가 후속 질문을 던지고, 대화 끝에 현병력(history of present illness, HPI) 요약과 함께 가능성 있는 진단 후보 목록(DDx) 및 다음 단계 권고를 제시합니다. 참여자는 이후 실제 의료진을 방문할 수 있었고, 2주 뒤 인앱 설문을 통해 진료 결과(의료진이 내린 진단)를 보고하도록 요청받았습니다. 모든 과정은 사전 동의(informed consent) 하에 이루어졌으며, 연구 목적의 비개입 관찰 연구로 명확히 고지되었습니다. 최종적으로 1{,}228 명이 의료진의 진단을 자가 보고했습니다.
다섯 가지 프롬프트 전략: 얼마나 능동적으로 물을 것인가
연구의 핵심 실험 설계는 "AI가 문진을 얼마나 능동적으로 주도하는가"를 다섯 단계로 나눈 것입니다. 참여자는 다음 다섯 개 arm(연구군) 중 하나에 무작위로 배정되었으며, 각 arm은 SymptomAI에게 서로 다른 시스템 프롬프트를 부여했습니다. 모든 SymptomAI 에이전트는 Gemini 2.0 Flash 를 기반으로 구축되었습니다.
- Arm 1, Base : 특별한 지시 없이 건강 이외 주제만 차단한, 사용자 주도 방식입니다. 사람들이 별도 설정 없이 일반 챗봇에 증상을 물어보는 현재의 기본 경험을 재현합니다.
- Arm 2, Fixed Canonical : 의과대학에서 가르치는 표준 병력 청취 질문(발병 시점, 위치, 증상의 성질, 악화 및 완화 요인, 중증도, 동반 증상 등)을 고정된 순서로, 최대 6턴 안에 묻는 "낮은 자율성" 조건입니다.
- Arm 3, Flexible Canonical : Arm 2와 같은 정보를 얻되, 정해진 문장 대신 대화 흐름에 맞춰 유연하게 질문할 수 있게 한 조건입니다.
- Arm 4, Dynamic Live : 어떤 질문을 할지 완전히 AI의 자율에 맡기고, 매 턴마다 잠정적인 최선의 DDx를 함께 제시하도록 한 조건입니다.
- Arm 5, Dynamic Final : Arm 4와 유사하되, 중간 DDx 없이 대화 종료 시점에만 최종 DDx를 제시하는 조건입니다.
여기서 핵심 대비는 Base(수동적) 대 나머지 네 arm(능동적 문진) 입니다. Arm 2부터 5까지는 정해진 질문이든 자유로운 질문이든, 어떤 식으로든 사용자로부터 더 많은 정보를 이끌어내도록 강제되었습니다.
임상 전문가 주도 평가 설계
SymptomAI의 진단을 무엇과 비교할 것인가도 이 연구의 정교한 부분입니다. 연구팀은 517 개의 대화 사례를 골라, 1차 진료, 응급 진료, 학술 의료 분야에서 35 년 이상의 경력을 가진 가정의학과 전문의 3명으로 구성된 패널이 250 시간이 넘는 주석 작업을 수행하도록 했습니다.
각 사례마다 세 개의 감별 진단이 만들어졌습니다. 하나는 SymptomAI가, 나머지 둘은 동일한 대화 기록을 검토한 독립적인 임상의("baseline clinician")가 작성한 것입니다. 그런 다음 또 다른 독립 임상의("clinical rater")가 이 세 진단의 작성자와 실제 정답 진단을 모두 모르는 블라인드(blinded) 상태에서 순위를 매기고 정확도를 평가했습니다. 즉, 사람 대 AI를 공정하게 겨루게 한 셈입니다.
LLM 자동 채점기로 평가 규모 확장
3명의 임상의가 수동으로 검토할 수 있는 사례에는 한계가 있습니다. 연구팀은 이 병목을 넘기 위해 Gemini 2.5 Pro 기반의 자동 채점기(auto-rater), 즉 LLM 검증기를 도입했습니다. 이 자동 채점기는 앞서 임상의가 평가한 517 개 사례에 대해 임상의 판정과 얼마나 일치하는지 검증되었으며, AUC = 0.866 , F1 = 0.918 의 높은 정합성을 보였습니다.
흥미롭게도 불일치의 대부분은 임상의가 보수적으로 판단한 경우에 자동 채점기가 일치로 본 데서 비롯되었는데, 이는 LLM에서 알려진 아첨(sycophancy) 경향과 맞닿아 있습니다. 연구팀은 이 검증을 근거로 자동 채점기를 신뢰하고, 이를 진단을 자가 보고한 전체 참여자로 평가 범위를 확장하는 데 사용했습니다.
실험 결과: 임상의를 능가하는 진단 정확도
정보를 더 이끌어내는 대화가 이긴다
가장 근본적인 발견부터 살펴보겠습니다. 위의 프롬프트 전략별 정확도 그래프를 보면, 능동적으로 정보를 이끌어낸 Arm 2부터 5까지가 수동적인 Base 조건을 모두 통계적으로 유의하게 앞질렀습니다(Arm 2: p = 0.003 , Arm 3: p < 0.001 , Arm 4: p = 0.003 , Arm 5: p = 0.022 ). 평균적으로 능동적 문진은 Base 대비 27.57\% 높은 정확도를 기록했습니다.
여기서 한 걸음 더 들어간 발견이 있습니다. 정해진 질문 없이 AI에게 완전히 자율성을 준 동적 전략(Arm 4, 5, 합산 정확도 72.07\% )이, 의과대학에서 가르치는 표준 병력 청취 질문을 그대로 쓴 전략(Arm 2, 3, 합산 정확도 77.51\% )과 통계적으로 유의한 차이가 없었습니다(p = 0.235 ). 다시 말해, 모델은 사람이 정해준 문진 대본 없이도 자연스러운 대화만으로 숙련된 의사의 병력 청취에 준하는 정보를 스스로 이끌어낼 수 있었습니다.
이 결과의 실용적 함의는 큽니다. 현재 모든 주요 소비자용 LLM은 정보를 강제로 이끌어내지 않는 사용자 주도 방식을 씁니다. 즉, 아주 흔한 사용 사례인 증상 확인에서 이 모델들이 개선할 여지가 크다는 뜻입니다.
모델을 키우는 것보다 문진 방식이 더 중요했다
이 결과에서 특히 곱씹어 볼 지점은, 성능을 끌어올린 지렛대가 더 큰 모델이 아니라 문진 방식이었다는 것입니다. SymptomAI는 연구 시작 시점의 최신 모델인 Gemini 2.0 Flash로 구축되었는데, 연구팀은 이후 공개된 상위 모델(Gemini 2.5 Flash, Gemini 2.5 Pro)로 동일한 대화 기록에서 감별 진단을 다시 생성해 자동 채점기로 비교했습니다. 그 결과 모델이 최신화되고 커질수록 진단 성능이 향상되긴 했지만 그 폭은 미미했습니다. 반면 앞서 본 수동적 Base와 능동적 문진 전략 사이의 격차는 훨씬 컸습니다. 다만 이 비교는 이미 만들어진 대화 기록에 대한 진단 추론만 다시 평가한 것이어서, 상위 모델이 문진 자체를 어떻게 다르게 진행했을지는 확인할 수 없다는 한계가 있습니다.
바꿔 말하면, 소비자용 의료 AI를 개선하려 할 때 더 강력한 모델을 기다리기보다 지금 당장 대화 설계를 바꾸는 편이 더 효과적일 수 있다는 뜻입니다.
블라인드 평가에서 임상의가 SymptomAI를 선호했다
작성자를 모르는 블라인드 상태에서 임상의들에게 세 개의 DDx 중 가장 우수한 것을 고르게 했을 때, SymptomAI의 진단이 1위로 선택된 비율은 53.3\% 로, 임상의가 작성한 진단(23.5\% )을 크게 앞섰습니다. 이는 우연 수준(P = 0.33 )을 훌쩍 넘는 유의한 선호로, 오즈비(odds ratio) 2.34 , Cohen's h = 0.42 의 일관된 효과 크기를 나타냈습니다. 논문은 "임상 평가자들의 SymptomAI 선호가 가장 높은 품질의 대화에서 가장 두드러졌다" 고 강조하는데, 이는 정보가 가장 완비된 상황, 즉 임상의에게 가장 유리한 조건에서도 SymptomAI가 우세했음을 뜻합니다.
Top-5 정확도에서도 임상의를 앞질렀다
선호도뿐 아니라 정답과 대조한 정량적 정확도에서도 결과는 같았습니다. 참여자가 실제 의료진에게서 받은 진단이 DDx 상위 5개 안에 포함되는지를 따진 top-5 정확도에서, SymptomAI는 73\% 로 임상의의 60\% 를 앞질렀습니다(McNemar 검정: Median OR = 2.56 , p < 0.001 ). 이 우위는 앞서 언급한 최고 품질 대화 부분집합에서도 유지되었습니다.
임상의가 확신이 없을 때 격차는 더 벌어졌다
이 논문에서 특히 흥미로운 분석은 임상의가 자신의 진단에 얼마나 확신하는지에 따라 결과를 나눠 본 것입니다. 임상의가 자기 진단에 확신을 가진 사례에서는 SymptomAI와 임상의의 성능이 비슷했습니다. 그러나 임상의가 중립이거나 확신이 없다고 답한 사례에서는 SymptomAI가 임상의를 유의하게 앞섰습니다(p < 0.001 ). 즉, 사람 전문가의 판단을 흔드는 애매하고 정보가 부족한 상황일수록 SymptomAI가 더 강건(robust)했습니다.
일반 인구 집단으로의 일반화
Fitbit 사용자 집단은 성별에서 뚜렷한 편향(참여자의 68.3\% 가 여성)이 있어, 이 결과가 일반 인구에도 통할지 확인할 필요가 있었습니다. 연구팀은 Fitbit 사용자로 한정되지 않은 일반 인구 패널(Toluna)에서 1{,}509 명의 증상 평가와 자가 보고 진단을 추가로 수집했습니다. 이 보조 집단은 구조화된 설문을 대화 형식으로 재구성한 것으로, 질병 분포도 원 연구와 상당히 달랐습니다(V = 0.3899 ). 그럼에도 보조 집단의 top-5 정확도는 77.7\% 로, 원 연구 집단의 72.6\% 와 대등한 수준을 유지했습니다. 나아가 연령, 성별, 학력, 건강 정보 활용 능력별로 나눠 봐도 정확도는 대체로 일관되었고, 의료 경험이 많은 고령층이나 고학력층에서 미묘하게 높은 정도였습니다. 이는 SymptomAI의 진단 추론 능력이 특정 연구 환경이나 특정 인구 집단에 국한되지 않고 일반화될 수 있음을 시사합니다.
진단 결과가 웨어러블 생체신호와 일치한다
SymptomAI의 진단이 충분히 정확하다면, 이를 대규모 데이터 분석의 도구로 활용할 수 있습니다. 그동안 임상 라벨을 붙이는 비용이 너무 커서 인구 규모의 생리 데이터 분석은 사실상 불가능했습니다. 연구팀은 SymptomAI가 생성한 최상위 진단을 참조 라벨로 삼아, 전체 13{,}917 명 참여자의 500{,}000 일이 넘는 웨어러블 측정치를 대상으로 약 400 개 질환에 걸친 페놈 전반 연관성 분석(phenome-wide association study, PheWAS)을 수행했습니다.
그 결과, 급성 감염과 생리적 변화 사이에서 강한 연관성이 확인되었습니다(예: 인플루엔자의 경우 OR > 7 ). 위 그림은 SymptomAI가 호흡기 감염으로 진단한 1{,}546 명 코호트의 생체신호가 증상 보고 시점 직전 며칠간 어떻게 변했는지를 보여줍니다. 안정 시 심박수, 심박 변이도(HRV), 호흡수, 야간 피부 온도, 수면 중 각성 시간 등에서 뚜렷한 변화가 나타났고, 그 정점이 SymptomAI 대화 시점(0일)과 정확히 맞물렸습니다.
이 정렬은 두 방향의 통찰을 줍니다. 하나는 수면 방해 같은 체감 가능한 변화가 사람들이 의료 조언을 구하게 만드는 방아쇠일 수 있다는 점이고, 다른 하나는 야간 심박수나 HRV처럼 본인은 느끼지 못하는 신호가 질병 발현의 수동적 조기 경보로 쓰일 수 있다는 점입니다. 나아가 이런 신호를 감지해 사용자가 스스로 증상을 인지하기 전에 SymptomAI 대화를 먼저 제안하는, 선제적 분류(proactive triage)의 가능성도 열립니다.
한계점 및 시사점
연구팀은 이 결과를 과장하지 않고 여러 한계를 솔직하게 짚습니다.
첫째, 정답(ground truth) 자체의 불확실성입니다. 감별 진단은 본질적으로 모호한 작업이며, 임상 진료의 10 ~ 15\% 에서 진단 오류가 발생한다고 알려져 있습니다. 게다가 이 연구의 정답은 참여자가 자가 보고한 2차 정보이므로, 일부 라벨은 부정확하거나 진행 중인 질환에 대한 낡은 진단일 수 있습니다. 수만 명 규모로 평가를 확장하면서 어느 정도의 잡음은 불가피하게 유입되었습니다.
둘째, 비교의 공정성 문제입니다. baseline 임상의의 진단은 자신이 직접 진행한 문진이 아니라 참여자와 SymptomAI 사이의 대화 기록에 기반합니다. 임상의가 직접 문진을 주도했다면 다른 정보를 얻었을 수도 있습니다. 다만 연구팀은 정보가 완비된 고품질 대화에서도 SymptomAI가 우세했다는 점, 그리고 대화형 AI가 임상의 수준으로 증상 정보를 이끌어낼 수 있다는 선행 연구를 들어, 이 효과가 제한적이라고 봅니다. 또한 임상의는 신체 언어, 시각적 관찰, 의무 기록처럼 대화 밖의 신호를 활용할 수 있는데 이번 평가에서는 그런 정보가 배제되었습니다.
셋째, 증상 평가는 특정 시점의 스냅숏이라는 점입니다. 배포 규모 때문에 증상 보고의 빈도나 시점을 통제하지 못했고, 많은 질환은 언어적 소통만으로는 확정할 수 없어 검사나 진찰이 필요합니다. 자동 채점기의 아첨 경향 역시 정확도를 다소 낙관적으로 만들 수 있는 요인입니다.
이러한 한계에도 불구하고, 이 연구가 던지는 메시지는 분명합니다. 소비자용 LLM을 의료 상담에 쓸 때 진짜 병목은 모델의 진단 추론 능력이 아니라 정보를 이끌어내는 방식 이라는 것입니다. 사용자가 알아서 정보를 주기를 기다리는 현재의 수동적 대화를, 모델이 먼저 체계적으로 문진하는 능동적 대화로 바꾸는 것만으로도 더 안전하고 정확한 진단이 가능해집니다. 더 넓게 보면, SymptomAI처럼 임상 수준의 진단을 자동으로 라벨링하는 시스템은 그동안 비용 때문에 불가능했던 인구 규모의 건강 데이터 분석을 열어줍니다. 연구팀은 후속 연구를 위해 비식별화된 대화 데이터와 임상의 평가, 분석 코드를 검증된 연구자에게 공개한다고 밝혔습니다(다만 프라이버시 보호를 위해 원시 웨어러블 데이터는 공개하지 않습니다).
다만 SymptomAI는 어디까지나 연구용 시제품이며, 의료기기가 아니고 규제 검증을 거치지 않았습니다. 이 연구에서 생성된 모든 진단과 연관성은 연구 분석 목적의 모델 생성 결과일 뿐, 확정된 임상 진단이 아님을 저자들은 분명히 밝히고 있습니다.
SymptomAI: Toward a Conversational AI Agent for Everyday Symptom Assessment 논문
SymptomAI 소개 블로그 (Google Research)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 