AI가 만든 신약 후보, 과연 믿을 수 있을까?
말라리아 치료제 발굴을 위한 공개 검증 프로젝트, Open Discovery Challenge
AI는 이제 하루에도 수천 개의 새로운 분자를 만들어낼 수 있다.
그러나 신약 개발에서 정말 어려운 문제는 분자를 많이 만드는 일이 아니다. AI가 제안한 물질 가운데 어떤 것이 실제 연구할 가치가 있는지를 제대로 가려내는 일이다.
겉으로 그럴듯한 화학 구조라고 해서 모두 약이 되는 것은 아니다.
- 실제로 말라리아 원충을 억제하는가?
- 사람의 정상적인 효소에는 영향을 주지 않는가?
- 몸속에서 필요한 곳까지 도달할 수 있는가?
- 독성이나 부작용 위험은 낮은가?
- 기존 물질을 조금 바꾼 것에 불과하지 않은가?
- 현실적인 방법으로 합성할 수 있는가?
이 질문에 답하지 못한다면 AI가 아무리 많은 분자를 만들어도 신약 개발은 앞으로 나아가기 어렵다.
비드래프트가 공개한 Open Discovery Challenge는 바로 이 문제를 해결하기 위한 공개 프로젝트다.
우리가 말라리아를 선택한 이유
2023년 한 해 동안 말라리아로 목숨을 잃은 사람은 약 59만 7천 명에 달한다.
그중 약 4분의 3이 다섯 살 미만의 어린이였으며, 전체 사망자의 약 95%가 아프리카에서 발생했다.
한국에서는 말라리아가 멀리 있는 질병처럼 느껴질 수 있다. 그러나 부모가 어린 자녀를 잃는 슬픔에는 국경이 없다. 치료할 가능성이 있는데도 연구비와 시장성이 부족하다는 이유로 충분한 기회를 얻지 못한다면, 그것은 과학만의 문제가 아니다.
결국 사람이 어디에서 태어났는지에 따라 치료제를 만날 가능성까지 달라지는 문제다.
AI와 오픈소스 기술은 이러한 격차를 줄일 새로운 수단이 될 수 있다. 값비싼 탐색 과정의 일부를 자동화하고, 세계 각지의 연구자와 개발자가 같은 문제에 참여할 수 있도록 연구의 문턱을 낮출 수 있기 때문이다.
하지만 AI가 만든 후보를 제대로 평가할 방법이 없다면 가능성은 가능성으로만 남는다.
그래서 이번 도전은 단순히 새로운 분자를 만드는 경진대회가 아니다. 좋은 후보를 공정하고 투명하게 골라내는 공개 검증 체계를 함께 만드는 실험이다.
목표는 말라리아 원충의 생존 경로를 차단하는 것
이번 프로젝트가 겨냥하는 표적은 PfDHODH다.
PfDHODH는 말라리아 원충이 살아가는 데 필요한 효소다. 이 효소의 기능을 효과적으로 억제하면 원충의 생존과 증식을 막을 가능성이 있다.
그러나 PfDHODH에 강하게 결합한다고 해서 곧바로 좋은 치료제 후보가 되는 것은 아니다.
우리 몸에도 구조가 비슷한 인간 DHODH 효소가 있기 때문이다. 말라리아 원충의 효소는 강하게 억제하면서 사람의 효소는 가급적 건드리지 않아야 한다.
후보 물질은 적혈구막과 원충막도 통과해야 한다. 시험관 안에서만 잘 작동하고 실제 필요한 위치까지 도달하지 못한다면 치료제로서 의미가 없다.
좋은 후보는 강하기만 해서는 안 된다.
필요한 곳에서는 강하고, 피해야 할 곳에서는 조심스러워야 한다.
한 줄짜리 점수로 약을 판단하지 않는다
Open Discovery Challenge는 후보 물질을 여섯 가지 관점에서 평가한다.
| 평가 영역 | 배점 | 확인하는 내용 |
|---|---|---|
| 원충 세포 억제 효과 | 30점 | 실제 말라리아 원충 환경에서 효과를 기대할 수 있는가 |
| PfDHODH 결합력 | 20점 | 목표 효소를 충분히 강하게 억제할 수 있는가 |
| 인간 효소 선택성 | 20점 | 사람의 DHODH보다 원충 효소를 선택적으로 공격하는가 |
| ADMET | 15점 | 흡수·분포·대사·배설·독성 특성이 적절한가 |
| 신규성 | 10점 | 기존 물질을 단순히 모방한 것은 아닌가 |
| 합성 가능성 | 5점 | 실제 연구실에서 만들 수 있는 구조인가 |
이렇게 여러 기준을 함께 보는 이유는 명확하다.
효과가 강해도 사람에게 위험하면 안 된다. 독성이 낮아도 원충을 억제하지 못하면 의미가 없다. 계산상 훌륭해 보여도 실제로 합성할 수 없다면 다음 실험으로 이어질 수 없다.
신약 후보는 어느 한 과목의 성적만 좋아서는 부족하다. 여러 조건을 균형 있게 통과해야 한다.
참가자를 평가하기 전에 심판부터 검증했다
평가 시스템은 참가자가 제출한 분자에 점수를 매기는 심판이다.
그렇다면 심판은 누가 평가해야 할까?
우리는 챌린지를 공개하기 전에 평가 시스템 자체를 먼저 시험했다. 이 과정에서 총 14개의 결함을 발견했다.
일부는 작은 구현 오류였지만, 결과의 의미를 뒤집을 수 있는 문제도 있었다.
승인된 치료제마저 탈락시킨 독성 기준
초기의 독성 판정 기준을 적용했더니 이미 사용되고 있는 말라리아 치료제 세 가지가 모두 탈락했다. 심지어 일상적으로 마시는 커피까지 위험 물질처럼 판정됐다.
이 결과는 기준이 지나치게 엄격하거나 현실과 맞지 않는다는 신호였다.
그래서 원칙을 다시 세웠다.
승인된 의약품조차 통과하지 못하는 기준이라면 새로운 후보를 탈락시키기 전에 그 기준부터 의심해야 한다.
안전 기준을 낮춘 것이 아니다. 현실적인 기준인지 먼저 확인한 것이다.
임상 후보와 카페인의 차이를 흐린 계산
분자 크기에 따른 영향을 보정하는 과정에서 임상 후보 물질인 DSM265와 카페인의 점수가 거의 비슷해지는 문제가 발생했다.
- DSM265: 0.369
- 카페인: 0.354
신약 후보의 효능과 관계없는 물질이 비슷한 평가를 받는다면 점수 체계를 믿기 어렵다.
이를 해결하기 위해 최소 효능 기준을 추가했다. 분자가 작다는 이유만으로 높은 평가를 받지 못하도록 하고, 실제 효능이 일정 수준 이상일 때만 보정 점수를 인정하도록 수정했다.
13나노몰이 248마이크로몰로 바뀐 오류
특정 예측 경로에서는 문헌상 13나노몰 수준인 값이 248마이크로몰로 반환됐다.
단위만 놓고 보면 약 1만 9천 배나 차이가 나는 결과다.
문제는 핵심 예측 모델이 아니라 모델을 호출하는 중간 연결 경로에 있었다. 직접 호출하면 정상적인 값이 나왔지만, 잘못 연결된 경로를 거치면 전혀 다른 결과가 반환됐다.
이 사례는 AI 시스템에서 모델의 성능만큼 데이터와 호출 경로를 검증하는 일이 중요하다는 사실을 보여준다.
조용히 틀리는 오류가 더 위험하다
어떤 오류는 프로그램을 멈추게 한다. 이런 문제는 오히려 발견하기 쉽다.
더 위험한 것은 시스템이 정상적으로 작동하는 것처럼 보이면서 잘못된 결과를 내놓는 경우다.
분자 지문을 복원하는 함수가 잘못 사용됐지만 프로그램은 멈추지 않았다. 결과도 그럴듯한 숫자로 출력됐다.
이 문제는 입력값을 변환한 뒤 다시 원래 형태로 복원해 비교하는 왕복 검증을 통해 발견했다.
값을 만들어내는 것만으로는 충분하지 않다. 그 값이 올바른 경로를 거쳐 만들어졌는지 확인해야 한다.
90%라고 썼다면 실제로도 90%여야 한다
평가 시스템은 예측값과 함께 불확실성 범위를 제시한다.
처음에는 90% 신뢰구간이라고 표시했지만, 실제 측정 결과는 약 83%만 포함하고 있었다. 이름은 90%였지만 현실에서는 그렇지 않았던 것이다.
우리는 측정된 포함률이 실제로 90%에 도달할 때까지 구간을 다시 조정했다. 최종 측정값은 약 90.01%였다.
AI의 신뢰도는 라벨로 결정되지 않는다.
90%라고 주장하려면 실제 데이터에서도 90%여야 한다.
좋은 후보와 좋지 않은 후보를 구별할 수 있는가
평가 시스템이 제대로 작동하는지 확인하기 위해 잘 알려진 물질들을 대조군으로 사용했다.
| 기준 물질 | 점수 | 해석 |
|---|---|---|
| DSM265 | 50.9 | 말라리아 표적에 맞게 개발된 임상 후보 |
| Brequinar | 4.0 | 인간 DHODH에 강하게 작용하는 물질 |
| Teriflunomide | 2.8 | 인간 DHODH 억제제로 사용되는 의약품 |
| Ibuprofen | 1.9 | 일반적인 진통·소염제 |
| Caffeine | 1.8 | 효능 비교를 위한 비활성 대조군 |
DSM265는 인간 DHODH에서 말라리아 표적보다 약 46배 약한 활성을 보였다. 반면 Brequinar는 인간 효소에 6나노몰 수준으로 강하게 작용했다.
따라서 Brequinar는 단순 결합력만 보면 강한 물질이지만, 말라리아 치료제 후보로서는 선택성 문제가 크다. 평가 시스템은 이러한 차이를 점수에 반영해야 한다.
좋은 심판은 높은 숫자를 만드는 시스템이 아니다.
좋은 후보는 높게, 위험하거나 무관한 물질은 낮게 평가할 수 있어야 한다.
왜 공개 리더보드인가
폐쇄된 평가 시스템에서는 점수만 확인할 수 있다. 참가자는 자신이 왜 높은 점수나 낮은 점수를 받았는지 알기 어렵다.
Open Discovery Challenge는 평가 기준과 각 항목의 의미를 공개한다. 참가자는 단순히 순위를 확인하는 데 그치지 않고 자신의 후보가 어느 부분에서 강하고 약한지 살펴볼 수 있다.
이 공개 구조에는 세 가지 의미가 있다.
1. 누구나 검토할 수 있다
평가 기준과 결과가 공개되면 오류를 더 빨리 발견할 수 있다. 권위 있는 기관이 만들었다는 이유만으로 결과를 믿는 것이 아니라, 다른 연구자와 개발자가 직접 확인할 수 있다.
2. 실패도 연구 자산이 된다
잘못된 기준과 실패한 예측 경로를 숨기지 않으면 같은 실수를 반복하는 비용을 줄일 수 있다. 실패를 공개하는 것은 체면을 잃는 일이 아니라 공동 연구의 출발점을 만드는 일이다.
3. 연구 참여의 문턱을 낮춘다
대규모 제약회사나 연구기관이 아니더라도 후보 물질을 제안하고 같은 기준으로 평가받을 수 있다. 좋은 아이디어가 소속과 자본의 크기 때문에 시작도 못 하는 일을 줄일 수 있다.
계산 결과는 아직 약이 아니다
이 프로젝트의 경계는 분명하다.
높은 점수를 받은 분자가 곧바로 치료제가 되는 것은 아니다. 리더보드 점수는 세포실험, 동물실험 또는 임상시험 결과가 아니다.
계산 모델은 다음 실험에 사용할 시간과 비용을 어디에 먼저 배분할지 결정하는 데 도움을 주는 도구다.
높은 점수의 의미는 다음과 같다.
이 물질은 제한된 연구 자원을 들여 추가 검증할 가치가 상대적으로 높다.
그 이상도, 그 이하도 아니다.
AI는 실험을 대신하지 않는다. 대신 수많은 가능성 가운데 실제 실험으로 넘길 후보를 더 체계적으로 좁혀줄 수 있다.
발견의 경쟁을 넘어 검증의 협력으로
지금까지 AI 경쟁은 주로 누가 더 크고 빠른 모델을 만드는지에 집중해 왔다. 그러나 과학연구에서 중요한 것은 답을 빨리 내놓는 능력만이 아니다.
그 답이 맞는지 확인하고, 틀렸다면 이유를 찾고, 다른 사람이 같은 결과를 재현할 수 있게 만드는 능력이 필요하다.
Open Discovery Challenge가 묻는 것은 단순하다.
AI가 새로운 분자를 만들 수 있다면, 우리는 그 분자를 믿을 수 있는지 판단하는 공개된 심판도 함께 만들 수 있는가?
말라리아로 목숨을 잃는 아이들에게 AI 점수는 아직 치료제가 아니다.
하지만 가능성 있는 후보를 더 빠르고 투명하게 찾아 실제 실험으로 연결할 수 있다면, 발견과 치료 사이의 긴 거리를 조금은 줄일 수 있다.
누군가에게는 하나의 리더보드일 수 있다.
그러나 다른 누군가에게는 충분한 관심을 받지 못했던 질병에 더 많은 연구자와 기술을 연결하는 새로운 길이 될 수 있다.
우리가 만들고자 하는 것은 가장 화려한 AI가 아니다.
사람에게 필요한 문제를 발견하고, 그 답을 공개적으로 검증하며, 실제 과학의 다음 단계로 이어주는 AI다.
Open Discovery Challenge 참여 안내
참가자는 AI 또는 계산화학 방법을 이용해 말라리아 치료제 후보 분자를 설계하고, 지정된 형식의 SMILES 구조를 제출할 수 있다.
제출된 후보는 다음 여섯 영역에서 평가된다.
- 원충 세포 억제 효과
- PfDHODH 결합력
- 인간 효소 선택성
- ADMET
- 신규성
- 합성 가능성
자세한 평가 방법과 참가 절차는 아래 원문에서 확인할 수 있다.
Open Discovery Challenge 참가 링크: Open Discovery Challenge - a Hugging Face Space by FINAL-Bench
주의: 본 챌린지의 결과는 계산 기반 연구 우선순위다. 실험적 효능, 임상적 안전성 또는 의약품으로서의 유효성을 입증하거나 보증하지 않는다.