오픈AI가 의약화학 AI 평가 도구 ‘메드켐벤치’를 공개했다. GPT-6 Astra의 후보 순위·선택 점수는 xhigh 설정에서 50.42%로, 분자 구조 재구성 점수 95.37%와 차이가 났다.
오픈AI(OpenAI)는 20일 공식 발표에서 GPT-6.2 Astra가 xhigh 추론 설정에서 획득 가능한 점수의 84.5%를 얻었다고 밝혔다. 같은 설정에서 GPT-6 Astra는 83.3%, GPT-6.1 Sol은 82.0%, GPT-5.6 Sol은 58.2%를 기록했다.
의약화학은 질병 관련 단백질에 작용할 분자를 설계하고 시험 결과를 바탕으로 구조를 다듬는 분야다. 표적을 강하게 억제하는 분자라도 체내 흡수가 나쁘거나 빨리 분해될 수 있어 연구자는 여러 특성을 함께 고려해야 한다.
메드켐벤치는 논문과 특허 117건을 바탕으로 만든 과제 99개와 서로 다른 분자 구조 761개로 구성됐다. 평가 대상은 분자 구조를 읽고 실험 근거를 해석해 다음에 시험할 화합물을 고르는 과정이다.
각 과제는 연구의 특정 단계까지 알려진 생물학적 표적과 후보 분자, 실험 결과를 제시한다. 후속 연구에서 나온 결과는 모델에게 보여주지 않고 답안의 기준으로 활용했다.
과제는 통합 후보 선택 48개, 구조·활성 관계 예측 26개, 흡수·분포·대사·배설(ADME)과 전달 8개, 안전성 4개, 분자 설계·구조 구성 6개, 시험 생물학·기전 3개, 역합성 4개로 나뉜다. 역합성은 목표 분자를 만들 수 있는 화학 반응 경로를 거꾸로 따져보는 작업이다.
채점 항목은 △분자 구조 재구성 △실험 근거에 기반한 과학적 설명 △후보 물질 순위와 선택 △물성 수치 예측이다. 연구진은 정해진 규칙에 따른 채점과 평가 기준표를 활용했다.
발표 점수는 문항 정답률이 아니라 모델이 획득 가능한 점수 중 얻은 비율이다. 수치 예측은 실제 측정값에 얼마나 가까운지에 따라 부분 점수를 받을 수 있어, 84.5%를 신약 개발 성공률이나 정답 문항 비율로 해석할 수 없다.
오픈AI 연구진의 평가 논문에서 GPT-6 Astra는 xhigh 설정 기준 분자 구조 재구성 95.37%, 과학적 설명 91.05%, 후보 순위·선택 50.42%, 수치 예측 47.02%를 기록했다. 구조와 실험 근거 설명에 비해 후보를 고르고 물성을 수치로 예측하는 항목에서 점수가 낮았다.
세부 점수는 항목별 과제와 채점 기준이 달라 종합 점수와 단순 비교할 수 없다. 연구진은 구조 재구성에 강점을 보인 모델도 후보 선택과 수치 예측에는 개선 여지가 있다고 설명했다.
항암제 연구 표적인 PRMT5를 다룬 과제는 서로 다른 분자 특성을 함께 평가하는 방식을 보여준다. 모델은 앞선 실험 자료를 바탕으로 유사한 화합물 세 개의 표적 억제력, 세포 장벽 통과 정도, 간 효소에 의한 분해 속도를 예측해야 했다.
후속 실험에서는 23번 화합물이 더 낮은 농도에서 PRMT5를 억제했다. 반면 24번은 세포 장벽을 더 잘 통과했고 간 효소 실험에서 더 천천히 분해됐다.
분자 그림을 정확히 읽는 능력도 별도로 시험했다. 18개 원자로 된 고리 구조를 유지해 분자를 조립하는 과제에서 GPT-6 Astra는 10차례 모두 구조를 재현했지만 GPT-5.6 Sol과 GPT-5.6 Luna는 각각 10차례 모두 실패했다.
평가 문항의 공개 여부와 채점 방식은 벤치마크 결과의 해석에 영향을 줄 수 있다.
오픈AI는 모델이 원 논문과 특허를 학습 과정에서 접했을 가능성을 배제할 수 없다고 밝혔다. 답변은 도구 사용이나 피드백, 새 실험 없이 한 번씩 받았으며, 이번 평가가 AI의 실제 신약 발견이나 실험실 판단 개선을 입증하지는 않는다고 설명했다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular