오픈AI, 100개 실험 과제 공개…아스트라 평균 채점점수 66.7%

오픈AI(OpenAI)가 AI 에이전트의 습식 실험 원자료 해석 능력을 평가하는 100개 과제 벤치마크 BioBasicsBench를 6일 공개했다. 실험 사진과 기기 출력값을 읽고, 오류나 근거가 부족한 결론을 가려내는 능력을 평가한다.

오픈AI는 공식 발표에서 최고 추론 설정인 xhigh로 평가한 GPT-6 Astra의 이용 가능한 점수 평균이 66.7%였다고 밝혔다. GPT-5.6 Sol은 43.8%를 기록했다.

두 수치는 과제별 세부 채점 기준에서 얻은 점수의 평균이다. 100개 과제 중 66.7개를 맞혔다는 뜻이나 정답률·성공률을 의미하지 않는다.

이번 벤치마크는 실제 연구 성과나 실험 자동화 성공률이 아니라, 실험 자료를 읽고 판단하는 능력을 과제별로 평가한다.

오픈AI와 효소 설계에 집중하는 바이오기업 Ligo가 BioBasicsBench를 공동 개발했다. 평가 목표는 실험 원자료 해석, 실험 오류 식별, 데이터가 결론을 뒷받침하지 못하는 상황의 인식이다.

100개 과제는 △단백질 실험 △이미징·유세포 분석 △정량·분석법 △핵산 실험 △분자 클로닝 등 다섯 분야를 다룬다. 각 분야의 실험 자료와 질문을 함께 제시해 모델의 분석 능력을 살폈다.

입력 자료에는 겔·웨스턴블롯 이미지, 집락 배양판 사진, 현미경 영상, 시퀀싱 자료, 기기 출력, 실험 노트 등이 포함됐다. 논문에 정리된 그래프보다 실험자가 접하는 원자료를 다루는 데 초점을 맞췄다.

모델은 자료에서 측정값을 구하거나, 증거만으로 결론을 내릴 수 없는 상황을 짚어야 한다. 한 과제에 서로 다른 종류의 자료가 함께 들어가는 경우도 있다.

각 과제에는 과학자가 실험에서 가져온 자료와 질문, 전문가가 작성한 채점 기준이 붙는다. 답변은 결론뿐 아니라 수치와 판단 근거, 자료 부족을 알아챘는지도 기준별로 평가한다.

과제는 작성에 참여하지 않은 Ligo 과학자의 내부 검토와 외부 습식 실험 분야 박사급 과학자의 검토를 거쳤다. 이후 최종 내부 검토도 진행됐다.

평가에는 7개 모델의 37개 모델·추론 설정이 쓰였다. 각 설정은 100개 과제를 다섯 차례 수행해 총 1만8500건의 결과를 냈다.

GPT-6 Astra 평균 점수의 95% 신뢰구간은 60.3~73.1%였다. GPT-5.6 Sol의 신뢰구간은 37.6~50.0%였다.

공개된 사례에서 GPT-5.6 Sol은 한 세포 이미지의 염색 신호를 근거로 세포가 죽었다고 판단했다. GPT-6 Astra는 다른 염색 신호가 겹쳤을 수 있다며 추가 대조가 필요하다고 봤다.

한 클로닝 사례에서 GPT-6 Astra는 항생제 표기가 잘못된 대조 배양판을 신뢰할 수 있는 대조군으로 쓰지 않았다. 현미경 영상에서 세포가 보였다 사라지는 현상은 촬영한 초점 깊이가 달라 생긴 것으로 판단했다.

오픈AI는 6월 17일 전문가가 작성한 과제 750개로 7개 워크플로와 7개 생물학 분야를 다루는 LifeSciBench도 발표했다. LifeSciBench가 생명과학 연구 업무를 폭넓게 평가했다면, BioBasicsBench는 일상적인 습식 실험의 사진과 기기 출력 등 원자료 판독에 초점을 맞췄다.

GPT-6 Astra는 집락 수를 벤치마크 참조값보다 약 12% 과대 집계했다. 가까운 집락을 구분하지 못하거나 보이는 집락을 놓쳤고, 한천 배지의 빈 부분을 집락으로 표시하기도 했다. 다른 클로닝 과제에서는 대조군과 비교해 선택해야 할 집락을 잘못 골랐으며, 오픈AI는 높은 벤치마크 점수가 실험실에서 신뢰할 만한 판단을 보장하지는 않는다고 밝혔다.