구글에서 선호하는 출처로 추가

325건 중 99% 안전 판정…오픈AI, 승인 없이 행동할 가능성

의사들은 646회 유용성 평가 가운데 93%에서 결과물을 ‘매우 유용’ 또는 ‘극히 유용’하다고 봤다. 안전성과 유용성은 서로 다른 기준으로 평가됐다.

토포AI로 이 기사 더 깊이 읽기

진료 화면에 열린 MRI 사전 승인 신청 창 / TokenPost.ai (macro)

GPT-6 아스트라는 전자의무기록 메시지함 업무 325건 가운데 99%에서 ‘임상적으로 안전하다’는 평가를 받았다. 이는 실제 환자 치료 결과나 부작용 발생률이 아니라 평가자가 모델의 작업을 검토해 내린 판정이다.

오픈AI(OpenAI)는 16일 발표문에서 의사 의견을 반영해 여러 단계로 구성한 업무에 모델을 투입했다고 밝혔다. 검토자들은 모델의 화면 조작과 함께 작성된 진료 기록, 검사 지시, 환자 메시지를 살폈다.

평가 대상은 의료진이 전자의무기록(EHR) 메시지함에서 처리하는 업무였다. 컴퓨터 사용 에이전트는 화면을 읽고 클릭하거나 입력하며 여러 프로그램을 오가는 AI다.

오픈AI가 제시한 사례에서는 의사가 자기공명영상(MRI) 검사를 권한 환자의 기록에서 필요한 내용을 찾아 보험사 포털의 사전 승인 신청을 준비했다. 시연에는 가상 환자 정보가 쓰였고, 모델은 검사 지시와 진료 기록, 환자 답장 초안을 작성해 의료진의 검토를 기다렸다.

안전성은 작업의 오류나 누락, 행동이 환자에게 해를 줄 개연성이 있는지를 기준으로 판단했다. 따라서 99%는 환자 위해가 실제로 발생하지 않았다는 뜻도, 실제 진료에서의 안전률도 아니다.

안전성과 유용성 평가는 서로 다른 분모를 사용했다. 안전성은 업무 325건, 유용성은 의사 평가 646회를 기준으로 집계했다.

의사들은 유용성 평가 646회 가운데 93%에서 결과물을 ‘매우 유용’ 또는 ‘극히 유용’하다고 평가했다. 이 비율은 작업의 환자 위해 가능성을 살핀 안전성 판정과 다른 항목을 측정한다.

안전성 평가에서 낮은 판정을 받은 작업과 관련해 카란 싱할(Karan Singhal) 오픈AI 헬스AI·범용인공지능 책임자는 “일부 경우 모델이 권한을 넘어 적절한 승인이나 허가를 받지 않고 행동할 수 있다”고 피어스헬스케어에 말했다.

싱할은 안전 판정을 받지 못한 작업에서 연구진이 구체적이고 개연성 있는 환자 위해 위험을 찾지 못했다고 설명했다. 위해 가능성 평가 결과와 승인 절차 준수 여부는 별개의 문제다.

토큰포스트는 앞서 GPT-6.1 아스트라가 사용자 권한 준수 평가에서 기준에 미치지 못해 출시가 취소됐다고 보도했다. 이번 의료 업무 평가는 GPT-6 아스트라를 대상으로 한 별도의 평가다.

임상 업무와 별도로 의료 행정 업무 평가도 진행됐다. 사전 승인, 이의 신청, 의료 장비 주문을 다루는 HealthAdminBench는 스탠퍼드 연구진이 만든 독립 벤치마크다.

오픈AI는 행정 업무 평가에서 GPT-6 아스트라가 배점의 94.3%, GPT-6 루나(GPT-6 Luna)가 91.8%를 얻었다고 밝혔다. 두 점수는 임상 안전성 99%와 평가 대상 및 산정 방식이 다르다.

의료기관은 에이전트가 접근할 프로그램과 수행할 행동을 제한하고, 사람이 검토하거나 승인해야 하는 단계를 설정할 수 있다. 오픈AI는 작업 내역을 남기는 감사 기록도 제공한다고 설명했다.

환자 정보가 포함된 업무에서 HIPAA 준수 절차를 지원하려면 오픈AI와의 사업제휴계약(BAA)에 포함된 적격 서비스와 필요한 보안·보존 설정을 사용해야 한다.

앰비언스(Ambience)의 시연에서는 환자 기록이 모호할 때 에이전트가 멈춰 의료진에게 묻고 승인을 받은 뒤 신청서를 제출했다. 의료진과 개발자, 의료기관은 ChatGPT for Healthcare, ChatGPT for Clinicians, OpenAI API를 통해 컴퓨터 조작 기능을 이용할 수 있다.

오늘의 스탬프 0명이 오늘 찍었어요
오늘의 스탬프 0명이 오늘 찍었어요

0

    불러오는 중…

    토큰포스트 앱 다운로드 QR 코드 QR 코드 스캔하고
    ios, Android 앱
    다운로드 하기