온타리오 조사, 의사 AI 기록 보조가 허위 사실을 만들 수 있음 확인

출처: Ars Technica

최근 몇 년 동안, 과도한 업무에 시달리는 많은 의사들이 소위 AI 의료 서기AI medical scribes를 활용해 환자와의 대화, 진단, 치료 결정을 자동으로 요약하고 구조화된 메모로 만들어 의료 기록에 입력하도록 하고 있다. 그러나 온타리오 감사원이 최근 실시한 감사에서, 주 정부가 권장한 AI 서기들이 정기적으로 부정확하고 불완전하며, 심지어는 환상적인(허위) 정보를 생성해 “부적절하거나 해로운 치료 계획을 초래할 수 있으며, 이는 환자의 건강 결과에 영향을 미칠 가능성이 있다”고 지적했다.

온타리오 정부의 인공지능 활용Use of Artificial Intelligence in the Ontario Government이라는 최근 보고서에서 감사원은 주 정부가 의료 제공자가 구매하도록 승인·예비 검증한 20개의 AI 서기 공급업체가 수행한 두 차례의 시뮬레이션 환자‑의사 대화 전사 테스트를 검토했다. 20개 업체 모두 최소 하나의 간단한 테스트에서 정확성이나 완전성에 문제가 있었으며, 그 중 9개는 환자 정보를 환상적으로 만들어냈고, 12개는 정보를 잘못 기록했으며, 17개는 논의된 정신건강 문제에 대한 핵심 세부사항을 놓쳤다.

보고서에서는 이러한 요약 오류가 환자의 후속 치료에 직접적이고 부정적인 영향을 미칠 수 있는 여러 우려 사례를 제시한다. 여기에는 AI 서기가 존재하지 않는 혈액검사나 치료에 대한 의뢰를 환상적으로 만들어내거나, 처방 약물 이름을 잘못 전사하거나, 시뮬레이션 대화에서 논의된 정신건강 문제의 “핵심 세부사항”을 놓치는 경우가 포함된다.