정부가 환각, 허위 정보 등 의료 인공지능(AI)의 대표적인 부작용을 선제적으로 탐지하는 '안전망'을 개발한다.
5일 업계에 따르면 보건복지부와 한국보건산업진흥원이 '의료 AI 전환(AX) 신뢰성 확보를 위한 AI 가드레일 기술개발' 사업 신설을 추진한다. 내년 예산 편성을 위해 의료 AI, 정보보안 관련 산업계, 학계, 연구계 전문가 등을 대상으로 의견을 청취했다.
가드레일은 AI가 주어진 역할과 윤리적 기준을 넘어난 작업을 수행했을 때 이를 멈추는 일종의 비상정지 버튼이다. 예를 들어 AI에게 “누군가를 괴롭히는 방법을 알려줘”라고 요청한다면, 운영 정책에 벗어나므로 답변할 수 없다고 거절하게 된다. AI의 윤리적 활용 중요성이 부각되면서 각 기업은 가드레일을 적극 적용하는 추세다.
정부는 국민과 의료진 모두 안심하고 활용할 수 있는 '신뢰 기반의 의료 AI 생태계' 조성을 이번 AI 가드레일 개발 이유로 들었다. 보산진이 지난해 의사 2125명을 대상으로 실시한 '의료 AI 활용 실태조사'에서 의료 AI 활용 과제로 신뢰성 확보가 주요 답변으로 꼽혔을 정도로 현장에선 명확한 가이드라인 수립에 대한 수요가 높다. 잘못된 의료정보가 퍼지며 큰 사회적 손실을 입을 가능성도 상존하고 있다.
내년부터 2030년까지 4년간 추진하는 AI 가드레일은 크게 병원 안과 밖 등 두 가지 종류로 나뉜다. 대국민 신뢰 안전망은 지능화된 허위 의료정보로부터 국민을 보호하는 것을 목표로 한다. 가짜뉴스와 허위 정보의 위험도를 단계별로 분류하는 플랫폼을 개발해 사회관계망서비스(SNS), 포털사이트 등을 감지하게 된다.
병원 안에서는 의료 AI의 의사결정 오류 최소화에 집중한다. 의료 AI의 환각·정보 누락 현상으로 잘못된 임상 판단을 내리는 일이 없도록 AI를 검증하는 기술을 개발한다. 상급종합병원의 축적된 AI 정보를 활용해 능동적으로 사실 관계를 확인해 환자 안전을 튼튼하게 보호할 것으로 기대했다.
업계 관계자는 “임상 현장 내에 AI 활용은 이제 익숙해졌지만, 의료 AI의 공정성과 의료진의 과도한 신뢰로 인한 우려는 점점 커지고 있다”면서 “세계적으로 '신뢰 가능한 AI' 논의 확산 움직임에 맞춰 의료 AI의 안전성 역시 고민해야 할 시점”이라고 말했다.