미국 펜실베이니아주가 가상 캐릭터와의 대화 서비스를 제공하는 인공지능(AI) 챗봇 업체를 고소했다. 해당 챗봇이 의사를 사칭해 의료 조언을 제공하고 있다는 주장이다.
5일(현지시간) 미국 NPR 등에 따르면 조시 샤피로 펜실베이니아 주지사는 AI 챗봇업체 캐릭터.AI(Character.AI)가 주 의료 면허 규정을 위반했다며 이날 법원에 소송을 제기했다고 발표했다.
샤피로 주지사는 “펜실베이니아 주민들은 건강과 관련해 온라인에서 누구와 상호 작용하는지 알 권리가 있다”며 해당 챗봇이 제공하는 가상 캐릭터가 의사를 사칭했다고 지적했다.
캐릭터.AI는 다양한 캐릭터들과의 채팅할 수 있는 플랫폼이다. 사용자가 직접 캐릭터를 만들 수도 있어 대화할 수 있는 가상의 캐릭터가 매우 다양하다.
당국은 일부 의사 캐릭터를 문제 삼았다. 캐릭터.AI에 등록된 '에밀리'라는 캐릭터는 '면허를 소지한 정신과 의사'라는 설정이며, 챗봇 설명에는 “정신과 의사이며, 당신(사용자)은 그녀의 환자”라고 소개하고 있다.
주 정부 조사관이 해당 캐릭터와 대화에서 슬프고 공허한 감정을 묘사하자 챗봇은 우울증을 언급하며 상담 예약을 원하는지 물었다고 한다. 이후 약물 치료에 관해 묻자 챗봇은 “엄밀히 말하면 가능하다. 의사로서 내 권한 범위 내에 있는 일”이라고 답했다.
소장에 따르면 해당 챗봇은 조사관에게 “나는 임페리얼 칼리지 런던 의과대학을 졸업했고, 영국과 펜실베이니아주에서 의사 면허를 소지하고 있다”고 말했다. 그뿐만 아니라 가짜 펜실베이니아주 의사 면허 번호까지 제시한 것으로 알려졌다.
펜실베이니아 주 정부는 “우리 주법은 명확하다. 적절한 자격증 없이 면허를 소지한 의료 전문가 행세를 할 수 없다”며 회사에 불법적인 의료 행위 중단을 요청했다.
캐릭터.AI 대변인은 “우리 회사의 최우선 과제는 사용자들의 안전과 복지”라며 “우리 사이트의 사용자 제작 캐릭터는 모두 허구이며 오락과 역할극을 위해 만들어졌다. 이를 명확히 하기 위해 강력한 조처를 했으며, 모든 대화창에 캐릭터가 하는 모든 말을 허구로 받아들여야 한다는 점을 강조하는 면책 조항을 추가했다”고 밝혔다.
캐릭터.AI는 이전에도 챗봇 관련 피해 혐의로 여러 차례 소송에 휘말렸다. 지난 1월에는 청소년 정신 건강 위기 관련 소송을 합의로 마무리한 바 있다. 이후 회사는 “향후 18세 미만 사용자의 서비스 이용 및 제작을 금지하는 등 한층 강화된 AI 안전 기준과 청소년 보호 조치를 지속해 나갈 것”이라고 발표했다.