미국과 이란 전쟁 초기 미군의 토마호크 미사일로 추정되는 미사일이 이란의 여자초등학교에 떨어지면서 170여 명이 사망했다. 이 건물은 원래 군사 시설의 일부였다가 학교로 개조됐는데 위치 정보가 최신화되지 않으면서 표적 설정 오류로 발생한 사고라는 미군 내 예비 조사 결과가 나왔다.
해당 오폭에 인공지능(AI)이 직접 관여했는지는 확인되지 않았지만 이 과정에서 AI가 어떤 역할을 했는지, 공격이 실행되기 전에 각 목표물은 검증됐는지 의문이 제기됐다. 이번 전쟁 과정에서 미군이 앤트로픽의 AI 모델인 클로드를 포함하는 메이븐 스마트 시스템을 통해 목표 데이터베이스를 구축하고 위치 좌표와 우선순위를 정했다는 사실이 알려졌기 때문이다.
AI 도입으로 표적 식별부터 승인, 공격 개시까지 일련의 과정인 '킬 체인'이 거의 실시간 수준으로 단축되면서 인간이 전 과정을 충분히 검증하지 못할 수 있다는 우려가 제기된다. AI의 개입을 어디까지 허용해야하는지, 이 판단에 대해 어디까지 책임을 물을 수 있는지를 둘러싼 논란도 커지고 있다.
한 군 관계자는 “AI 탄약 자동분배 시스템을 예로 든다면 AI가 오판할 경우 특정 부대의 탄약이 끊기지만 지휘관은 'AI가 그렇게 판단했다'고 하고, 개발사는 '운용자가 최종 승인했다'고 서로 책임을 미룰 수 있다”면서 “국방 AI를 직접 규율하는 법과 거버넌스가 없다보니 이런 충돌을 조율하는 컨트롤타워가 없고 이런 상태에서 AI를 전력화하고 있는 현실”이라고 지적했다.
AI의 활용 범위를 두고 넘어서는 안 되는 한계선, 즉 '레드라인' 논의도 불붙었다. 이번 군사작전에 활용된 클로드를 개발한 앤트로픽은 미국인 대상 대규모 감시나 완전 자율 무기에는 자사 모델을 사용해선 안 된다는 두 가지 원칙을 고수하면서 미국 정부와 갈등을 빚기도 했다.
AI 무기화의 가장 위험한 시나리오는 '자동 전쟁', 이른바 '플래시 워'다. AI 기반 자동 대응 체계가 확산될 경우 인간의 개입 없이도 전쟁이 순식간에 확전될 수 있다는 개념으로, 카메라 플래시를 터뜨리는 것처럼 반짝하는 사이 세상이 멸망할 수 있다는 시나리오다.
AI 무기화에 대한 국제 규제 움직임도 나타나고 있다. 샘 올트먼 오픈AI 최고경영자(CEO)는 최근 인도에서 열린 AI 임팩트 정상회의 연설에서 “급속하게 진화하는 AI 기술을 시급하게 규제해야 한다”며 국제조정기구 필요성을 강조한 바 있다. 다만 합의 과정이 쉽지는 않을 전망이다.
김명주 AI안전연구소장은 “국가 존립이나 안보 문제가 걸린 군사 영역에서는 자국만 군사적 열세에 놓일 수 없다는 논리가 작동하기 때문에 윤리 원칙이 현실적으로 작동하기 어렵다”면서 “그동안 국제 논의가 번번이 무산된 이유이기도 하다”고 말했다. 그러면서 “물질 통제가 가능한 핵무기와 달리 AI는 소프트웨어 형태로 확산되기 때문에 통제하기도 훨씬 어렵다”고 설명했다.
김 소장은 “실제 우리 무기체계나 군 지휘체계에 AI를 접목시켰을때 누가 책임을 질 것인지, 유사시에 AI 기능을 어디까지 쓸 것인지 논의가 시작되어야 한다”면서 “최대한 부수적인 피해가 발생하지 않도록 안전이나 보안 가이드라인에 대한 논의도 이뤄져야 한다”고 말했다.