세계 각국에서의 인공지능(AI) 지출이 3년 후에 약 4조 7000억 달러에 이를 것으로 전망되고 있다. 기업들은 업무 효율을 높이기 위해 1000개 이상의 AI 에이전트를 도입하는 등 사용량이 급증할 것으로 예상되지만, 이로 인해 기업 내부에서 AI 통제력을 상실할 수 있다는 경고가 제기되고 있다.
가트너는 최근 발표한 '에이전트 전환점: 대규모 AI 에이전트 관리' 보고서에서, 기업 내 AI 에이전트를 일정 수준 이상 사용하게 되면 사람이 통제할 수 없는 '티핑포인트'에 직면할 것이라고 경고했다. 조직 내 AI 에이전트의 수에 따라 위험 단계를 분류하였는데, 200개 이상의 에이전트가 가동되면 의사결정이 빨라지고 복잡해져 기존 시스템의 모니터링 역량을 초과할 수 있다고 밝혔다.
AI 에이전트가 결정을 내리기 시작하면, 사람이 개입해 수정하는 것이 어려워지며, AI 활용이 증가할수록 사람의 역할은 결정의 주체가 아닌 결과를 확인하는 것으로 변할 것이라고 설명했다. 이에 따라 기업은 AI 자율성을 제어하기 위한 안전장치를 마련하고, 에이전트마다 위험도를 분류하고 사람이 감독 없이 수행할 수 있는 업무 범위를 명확히 규정해야 한다고 당부했다.
블로쉬 부사장은 "통제력 상실 위험을 줄이기 위해 투명성과 규율을 바탕으로 한 강력한 거버넌스 모델을 구축해야 한다"며 "AI 관리 성숙도를 높이는 것이 기업의 생존에 중요하다"고 강조했다.