기업의 인공지능(AI) 에이전트 도입이 증가함에 따라, 에이전트가 부여된 권한을 벗어나는 '월권'이 새로운 보안 위험으로 부각되고 있습니다. 업계는 이에 대응하여 에이전트의 권한을 제한하고 중요 작업에는 사람의 승인을 받아 판단과 행동을 추적하며 감사하는 통제체계를 강화하고 있습니다.
이에 관련하여, 삼성SDS가 최근 'AI 에이전트를 위한 적응형 안전 기술' 및 'AI 에이전트를 위한 보안기술 연구' 등을 공개하며 AI 에이전트의 안전과 보안을 강조하고 있습니다. 이들은 에이전트에 특화된 기술들을 통해 잠재적 위험을 사전에 감지하고, 실행 중 비정상 행위를 차단하고 통제하는 시스템을 강화하고자 합니다.
또한, LG CNS와 SK AX도 AI 에이전트의 행동 통제에 초점을 맞추고 있습니다. LG CNS는 '하네스 엔지니어링'을 통해 에이전트가 정해진 업무 범위를 벗어나지 않도록 설계하고 검증하는 방법론을 소개하며, SK AX는 에이전트별 최소권한과 실행 반경을 설정하고 고위험 작업에는 사람의 승인을 받도록 하는 구조를 제시하고 있습니다.
이러한 움직임은 AI 에이전트가 기업 시스템을 호출해 실제 업무를 수행하는 것을 고려하여, 에이전트의 권한, 승인 및 감사를 통해 행동 통제하는 체계가 중요함을 강조하고 있습니다. 이에 대한 전문가의 의견도 AI 에이전트의 새로운 보안 요구에 대응해야 한다는 점을 강조하고 있습니다.