"AI 시스템 도입 시 안전성을 위해 가드레일 고려해야" - 콕스웨이브 대표
AI 기술을 기업 시스템에 적용할 때 안전을 고려할 필요가 있다고 콕스웨이브 대표가 강조했습니다. 김 대표는 국내 기업들이 AI를 도입한 후 안전 문제로 어려움을 겪을 때 안전장치를 찾는 것보다 사전에 안전성을 고민하는 것이 중요하다고 말했습니다.
안전성을 후순위로 미루면 더 큰 위험과 비용이 발생할 수 있다는 점을 김 대표는 지적했습니다. AI 기술이 확산되고 있는 상황에서 가드레일과 같은 안전장치를 도입 초기에 고민해야 한다고 강조했습니다.
AI 안전 가드레일은 AI 입·출력을 감시하고 윤리와 보안 규칙을 위배하는 내용을 방지하는 장치입니다. 이를 통해 서비스 신뢰성을 높일 수 있습니다.
또한, AI 에이전트 간의 교류와 외부 API 호출, 멀티 에이전트 개념이 구현되는 과정에서 AI 안전 문제가 더 커질 수 있다는 점을 김 대표는 지적했습니다. 따라서 콕스웨이브는 AI 에이전트 오작동 문제에 집중할 계획이라고 밝혔습니다.
콕스웨이브는 AI 안전성을 확보하기 위해 '에이전트옵스(Ops)'를 도입할 예정입니다. 이를 통해 AI 에이전트를 모니터링하고 관리하는 동시에 안전성을 담보할 수 있게 될 것입니다.
마지막으로, 김 대표는 기업에서도 AI 안전 패러다임을 확장해야 한다고 제안했습니다. 이를 위해 콕스웨이브는 AI 안전연구소와 협력하여 AI 안전과 신뢰를 강화할 계획이라고 밝혔습니다.