금융권에서는 현재, 생성형 인공지능(AI) 경쟁이 모델 도입을 넘어 연산 자원과 금융데이터, 접근권한을 직접 관리하는 방향으로 전환되고 있는 추세입니다.
기존에는 AI가 주로 내부 업무지원에서 사용되다가 최근에는 고객 서비스와 여신·리스크 관리 등으로 확대되면서, AI를 안정적으로 운영하기 위한 능력이 중요시되고 있습니다.
새마을금고중앙회는 엔비디아 B300 GPU 64개를 확보해 생성형 AI를 내부에서 운용할 수 있는 환경을 조성하고 있습니다. 이를 통해 모델 추론을 주로 활용하면서 일부 모델의 학습·튜닝과 데이터 처리도 내부에서 처리하고 있습니다.
중요한 것은 AI 운영 전반을 통제하는 것입니다. 내부에 설치한 모델과 외부 모델을 업무와 보안정책에 따라 구분하여 사용하고, 사용자 및 부서별 접근권한과 사용량을 관리하고 있습니다. GPU도 업무와 프로젝트별로 배분하여 한정된 연산 자원을 효율적으로 활용하고 있습니다.
기록 및 관리를 통해 관리자 접속, 권한 변경, 모델 배포 등 주요 행위를 추적하고 있으며, AI 모델의 정확성, 환각, 편향성, 개인정보 보호를 검증하고 성능 변화를 지속적으로 확인하고 있습니다.
이러한 변화는 금융당국의 정책 방향과 일치하며, 최근에는 '금융분야 인공지능 가이드라인'과 '프런티어 AI 보안위협 금융분야 대응요령' 등이 시행되어 있습니다. 이러한 가이드라인을 준수하면서 AI를 활용하고자 하는 금융회사들이 더욱 세밀하게 데이터와 시스템에 접근을 관리하고 있습니다.
한국은행도 내부 AI 플랫폼 'BOKI'를 구축하여 약 140만건의 내부 문서를 디지털화하여 AI를 활용할 수 있는 기반을 마련하였습니다. 이러한 노력들을 통해 금융권은 AI 경쟁에서 모델 성능과 서비스 출시 속도뿐만 아니라 운영 능력으로 경쟁력을 확보하고 있는 것으로 알려져 있습니다.