프로스트 앤드 설리번 ‘자율형 AI 시대, 기업 운영 모델 재설계 필요’

글로벌 시장조사 및 컨설팅 기업 프로스트 앤드 설리번(Frost & Sullivan)은 최근 기고문 ‘AI가 스스로 행동하기 시작할 때: 자율형 AI 시대의 기업 운영 모델 재고(When AI Starts Acting: Rethinking Enterprise Operating Models in the Age of Autonomous AI)’를 통해 기업용 AI가 단순한 업무 자동화를 넘어 운영상의 판단과 행동에 직접 참여하는 단계로 발전하면서, 기존 기업 운영 모델을 재설계할 필요성이 커지고 있다고 분석했다.

초기 세대의 기업용 소프트웨어가 미리 정의된 업무 흐름을 자동화했다면, 오늘날의 AI 시스템은 상황을 해석하고 필요한 행동을 판단하며 사람의 개입을 최소화한 상태에서 작업을 수행하는 방향으로 진화하고 있다. 이에 따라 기업은 AI를 기존 업무 프로세스에 단순히 도입하는 것을 넘어, AI에게 어느 정도의 운영상 판단과 행동 권한을 부여할 것인지, 의사결정과 책임, 통제 및 복원 체계를 어떻게 재설계할 것인지 고민해야 한다는 분석이다. 특히 AI가 운영상의 판단과 행동에 직접 참여하기 시작하면서 의사결정과 책임, 통제, 복원력을 포함한 거버넌스 체계는 더 이상 기술 영역에 국한된 과제가 아니라 기업 운영의 핵심 과제로 부상하고 있다. 기존의 복원력 전략은 주로 인프라 장애, 사이버 공격, 재해 발생 이후 시스템과 데이터를 복구하는 데 초점을 맞춰왔다. 그러나 자율형 AI 환경에서는 외부 공격자가 취약점을 악용하지 않더라도, 정상적으로 권한이 부여된 AI가 정상적인 데이터와 계정을 사용해 의도하지 않은 결과를 만들어낼 수 있다는 새로운 형태의 운영 리스크가 존재한다.

이에 따라 복구의 개념도 전체 IT 환경을 복구하는 기존 방식에서 벗어나, AI가 수행한 특정 행동을 식별하고 격리한 뒤 전체 운영을 중단하지 않고 해당 행동을 되돌릴 수 있는 방향으로 변화하고 있다. 단순히 인프라를 복구하는 것을 넘어, 신뢰할 수 있는 운영 상태를 회복하는 것이 새로운 복원력의 목표로 자리 잡고 있다는 설명이다. 따라서 복원력은 단순히 인프라를 복구하는 것을 넘어, 지속적인 운영에 대한 신뢰를 유지하는 기업의 운영 역량으로 변화하고 있다. 중요한 것은 시스템 전체를 복구할 수 있는지에 그치지 않고, 의도하지 않은 AI의 행동을 식별하고 격리하며 이러한 행동이 연결된 비즈니스 프로세스 전반으로 확산되기 전에 되돌릴 수 있는지 여부다.