IT 리더들은 에이전트 시대의 거버넌스가 어떤 모습일지 미리 경험하고 있다. 그리고 그 모습은 결코 밝지 않다.
IBM 기업가치연구소(IBM Institute for Business Value)가 은 이번 조사 결과가 AI 거버넌스에 대한 우려가 커지고 있음을 보여준다고 설명했다. 직원들이 IT 부서의 관여 없이 새로운 에이전트를 구축하면서 많은 IT 조직이 결과물, 보안, 비즈니스 가치 등을 추적하는 데 어려움을 겪고 있다는 것이다.
라이테슨은 “많은 기업이 더 많은 직원이 에이전트를 개발할 수 있도록 지원하는 정책을 운영하고 있다”라며 “이제는 IT 부서의 소수 인력만이 이런 솔루션을 개발하는 구조가 아니다”라고 말했다.
IT 리더에게 닥친 위험
전문가들은 직원들이 AI를 자유롭게 실험하도록 장려하는 것은 분명 가치가 있지만, 동시에 IT 리더에게는 상당한 문제를 초래할 수 있다고 지적한다.
데이터 플랫폼 기업 도모(Domo)의 최고 AI·애널리틱스 책임자 도 AI 거버넌스 공백이 존재한다는 데 동의했다.
살비는 “모든 산업에서 에이전트 기반 워크플로와 AI, 다양한 제품이 매우 빠른 속도로 개발되고 있다”라며 “하지만 CIO나 CTO가 AI 시스템을 완전히 통제하지 못하는 상황에서 이를 어떻게 관리하고 통제하며 평가할지에 대한 이해는 개발 속도를 따라가지 못하고 있다”라고 설명했다.
그는 샤인과 마찬가지로 많은 조직이 IT 부서 외부 직원의 에이전트 배포를 장려하거나 허용하면서도 CIO나 CTO에게 이를 알리지 않는 점을 문제로 지적했다. 결과적으로 통제권은 에이전트를 구축한 사람에게 귀속된다.
살비는 “그 사람이 이를 관리하고 거버넌스를 수행하며 평가할 기술적 전문성을 갖췄을 수도 있고 그렇지 않을 수도 있다”라며 “누군가 업무 효율을 높이기 위해 무언가를 만들었지만, 그 대가로 토큰 비용과 보안, 규제 준수 등 다양한 문제가 발생할 수 있다”라고 말했다.
그는 많은 기업이 심각한 AI 거버넌스 과제에 직면해 있다고 진단했다.
살비는 “기업들이 수십 개의 에이전트 시스템을 구축하고 이를 조직 전반으로 확산시키면서도 제대로 된 평가 체계를 마련하지 못하고 있다”라며 “업무 속도를 크게 높이는 대신 직원들이 생산하는 결과물의 품질을 희생하고 있다는 사실을 인식하지 못하는 경우가 많다”라고 설명했다.
이어 “결국 이들은 평범한 수준의 결과물을 매우 빠르게 만들어내고 있으며, 결함까지 함께 생산하고 있을 가능성이 높다”라고 평가했다.
또한 에이전트 통제권이 IT 부서 밖에 있는 경우 위험은 더욱 커진다고 경고했다.
그는 “그 사람은 통제권을 적절하게 행사하는 데 필요한 도구와 노하우, 기술적 경험을 갖추지 못했을 수 있다”라고 말했다.
반면 데이터 보안 기업 마인드(MIND)의 공동 설립자 겸 CTO 이타이 슈워츠는 IT 부서 외부에서 배포된 에이전트의 경우 아예 통제 체계 자체가 없는 사례도 많다고 주장했다. 적절한 가드레일이 마련되지 않으면 에이전트는 사실상 감독 없이 운영된다는 설명이다.
슈워츠는 “모든 AI 도구에는 책임을 지는 비즈니스 담당자가 있어야 하며 일반적으로 문서상으로는 그렇게 지정돼 있다”라며 “하지만 대부분의 시스템은 자율적으로 작동하고 결과가 항상 동일하지 않은 비결정론적 특성을 갖고 있다. 정해진 스크립트를 따르지 않기 때문에 실제로는 도구가 스스로를 통제하는 셈”이라고 설명했다.
슈워츠는 해결책이 AI 도입 속도를 늦추는 데 있는 것이 아니라 IT 리더에게 충분한 가시성과 정책 집행 도구를 제공하는 데 있다고 강조했다.
그는 “내가 만난 어떤 기술 리더도 AI 도입 속도를 늦추길 원하지 않는다”라며 “그들은 빠르게 혁신하면서도 안전성을 확보할 수 있는 더 나은 도구를 원한다. 필요한 것은 더 많은 경계가 아니라 더 나은 도구”라고 말했다.
통제된 AI 플랫폼 구축
라이테슨은 IBM이 하나의 해법으로 통제된 환경에서 직원들이 자체 AI 도구를 개발할 수 있는 에이전트 플랫폼을 구축했다고 소개했다. 새롭게 생성되는 에이전트는 보안과 개인정보 보호 기준을 충족하는지 점검받으며, 기존 IBM 도구와 기능이 중복되는지도 검토된다.
라이테슨은 “우리는 매우 초기 단계부터 엔터프라이즈 플랫폼을 구축하고 직원들이 그 안에서 솔루션을 개발하도록 했다”라며 “신뢰할 수 있다고 판단한 특정 모델만 사용하고 데이터를 보호함으로써 CISO와도 안심하고 협력할 수 있는 환경을 마련했다”라고 설명했다.
이어 “해당 시스템이 실제로 무엇을 하는지 알고 싶다”라며 “개인의 생산성을 높이는 기능인지, 전체 업무 프로세스를 지원하는 것인지 파악해야 하며, 조직에 어떤 비용이 발생하고 어떤 가치를 창출하는지도 확인할 수 있어야 한다”라고 말했다.
[email protected]
SOCIAL SHARE CARD GENERATOR