자율형 AI 에이전트가 여러 단계를 거치는 워크플로우를 스스로 실행하는 모습을 처음 지켜봤을 때, 필자는 기대감보다는 우려가 먼저 들었다.
사람의 개입 없이 추론하고 계획을 세우며 작업을 수행할 수 있는 지능형 자동화 시스템은 인상적이고 효율적이었다. 그러나 로그가 빠르게 지나가는 장면을 바라보며 한 가지 생각이 스쳐 지나갔다. 기업 아키텍처 안에 근본적인 결함을 도입했다는 점이었다. 디지털 인프라의 열쇠를 확률 기반 엔진에 넘긴 셈이었다.
전통적인 IT 환경에서는 데이터베이스 A에서 B로 데이터를 옮기는 코드를 작성하면, 매번 동일한 방식으로 실행된다. 결정론적 구조다. 하지만 대규모 언어 모델(LLM)은 확률적 시스템이다. 창의적이고 적응력이 뛰어나지만, 때로는 틀린 판단을 내린다.
이 리스크는 단순한 기술적 오류가 아니라 법적 책임으로까지 이어질 수 있다. 사람이 조달 정책을 위반하면 해당 문제를 인지시키고 재교육을 진행하면 된다. 파이썬 스크립트가 오류를 일으키면 디버깅하면 된다. 그러나 자율형 조달 봇이 ‘전략적 할인’을 확보한다고 판단해 회사 정책을 위반하는 계약을 체결했다면 어떻게 해야 할까?
알고리즘을 해고할 수는 없다.
이제 CIO와 아키텍트의 역할은 달라지고 있다. 모델을 구축하는 ‘엔진’ 단계에서 벗어나, 방향을 통제하는 ‘운전대’로 이동하고 있다. 핵심 과제는 AI를 더 똑똑하게 만드는 일이 아니다. 환각을 일으키거나 예산을 초과 집행하거나 규정을 위반하지 않도록 통제하는 일이다. 기업 기술 스택에는 이제 새로운 계층이 필요하다.
이를 ‘에이전틱 컨트롤 플레인(제어 평면)’이라고 부를 수 있다.
AI 아키텍처의 구조적 충돌
오늘날 AI 아키텍처의 가장 큰 과제는 확률형 에이전트와 결정론적 기업 시스템의 세계가 충돌하는 지점에 있다.
기업 법무 부서는 이분법적 규칙에 따라 움직인다. 계약은 규정을 준수하거나 그렇지 않거나 둘 중 하나다. 회계 부서 역시 마찬가지다. 예산은 승인되거나 승인되지 않는다. 그러나 새로운 AI는 회색지대에서 작동한다. 다음 토큰을 예측하고, 사실이 아니라 신뢰도 점수를 기반으로 판단한다.
아키텍트의 역할은 이 두 세계를 연결하는 다리를 구축하는 데 있다.
더 정교한 프롬프트가 AI 안전성을 확보하는 해법이라는 주장을 자주 듣는다. 그러나 이는 착각에 가깝다. 프롬프트는 두뇌에 지시를 내리는 일인 반면, 아키텍처는 손발을 묶는 일이다. 법적 책임 문제를 프롬프트만으로 해결할 수는 없다. 단순히 AI에 프롬프트를 입력하고 잘 작동하길 기대할 수는 없다. 기업 시스템에 실제로 반영되기 전에 AI의 출력을 검증하고 통제하는, 견고하고 결정론적인 코드 계층, 즉 컨트롤 플레인으로 감싸야 한다.
이를 위해서는 사고방식의 전환이 필요하다. 이제 CIO와 아키텍트는 단순히 소프트웨어가 아니라 디지털 인력을 관리하는 역할이다. 따라서 다른 직원과 마찬가지로 의도뿐 아니라 실제 행동까지 감독해야 한다.
확률형 AI를 통제하는 규칙 기반 구조
필자는 에이전트 기반 워크플로우를 설계할 때 기본적으로 샌드박스 환경을 전제로 한다.
중앙에는 에이전트, 즉 LLM이라는 ‘두뇌’가 위치한다. 이 모델은 자유롭게 추론하고, 이메일 초안을 작성하며, 실행 계획을 수립할 수 있다. 그러나 외부 세계에 직접 접근할 수는 없다. API를 직접 호출할 수 없고, 이메일을 바로 발송할 수도 없으며, SQL 쿼리를 실행할 권한도 없다.
대신 에이전트는 하나의 ‘요청’을 출력하고, 이 요청이 컨트롤 플레인으로 전달된다. 컨트롤 플레인은 하드코딩된 결정론적 로직 게이트의 집합과 같다. LLM의 추론이 얼마나 창의적이었는지는 중요하지 않다. 오직 실행하려는 행위의 매개변수만을 검증한다.
예를 들어, 에이전트가 600달러 규모의 소프트웨어 라이선스를 구매하려 한다고 가정해 보자.
가드레일 1(예산): 코드가 구매 금액(purchase_amount)을 확인한다. 자율 승인 한도인 500달러 이하인가? 한도를 초과하면 요청은 거부되거나 사람의 승인을 받도록 전달된다.
가드레일 2(벤더): 코드가 벤더 ID를 승인된 벤더 데이터베이스와 대조한다. 등록된 벤더인가? 등록되지 않았다면 실행은 즉시 중단된다.
모든 결정론적 검증을 통과해야만 통제 계층이 실제 작업을 수행하는 방식이다.
이 아키텍처는 신뢰 문제를 구조적으로 해결한다. 조달 정책을 LLM이 완벽히 이해할 것이라고 믿을 필요는 없다. 정책을 강제하도록 설계한 파이썬 코드 계층만 신뢰하면 된다. 신뢰는 감정이 아니라 코드로 구현된 통제 장치다.
비인간 신원 관리라는 새로운 과제
기존 IT 스택에서 기업은 수십 년에 걸쳐 사람을 위한 신원 및 접근 관리(IAM) 체계를 정교하게 다듬어 왔다. 신규 직원을 온보딩하고, 노트북을 지급하며, 필요한 시스템 접근 권한과 사용 권한을 부여하는 절차에는 대부분 익숙할 것이다. 그렇다면 에이전트는 어떻게 온보딩해야 할까?
이제는 ‘에이전트를 위한 IAM’ 시대에 진입하고 있다. 에이전트를 디지털 직원으로 본다면, 실제 직원과 마찬가지로 행정적 관리 체계가 필요하다. 필자는 아키텍처 설계상 모든 에이전트에 ‘서비스 여권’을 발급한다.
이 여권은 네트워크 내에서 해당 에이전트의 존재와 역할을 정의한다. 단순한 접근 권한을 넘어, 보다 근본적인 질문에 답하도록 설계됐다.
- 관리자는 누구인가? 모든 에이전트에는 로그를 검토할 책임을 지는 사람 담당자가 반드시 지정돼야 한다. 에이전트에 문제가 발생하면 호출 알림도 그 담당자에게 전달된다.
- 예산은 얼마인가? 예산은 단순한 금전적 한도만을 의미하지 않는다. 토큰 사용 한도와 API 호출 비용 상한도 포함된다. 재귀 루프가 발생해 하룻밤 사이 수만 달러 규모의 클라우드 비용이 청구되는 사례는 이미 업계에서 여러 차례 보고됐다. 컨트롤 플레인은 이러한 사용량에 대해 강제 중단을 시행한다.
- 시험 운영 상태는 어떤가? 어느 에이전트도 곧바로 운영 환경에 투입해서는 안 된다. 먼저 시험 모드를 거쳐야 한다. 이 단계에서는 행동 의도만 생성하고 실제 실행은 컨트롤 플레인이 차단한다. 이를 통해 위험 부담 없이 의사결정을 감사할 수 있다.
다소 관료적으로 들릴 수 있다. 실제로 그렇지만, 반드시 필요한 절차다. 첫 출근한 인턴에게 곧바로 운영 데이터베이스의 루트 비밀번호를 부여하지 않는 것과 같다.
킬 스위치 프로토콜
에이전트 컨트롤 플레인의 핵심 구성 요소는 즉시 작동을 중단시킬 수 있는 기능이다.
엔지니어링 분야에서는 분산 시스템에서 연쇄 장애가 확산되는 것을 막기 위해 회로 차단기를 사용한다. 특정 서비스에 오류가 발생하면 차단 장치가 작동해 전체 시스템을 보호한다. AI에도 동일한 논리가 필요하다.
최근 설계한 고객 서비스 에이전트에는 신뢰도 점수 기반 알고리즘 차단기를 내장했다. 에이전트는 자율적으로 작동하지만, 컨트롤 플레인이 파이썬 스크립트를 통해 응답을 실시간으로 평가한다. 에이전트가 제시한 답변의 신뢰도 점수가 설정된 임계값 아래로 떨어지면, 즉시 회로가 차단되고 추가 실행이 멈춘다.
이는 코드로 기업 리스크 관리를 구현한 사례다. 통제되지 않은 에이전트가 회사 평판에 손상을 줄 수 있다는 CIO의 우려를 직접적으로 해소하는 장치다. 안전 장치를 아키텍처에 반영함으로써, AI가 문제없이 작동하길 기대하는 수준을 넘어 문제가 발생하더라도 피해를 일정 범위 안에 묶어둘 수 있는 구조를 갖추게 된다.
자율성에는 경계가 필요
AI 시대에는 단순한 역설이 있다. 디지털 인력의 자율성을 높이려면 더 엄격한 아키텍처가 필요하다는 점이다.
이제는 높은 가능성만으로도 충분했던 과열 국면을 지나 통합의 단계에 들어섰다. AI 에이전트 도입에 성공하는 기업은 가장 똑똑한 모델을 보유한 곳이 아니다. 가장 강력한 가드레일을 설계한 곳이 될 것이다.
내년 로드맵을 검토할 때 엔진의 지능에만 집중해서는 안 된다. 방향을 통제하는 장치를 함께 살펴야 한다. 봇을 만드는 데서 그치지 말아야 한다. 그 봇이 작동할 통제된 환경까지 함께 설계해야 한다.
* 이 기사는 필자의 개인적 견해이며, 소속 기관이나 관련 단체의 공식 입장을 대변하지 않는다.
[email protected]
SOCIAL SHARE CARD GENERATOR