머신러닝과 인공지능(AI)이 위협 탐지 및 대응 도구의 핵심 기술이 되고 있다. 즉석에서 학습하고 변화하는 사이버 위협에 자동으로 적응하는 능력은 사이버 보안 팀에게 긴요하다. 반타(Vanta)의 의뢰로 사피오 리서치(Sapio Research)가 실시한 설문조사에 따르면 조직의 62%가 향후 12개월 동안 AI 보안에 더 많은 투자를 할 계획이라고 답했다.
그러나 일부 위협 행위자들도 머신러닝과 AI를 사용한다. 사이버 공격면을 확장하고 보안 제어를 회피하며 새로운 취약점을 찾아내는 용도다. 문제는 이 같은 행태가 전례 없는 속도로 늘어나고 있다는 점이다. 10월에 발표된 버그크라우드의 연례 해커 설문조사에 따르면 해커의 77%가 해킹에 AI를 사용하고 있으며, 86%는 해킹에 대한 접근 방식이 근본적으로 바뀌었다고 답했다. 2023년에는 AI 기술이 해킹에 가치가 있다고 응답한 비율 21%에 불과했지만, 현재 71%로 증가했다.
사이버 보안 회사인 시큐어옵스(SecureOps)에 따르면 사이버 범죄 용도의 생성형 AI 도구들도 등장했다. 프러이드GPT(FraudGPT)와 웜GPT(WormGPT) 등이 대표적이다. 보스턴 컨설팅 그룹의 사이버 및 디지털 리스크 글로벌 리더인 바네사 라이언은 “AI가 공격을 개발해 배포하는 능력의 기준을 낮추고 있다”라며, 특히 생성형 AI의 비결정적 특성은 기존의 규칙 기반 방어를 무력화하곤 한다고 말했다.
실제로 키퍼 시큐리티(Keeper Security)의 지난 10년간 비즈니스 이메일 유출 사기로 인해 550억 달러 이상의 손실이 발생했다. 2021년에도 홍콩의 한 은행이 이전에 통화한 적이 있는 회사 이사의 전화를 받고 속아서 범죄 조직에 3,500만 달러를 이체했다는 언론 보도가 있었다. 피해자는 목소리를 믿고 송금을 승인했다. 오늘날 해커는 실제 사람과 구별하기 어려운 줌 영상을 만들 수 있다.
9월 말에 발표된 보험회사 네이션와이드의 설문조사에 따르면 중소기업 소유주의 52%가 딥페이크 이미지나 동영상에 속은 적이 있다고 인정했으며, 10명 중 9명은 생성형 AI 사기가 점점 더 정교해지고 있다고 답했다. 대기업도 예외가 아니다. 텔레포트(Teleport)의 조사에 따르면 AI 사칭은 가장 방어하기 어려운 사이버 공격 벡터다.
5. 상용 보안 도구 무력화
오늘날 널리 사용되는 많은 보안 도구에는 인공지능 또는 머신러닝이 내장되어 있다. 예를 들어, 바이러스 백신 제조사들은 의심스러운 행동을 식별하기 위해 기본 서명 이상의 기능을 물색하고 있다. 칸타르시오글루는 “온라인, 특히 오픈소스에서 사용할 수 있는 모든 것은 악의적인 공격자들에 의해서도 활용될 수 있다”라고 말했다.
공격자는 이러한 도구를 사용하여 탐지를 회피할 수 있을 때까지 맬웨어를 조정할 수 있다. 칸다르시오글로는 “AI 모델에는 사각지대가 많다. 전송하는 패킷 수나 공격하는 리소스 등 공격의 특징을 변경하여 모델을 변경할 수 있다”라고 말했다.
공격자의 악용 대상은 AI 기반 보안 도구에 그치지 않는다. 이미 AI는 다양한 기술의 일부다. 예를 들어 피싱 이메일에는 특정 문법 오류가 담긴 경우가 많다. 그래머리와 같은 AI 기반 문법 검사기는 공격자의 글쓰기를 개선하는 데 도움을 줄 수 있다. 챗GPT와 같은 생성형 AI 도구는 처음부터 설득력 있는 피싱 이메일을 작성하는 데 유용하다.
6. 정찰
공격자는 AI와 머신러닝을 연구 및 정찰에 사용할 수 있다. 공개적으로 사용 가능한 정보와 공격 대상의 트래픽 패턴, 방어 체계, 잠재적 취약점을 살펴보는 식이다. 카네기멜론 대학교 소프트웨어 엔지니어링 연구소의 CERT 부서의 수석 연구원 겸 기술 관리자인 토마스 스캔론은 해커들이 항상 이 부분에서 시작한다면서 “AI를 활용하면 이러한 모든 활동을 더 스마트하고 빠르게 수행할 수 있다”라고 말했다.
오늘날 많은 조직이 자사의 데이터를 온전히 파악하지 못하고 있다. 다크웹에 유포된 해킹된 비밀번호 목록이나 직원들의 소셜 미디어 게시물뿐만이 아니다. 예를 들어, 기업이 채용 공고나 제안 요청을 올릴 때 기업 내 기술 정보를 흘릴 수 있다. 스캔론은 “예전에는 각종 데이터를 수집하고 분석하는 데 많은 노동력이 필요했지만 지금은 상당 부분이 자동화될 수 있다”라고 말했다. 버그크라우드 해커 설문조사에 따르면 62%는 데이터 분석에, 61%는 작업 자동화에, 38%는 취약점 식별에 AI를 사용한다고 답했다.
7. 자율 에이전트
기업이 공격을 받고 있다는 사실을 파악하면 영향을 받는 시스템에 대한 인터넷 액세스를 차단하는 것이 일반적이다. 맬웨어가 명령 및 제어 서버에 다시 연결하여 못하도록 하기 위해서다. 칸타시오글루는 “이런 상황에 대비해 공격자들은 직접 제어할 수 없더라도 더 오래 지속할 수 있는 지능적인 모델을 만들려고 할 수 있다”라고 지적했다.
이제 이러한 종류의 자율 에이전트는 이미 누구나 만들 수 있다. 마이크로소프트의 몇몇 도구, 가드레일이 없는 여러 오픈소스 플랫폼 덕분이다. CMU의 스캔론은 “과거에는 대부분의 공격이 여러 단계를 거치기에 사람과의 접점이 필요하곤 했다. 이를 대체할 수 있는 에이전트를 배치할 수 있다면 이는 분명 잠재적인 위협이 될 수 있다. AI로 인해 현실화되는 위협 중 하나다”라고 말했다.
8. AI 포이즈닝
공격자는 머신러닝 모델에 새로운 정보를 주입하여 모델을 속일 수 있다. “학습 데이터 세트를 조작하는 것이다. 의도적으로 편향된 정보를 입력하면 머신러닝은 잘못된 방식으로 학습하게 된다”라고 글로벌 리스크 연구소의 선임 연구원 알렉세이 루브소프는 말했다. 예를 들어, 도용된 사용자 계정이 매일 새벽 2시에 시스템에 로그인하여 무해한 작업을 수행하면 시스템은 새벽 2시의 작업이 의심스럽지 않다고 생각하고 사용자가 통과해야 하는 보안 허들을 줄일 수 있다.
이는 2016년 마이크로소프트의 테이 챗봇이 인종 차별주의자로 학습된 것과 유사다. 동일한 접근 방식을 사용하여 특정 유형의 맬웨어가 안전하거나 특정 봇 동작이 완전히 정상이라고 시스템에 가르칠 수 있다.
9. AI 퍼징
합법적인 소프트웨어 개발자와 모의 침투 테스터는 애플리케이션을 다운시키거나 취약점을 찾기 위해 무작위 샘플 입력을 생성하는 퍼징 소프트웨어를 사용하곤 한다. 이 소프트웨어에 머신러닝을 적용하면 보다 집중적이고 체계적인 방식으로 입력을 생성할 수 있다. 문제를 일으킬 가능성이 가장 높은 텍스트 문자열에 우선순위를 부여하는 방식이다. 즉 퍼징 툴은 기업에게 유용하지만 공격자에게도 마찬가지일 수 있다.
이는 패치, 피싱 방지 교육, 마이크로 세분화와 같은 기본적인 사이버 보안 위생이 중요한 이유다. 포레스터 리서치의 앨리 멜렌 애널리스트는 “심층 방어가 중요한 이유 중 하나이기도 하다. 한 가지가 아닌 여러 가지 차단 장치를 마련해야 한다”라고 말했다.
10. AI 맬웨어
지난 9월, HP 울프 시큐리티는 생성형 AI를 활용해 작성되었을 가능성이 “매우 높은” 맬웨어 캠페인을 발견했다고 보고했다. “생성형 AI가 공격을 가속화하고 사이버 범죄자들이 엔드포인트를 감염시킬 수 있는 문턱을 낮추고 있다”라고 저자들은 말했다. 반타(Vanta) 보고서에서도 조사 대상 조직의 32%가 AI 기반 맬웨어의 증가를 목격하고 있다는 내용이 있었다. 심지어 제로데이 취약점을 발견하는 데 생성형 AI를 사용할 수 있음을 입증한 연구도 있다.
그리고 합법적인 개발자가 AI를 사용하여 코드의 문제를 찾을 수 있는 것처럼 공격자도 AI를 사용할 수 있다고 CMU의 스캔론은 전했다. 공개 리포지토리에서 사용할 수 있는 오픈소스 코드, 여타 경로를 통해 입수한 코드가 대상일 수 있다. 스캔론은 “해커가 코드를 가져와 챗GPT 또는 다른 기본 모델을 통해 실행하여 악용할 수 있는 코드의 약점을 찾도록 요청할 수 있다”라며 연구와 악의적인 목적 모두에서 이러한 사용 사례가 등장한 바 있다고 전했다.
전문성을 보태는 생성형 AI
과거에는 국가 차원의 조직과 같은 지능적인 위협 행위자만이 머신러닝과 AI를 공격에 활용할 수 있었다. 하지만 지금은 누구나 할 수 있다. 또 AI가 그 어떤 기술보다 빠르게 진화하고 있다는 점에서 심각성이 커진다. 보스턴 컨설팅 그룹의 리옹은 “이것은 움직이는 표적이다. 기업은 위협 환경에 대한 이해 수준을 유지하고 기술 세트를 적응하는 데 우선순위를 두어야 한다”라고 말했다.
[email protected]
SOCIAL SHARE CARD GENERATOR