인공지능 (AI)이 사이버 범죄에 혁명을 일으키고 있으며, 보안 업계가 이를 따라잡기 위해 노력하고 있습니다. 방어적 AI는 공격적인 AI 로부터 보호하는 데 도움이 될 수 있지만 , 전문가들은 AI 범죄가 너무 빠르게 진화하여 AI 지원 보안 소프트웨어로도 이를 막을 수 없으며 '제로 트러스트' 와 같은 데이터 잠금 전략이 유일한 방법일 수 있다고 경고합니다.
우리가 2022년 AI 보안 상태를 조사했을 때 , 범죄 집단은 기존 보안 도구로는 탐지할 수 없는 비디오 딥페이크 , 스피어 피싱 및 기타 표적 공격을 고안하는 데 도움이 될 만큼 정확한 통찰력을 얻기 위해 방대한 데이터를 탐색하기 위해 AI 기능을 수용하는 데 바빴 습니다. 2023년에는 생성적 AI와 머신러닝 (ML)이 사이버 범죄에 확립되었으며, 거래 도구는 더 이상 다크웹 에만 국한되지 않습니다 . 갱단은 ChatGPT 와 같이 널리 사용되는 챗봇을 사용하여 산업 규모의 맞춤형 공격 생성 및 배포를 자동화합니다.
보안 공급업체는 자체 도구의 AI 기능을 강화하여 대응했지만 비즈니스 리더는 그 어느 때보다 두려워하고 있습니다. 최근 BlackBerry 조사에서 IT 의사 결정자 의 절반 이상(51%)이 2023년 말까지 ChatGPT에 의한 성공적인 사이버 공격이 있을 것이라고 믿었습니다. 6월 Yale CEO Summit에서는 42%가 AI에 잠재력이 있다고 답했습니다. 5~10년 안에 인류를 멸망시키겠다는 것이다.
자율 AI 악성코드의 시작
최근 AI의 가장 큰 발전은 누구나 콘텐츠를 만드는 데 사용할 수 있는 자연어 학습 모델 (LLM)을 기반으로 하는 오픈 소스 생성 AI 챗봇입니다. ChatGPT가 대중에게 공개된 지 몇 주 후, 소프트웨어 회사인 CircleCI가 생성 AI를 사용하여 피싱 이메일을 생성 하고 취약점을 검색하는 공격을 받았습니다. 2023년 4월까지 Darktrace는 새로운 사회 공학 공격이 135% 증가했다고 보고했습니다.
가장 기본적인 수준에서 공격자는 LLM 챗봇을 사용하여 단순히 정보를 수집합니다. IEEE 회원이자 Ulster University의 사이버 보안 교수인 Kevin Curran은 ITPro에 "챗봇이 멘토 역할을 할 수 있습니다."라고 말했습니다. "약점이나 악용 여부에 대해 스마트 계약 코드를 분석하는 데 AI 챗봇이 사용되는 사례가 있었습니다."
Freeform Dynamics 분석가 Tony Lock은 AI 해커 고용 증가에 힘입어 야심찬 공격자들이 생성 AI를 사용하여 피싱 작업을 개선했다고 밝혔습니다. "그들은 음성 사운드와 가짜 이미지를 생성하고 사람들의 게시된 글쓰기 스타일을 복사하기 위해 챗봇을 사용하고 있습니다. 이 모든 것이 2023년에 훨씬 더 정교해지고 산업화되었습니다."
보안 회사인 Resistant AI의 CEO이자 프라하 대학교 강사인 Martin Rehak은 이미 AI 기반 범죄자가 조직의 AI 기반 보안 시스템을 악용하는 것을 목격하고 있다고 말합니다. "범죄자들은 보안 시스템을 공격하는 대신 기업이 온라인 비즈니스를 수행하는 데 사용하는 자동화 및 AI 시스템을 공격하고 있습니다."
이 모든 것을 자율적으로 수행할 수 있는 생성 AI의 잠재력은 AI 업계에서 간과되지 않았습니다. ChatGPT 개발자 OpenAI 의 CEO인 Sam Altman은 챗봇이 스스로 대규모 허위 정보를 배포하고 악성 코드를 작성할 수 있는 능력에 대해 "걱정"하고 있음을 인정했습니다.
보안 업계에서 보내는 메시지는 AI 위협에 맞서려면 AI 방어가 필요하다는 것입니다. CrowdStrike 에서 Google 에 이르는 브랜드는 AI를
기업 보안 시스템의 중심에 두고 있으며, 50명의 CIO를 대상으로 한 Freeform Dynamics 설문 조사 에 따르면 응답자가 만난 모든 공급업체 중 거의 모든 공급업체(82%)가 자사 제품에 AI가 사용되었다고 주장했습니다.
AI가 보안 팀의 생산성을 어떻게 높일 수 있는지 알아보세요.
이에 따라 글로벌 AI 보안 시장은 2021년 132억9000만 달러에서 2022년 165억2000만 달러로 성장했고, 스카이퀘스트는 2030년에는 941억4000만 달러에 이를 것으로 전망했다.
기존 엔드포인트 보안과 달리 AI는 시스템에 진입하기 전에 가장 작은 잠재적 위험을 감지할 수 있습니다. 예를 들어 Microsoft Azure의 보안 연구 환경은 스마트 자동화를 사용하여 사용자의 비즈니스 데이터를 감독하고, 이상이 감지되면 ML이 즉시 조치를 취할 준비가 되어 있습니다. 알고리즘이 클라우드 에서 공유되는 샘플을 통해 자신의 경험과 다른 조직으로부터 학습함에 따라 응답 시간이 지속적으로 단축됩니다 .
클라우드 보안 회사인 Vercara의 솔루션 SVP인 Carlos Morales는 "AI 도구는 글로벌 규모로 정보를 구성할 수 있습니다."라고 말합니다. "다양한 방어 솔루션의 데이터 간 상관관계를 파악하고 새로운 공격을 사전에 감지하고 조치를 취할 수 있습니다."
이제 많은 AI 보안 서비스에는 양성 활동과 악성 활동의 차이를 자동으로 즉각적으로 "알는" 방법을 학습하는 효과적인 인공 두뇌인 딥 러닝 및 신경망 요소가 포함되어 있습니다. 딥 러닝은 네트워크 침입을 자동으로 감지하고, 무단 액세스 시도를 찾아내고, 공격이 진행 중임을 나타낼 수 있는 비정상적인 동작을 거의 실시간으로 강조할 수 있습니다.
이제 AI는 공격으로 인한 피해를 제한하는 데 도움을 줄 수도 있습니다. 보안 플랫폼 OmniIndex의 CEO인 Simon Bain은 "사고에 대응하여 정해진 방어 절차가 시작됩니다."라고 말합니다. "특정 데이터베이스나 블록체인 노드가 공격을 받으면 AI는 피해를 해당 단일 위치로 격리하고 다른 지역으로 확산되는 것을 막을 수 있습니다."
엄청난 양의 혼란스러운 데이터에서 매우 빠르게 조언을 생성하는 생성 AI의 능력은 방어자에게도 유용합니다. 보안 챗봇은 시스템의 보안 제어 및 구성을 검사하여 차이점을 지적하고 정책을 추천할 수 있습니다. 이 급속한 발전의 다음 단계는 AI 시스템이 보안 제어를 자율적으로 감사, 평가 및 검증하는 것입니다.
보안 팀은 이미 생성적 AI를 사용하여 알려진 에이전트가 작성한 악성 코드를 탐지하고, 다음에 수행할 작업을 예측하며, 공격이나 변종이 탐지되면 자동으로 조치를 취하는 데 도움이 되는 모델을 구축했습니다.
Darktrace를 포함한 기업은 가장 창의적인 AI 기반 해커의 행동을 자동으로 예측하고 차단하는 스마트 공격 시뮬레이션을 개발했습니다 .
Darktrace의 사이버 혁신 담당 부사장인 Max Heinemeyer는 "선제적 보안과 시뮬레이션은 놀라울 정도로 강력할 것입니다."라고 말합니다. "이것은 악의적인 행위자에 대한 상황을 뒤집어 보안 팀이 알려지지 않은 AI 기반 위협으로부터 조직을 미래에 대비할 수 있는 방법을 제공할 것입니다."
필연적으로 보안 공급업체는 자사 제품의 AI 기능에 대해 확신을 가지고 있습니다. 그러나 비즈니스 리더들은 보안 제품에서 AI에 대한 과대광고를 두려워하며 여전히 경계하고 있습니다. Freeform Dynamics 응답자의 절반 이상(54%)은 AI 기능에 대한 공급업체의 주장에 대해 "신중"하거나 "의심"한다고 답했습니다.
이러한 의심이 타당하든 그렇지 않든 기업은 AI 지원 보안 소프트웨어를 마법의 총알로 보는 것을 거부하는 것이 현명하다고 Curran은 말합니다.
"다른 기술 혁신과 마찬가지로 AI는 특히 사이버 보안 분야에서 과장되는 경향이 있습니다."라고 Curran은 말합니다. "그러나 이는 향후 몇 년 동안 조직이 스스로를 보호하는 방식에 큰 영향을 미치고 영향을 미칠 수 있는 잠재력을 가지고 있습니다."
생성적 AI의 범죄적 악용은 이메일과 코드 작성을 훨씬 넘어서는 것입니다. 대부분의 LLM 챗봇은 무료로 사용할 수 있고 조직의 기술 스택 외부에 존재하므로 보안 팀이 이를 제어할 수 없으며 데이터 유출 위험이 가득합니다 .
제로 트러스트가 최선의 방어인가?
당신이 제품 제안서를 작성하는 제품 관리자이고 ChatGPT와 같은 LLM을 사용하여 문서의 가독성과 명확성을 확인한다고 상상해 보십시오. 이 교환에는 매우 기밀인 비즈니스 정보가 포함될 가능성이 높습니다. 그러나 이 예는 단지 이론적인 것과는 거리가 멀다. 지난 7월 Deloitte는 400만 명의 영국 근로자가 업무에 생성 AI 도구를 사용하고 있다고 보고했으며 이 숫자는 계속 증가할 것입니다.
데이터 유출과 생성 AI는 우리가 이미 맞서 싸워야 하는 현실입니다. 3월에는 ChatGPT 사이드바에 사용자의 채팅 기록과 제목이 노출되는 결함이 있었습니다. OpenAI는 버그를 패치한 것으로 추정되지만, 그럼에도 불구하고 Apple은 추가 보안 예방 조치로 모든 직원에 대해 ChatGPT를 금지했습니다. 보안 전문가 Group-IB는 지난 6월 100,000개가 넘는 악성 코드 로그에서 도난당한 ChatGPT 자격 증명을 발견했습니다.
보안 솔루션은 AI를 활용하여 위협 행위자가 훔친 자격 증명을 사용하는 것을 방지합니다 . 예를 들어 Human Security의 제품은 플랫폼에서 손상된 자격 증명을 실시간으로 식별하고 차단하는 것을 목표로 합니다. 그러나 Forrester 및 Google Cloud 의 분석가를 포함한 많은 전문가들은 이러한 공격에 대한 유일한 효과적인 방어 방법은 제로 트러스트 보안 모델을 구현하는 것이라고 믿습니다. 제로 트러스트 접근 방식은 모든 데이터를 신뢰할 수 없는 것으로 취급하고 개인 전화를 포함한 모든 장치에 대해 엄격한 액세스 제어를 시행합니다.
특히, 이 기사를 위해 우리가 인터뷰한 영국 기반 전문가 중 제로 트러스트를 특별히 옹호한 사람은 없었습니다. Gartner는 개인 정보 보호에 중점을 둔 영국에 비해 미국에서 채택률이 더 높다고 제안했습니다. 대부분의 분석가는 특히 원격 작업의 경우 데이터 공유 및 확인 에 대한 직원 교육 개선의 중요성을 강조했습니다 .
전문 IT 기관인 CompTIA의 사이버 개발 프로그램 부사장인 Ron Culler는 "AI가 생성한 피싱에 대한 최선의 방어는 강력한 정책입니다."라고 말합니다. "나쁜 행위자가 자격 증명 정보를 훔치려고 시도하는 스피어 피싱을 예로 들어 보겠습니다. 조직은 두 번째 사람이 요청을 확인하도록 요구하거나 신원 확인을 위해 PIN 코드를 사용하도록 요구하는 이중 인증 정책을 구현하여 이러한 공격 시도로부터 보호할 수 있습니다."
AI 보안의 한계
무인 자동차가 운송 수단을 변화시키듯이 자율 AI 보안 시스템도 언젠가 인간의 감독을 불필요하게 만들 수 있습니다. 이제 기업은 AI와 ML을 사용하여 기술 격차를 해소 하고 대규모 보안 결함으로 이어지는 인간 실수 유형을 최소화할 수 있습니다. 예를 들어, D2iQ 의 새로운 AI Navigator 'copilot' 도구는 열악한 보안 구성과 같은 문제를 지능적으로 감지합니다.
그러나 2024년이 다가옴에 따라 AI로 강화된 방어 전략에 있어 인간의 투입은 여전히 중요합니다. 잘못된 데이터에 대해 훈련된 생성적 AI는 잘못된 결정과 부정확한 정보를 제공할 수 있으며, 이를 확인하지 않으면 비즈니스 보안에 득보다 실이 더 클 수 있습니다. 많은 AI 지원 시스템과 마찬가지로 AI Navigator에도 연중무휴 인간 지원 팀이 함께 제공된다는 점을 알 수 있습니다.
WatchGuard의 CSO인 Corey Nachreiner는 "이러한 시스템은 보안 지표에 관한 한 밀과 왕겨를 분리하는 데 충분하지만 나머지 주요 사항을 조사하려면 인간 사고 대응자가 여전히 필요합니다."라고 말합니다. "그들은 또한 그들이 가져온 데이터가 부정확하거나 나쁜 경우 매우 나쁜 결정, 즉 환각을 내릴 수 있습니다. 그들은 실제로 생각하지 않습니다."
Malwarebytes의 사이버 보안 전도사인 Mark Stockley는 "우리는 AI의 한계에 대해 현실적이어야 합니다."라고 말합니다. "잠재적으로 부하를 줄일 수 있지만 아직은 전문적인 인간 위협 사냥꾼의 역할이 있을 것입니다."
