AI 챗봇이 피싱에 미치는 영향
첨단 AI 시대의 피싱 진화
인공 지능(AI) 구현에 사용되는 머신 러닝 기술의 한 종류인 첨단 심층 신경망 네트워크는 언어를 번역하고, 시를 쓰고, 트윗을 작성하는 등 창의적인 임무를 수행해 내는 능력으로 수년간 헤드라인을 장식했습니다.
최근에는 딥러닝을 이용하는 대화형 AI 모델 두 가지인 GPT-4와 이전 모델인 ChatGPT가 “모두의 업무 방식을 변화”시킬 “게임 체인저”로 각광받고 있습니다. GPT-4(Generative Pretrained Transformer 4)와 ChatGPT 모두 전통적인 챗봇보다 기능이 훨씬 더 다양합니다. 질문과 요청에 사람과 훨씬 비슷하게 텍스트로 답변할 수 있고, 검색 요청이나 작성된 ‘대화’의 맥락을 ‘이해’하고 사용자의 요청에 숨겨진 의도를 해석해낼 수도 있습니다. 고유한 기능을 갖춘 ChatGPT는 역사상 가장 빠르게 성장하는 소비자 애플리케이션이 되었습니다.
AI 챗봇은 인상적으로 사람 같은 답변을 수집하거나 심지어 일종의 애플리케이션을 만드는 데 유용할 수도 있습니다. 이러한 능력 때문에 해커들이 피싱 캠페인을 만드는 데 악용될 수 있다는 우려까지 나오고 있는 실정입니다.
GPT-4 및 ChatGPT가 보안에 미치는 영향을 더 잘 이해하려면 두 모델이 피싱 캠페인용 콘텐츠를 작성하도록 ‘학습하는’ 방식과 더불어 간단하고 매우 개인적인 캠페인과 목표를 정한 피싱 캠페인 간의 차이까지 이해해야 합니다.
클라우드 스토리지 서비스부터 암호화폐까지, 공격자들은 항상 최신 트렌드와 기술을 악용합니다. 이렇게 생성형 AI가 부상하면서 조직에서는 누가, 또는 무엇이 메시지를 작성하든 첨단 피싱 캠페인을 차단할 수 있는 이메일 보안 역량을 갖추어야 한다는 사실을 다시금 중시하게 되었습니다.
텍스트를 이해하고 생성할 수 있는 기계
오늘날의 AI 챗봇 모델은 자연어 처리(NLP)에 있어서도 새로운 지평을 열었습니다. 자연어 처리는 기계가 사람과 매우 유사한 방식으로 텍스트나 대화를 ‘이해’하고 응답할 방법을 연구하는 AI의 한 갈래입니다. NLP는 규칙 기반의 인간 언어 모델링을 다양한 모델과 결합하여 컴퓨터가 처리 중인 콘텐츠를 이해할 수 있도록 도와줍니다.
NLP는 소셜 미디어 모니터링 툴이나 Siri 등의 음성 비서와 같이 다양한 애플리케이션에서 수년간 이용되고 있습니다. 하지만 수십억 개의 텍스트 및 이미지 파라미터로 훈련받은 ChatGPT 및 GPT-4는 이보다 월등히 앞서 있습니다.
두 모델 모두 신경망 기반 NLP 모델로 주어진 문구 다음에 오는 가장 논리적인 단어가 무엇인지 예측하도록 훈련받은, 이른바 "대규모 언어 모델"을 대표합니다. 밝혀진 바로는, 이 훈련 기법으로 만든 NLP 모델은 다른 많은 작업에도 능숙합니다.
OpenAI(ChatGPT 및 GPT-4의 개발사)에서 이 기법을 적용한 방식은 그 자체로 중대한 이정표입니다. OpenAI는 생성된 텍스트 또는 이미지에 대한 인간의 의견을 통합하는 새로운 기술과 프롬프트에 나타난 지시를 따르도록 하는 특수 훈련을 사용하여 다른 애플리케이션보다 한 단계 더 발전한 훈련을 구현했습니다. 결국 두 모델은 인간과 유사하게 더 맥락에 맞게 대화할 수 있을 만큼 정교하게 발전했습니다.
ChatGPT 및 GPT-4가 생성하는 논리적인 응답들은 의도가 선합니다. 하지만 사이버 범죄자는 피싱 캠페인을 개발하는 도구로 이러한 성능을 악용할 수 있습니다.
AI 챗봇 남용
피싱은 가장 일반적인 데이터 유출 원인이자, 랜섬웨어 진입점으로 흔히 이용됩니다.
피싱 이메일은 합법적인 법인인 척하도록 소셜 엔지니어링되어 있기 때문에 한눈에 알아채기 어려울 수 있습니다. 하지만 일 반적으로 피싱 메시지를 구별할 공통점(특히 희생자의 모국어를 말하거나 쓰지 못하는 범죄자가 만든 피싱일 때)으로는 조악한 문법, 오타, 용법에 맞지 않은 단어, 불완전한 문장 구조 등이 있습니다.
2023년 1월, 위협 인텔리전스 회사인 Recorded Future의 보고에 따르면 사이버 범죄자가 정상적인 것처럼 보이는 피싱 메시지를 작성하는 데 ChatGPT를 악용할 소지가 있습니다.
Recorded Future는 ChatGPT 출시 후 몇 주 동안 다크웹과 전용 액세스 소스에 위치한 위협 행위자들이 맬웨어 개발, 소셜 엔지니어링, 허위 정보 배포를 뒷받침하는 개념 증명 ChatGPT 대화를 공유해 왔다는 점을 밝혀냈습니다.
ChatGPT 및 GPT-4의 인기를 악용하는 공격자들에 대한 보고도 있었습니다.
연구자들은 피싱 웹 사이트에서 맬웨어를 퍼트리거나 신용카드 정보를 탈취할 목적으로 ChatGPT의 이름과 OpenAI 이미지를 도용한 여러 사례를 찾아냈습니다.
다운로드하면 사용자 정보를 탈취하는 피싱 캠페인을 배포하는 가짜 ChatGPT 앱까지 있었습니다.
GPT-4 출시 직후부터 스캐머들은 피싱 이메일을 전송하고 가짜 OpenAI 토큰에 관한 피싱 링크를 트윗하기 시작했습니다.
기술적으로, OpenAI는 “맬웨어 생성”, “경제적 해를 끼칠 위험이 큰 활동”, “사기 또는 기만 행위”, 그 밖의 불법 행위에 자사의 모델을 악용하는 행위를 금지합니다. OpenAI의 모델은 사용자가 요청하더라도 피싱 이메일을 작성하거나 피싱 웹 사이트를 생성하지 않습니다. 하지만 해커가 피싱 캠페인을 생성하는 방법을 간소화해줄 수는 있습니다. 적어도 AI 챗봇은 공격자를 포함해 그 누구든 콘텐츠 작성 기술을 빠르게 개선하는 데 도움을 줄 수 있습니다.
잘못된 손에 들어간 ChatGPT와 GPT-4는 더욱 진짜 같고 잘 작성된 피싱 메시지와 웹 사이트를 만들어, 전통적인 이메일 보안 필터나 피싱 방지 필터를 무력화하는 데 악용될 수 있습니다.
AI 챗봇이 맞춤 피싱 캠페인을 생성할 수 있을까요?
공격자들은 한 번의 클릭이나 대화로 희생자를 유인하기만 하면 자격 증명, 정보나 돈을 빼앗을 수 있다는 점을 알고 있습니다. 이 점은 구직자를 노리는 ‘가짜 구인’ 피싱 공격, 기부자를 노리는 가짜 자선단체 스캠, 온라인에서 짝을 찾는 사람들을 노리는 데이트 스캠 등에서 특히 그렇습니다.
오늘날의 가장 강력한 신경망조차 일반 시민의 개인 정보나 어떤 회사의 구체적인 조직 구조, 커뮤니케이션 구조를 ‘알 수는 없습니다’. 하지만 공격자들이 AI 챗봇의 능력과 더불어서 목표로 삼은 희생자에 대해 충분히 조사까지 수행하면, 악의적인 이메일임을 사용자가 알아채기 더 어려운 맞춤 피싱 메시지를 작성할 수 있습니다.
이미 사이버 범죄자들은 목표물을 예리하게 겨냥한 저용량 비즈니스 이메일 손상(BEC) 공격으로 조직을 속이는 데 성공하고 있습니다. 보통 BEC에서는 희생자가 정기적으로 연락하는 특정 직원이나 임원을 사칭합니다. 벤더 이메일 손상(VEC)은 BEC의 형식을 띠고 있으며, 믿을 수 있는 서드파티(벤더 또는 협력업체)의 계정을 사칭해 이전에 이미 교환했던 메시지를 따라합니다. BEC와 VEC 모두 ‘믿을 수 있는’ 관계를 악용하기 때문에 전통적인 이메일 보안 게이트웨이나 인증 방식을 피해갈 수 있습니다. BEC 공격은 이미 전 세계의 기업에 430억 달러의 비용을 발생시켰습니다.
Zero Trust를 이용해 모든 채널에서 피싱 차단
공격자들은 항상 이익을 위해 새로운 기술을 악용합니다. 다행히, 보안 혁신 기술을 통해 기존의 방어 수단을 우회하고 사용자가 인식하지 못하는 악의적 메시지를 구별할 수 있습니다. 지난 수년간 만들어진 정교한 머신 러닝 모델은 단순한 텍스트나 이미지 그 이상으로 다양한 신호를 조사해 피싱을 감지하고 차단하도록 훈련을 받았습니다.
이메일 메시지에는 제목과 메타데이터 필드에 이메일 발신 위치, 원본 서버 인프라, 전송 경로 등 추가 정보가 상당히 많습니다. 그러므로 제목 외에도 특정 URL과 링크, 첨부 파일, 메일 수신 목록 구성원, 어조 등 메시지에 담긴 기타 세부 정보들도 분석해야 합니다.
Cloudflare의 선제적인 이메일 보안 솔루션은 Zero Trust 플랫폼의 일부로 이메일 콘텐츠에서 생성된 다양한 신호를 감지합니다.
감정 분석을 통해 패턴 및 행동(작성 패턴 및 표현)의 변화를 감지합니다
구조 분석을 수행하여, 신호를 감지하도록 설계된 휴리스틱 및 머신 러닝 모델로 제목, 본문, 이미지, 링크, 페이로드를 분석합니다
신뢰 그래프를 통해 파트너 소셜 그래프, 전송 기록, 잠재적인 파트너 사칭을 평가합니다
Cloudflare에서는 매일 차단되는 평균 ~1650억 건의 사이버 위협과 일일 DNS 쿼리 3.60억 건으로 파악한 인텔리전스를 활용합니다. 이 인텔리전스를 통해 Cloudflare 고객은 악의적인 도메인을 차단하고, 사용자를 의심스러운 웹 콘텐츠로부터 보호하고, 사용자가 피싱 웹 사이트에서 자격 증명을 노출시키지 않도록 예방하고, 다양한 공격 벡터에서 피싱을 차단할 수 있습니다.
여기에 기타 기법들까지 더하면 공격자가 비즈니스 커뮤니케이션에 대한 사용자의 무의식적인 신뢰를 악용하지 못하게 막을 수 있습니다. Zero Trust를 위협 방어 목적으로 확대한다는 전반적인 접근법에는 세 가지 핵심 원칙이 깔려 있습니다.
침해라고 가정하라. 항상 피싱 캠페인이 준비되어 있다 고 가정하고, 인터넷을 스캔하여 공격자 인프라를 선제적으로 찾아내 피싱 공격이 사서함에 도달하기 전에 차단하세요.
절대 믿지 말라. 이메일 인증 솔루션이 갖추어져 있고, 널리 알려진 도메인에서 온 이메일이고, 전에도 기업 사용자와 소통했던 사람이 보낸 이메일이라는 이유만으로 비즈니스 커뮤니케이션을 무조건 믿지 마세요.
항상 인증하라. 기업 네트워크에 속한 사용자와 요청이라고 해도 매번 계속 확인하세요.
공격자는 새로운 AI 챗봇처럼, 사용할 수 있는 모든 도구를 활용하여 전략을 강화합니다. 계속 방어적으로만 행동하고 사이버 위협이 실제로 새롭게 나타나는지 판단하기를 주저한다면 조직이 더 큰 위험에 처할 수 있습니다. 피싱 캠페인을 더 잘 방어하고 싶다면 “침해라고 가정하라,” “절대 믿지 말라,” “항상 인증하라”는 원칙을 따르세요.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
Cloudflare가 감지하고 차단할 수 있는 피싱 캠페인 종류를 알아보려면 셀프 가이드 이메일 보안 데모를 받아보세요.
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
대화형 AI 챗봇이 텍스트를 생성하는 방법
공격자가 피싱 캠페인 생성을 위해 ChatGPT 또는 GPT-4를 악용하는 방법
AI가 생성한 피싱 위협을 방어하는 방법