누구의 목소리인가? AI를 이용한 보이스 피싱

* 해당 블로그의 원문은 2024년 7월 24일 Google Cloud 블로그(영문)에 게재되었습니다. 

작성자: Emily Astranova, Pascal Issa

요약

• AI 기술 발전으로 사람의 목소리를 완벽하게 모방할 수 있게 되어 보이스 피싱이 더욱 정교해지고 있습니다. 
• 언론 보도에 따르면 AI를 이용한 목소리 복제와 딥페이크로 2억 홍콩 달러 규모의 피해가 발생한 사건이 있었습니다.
• 공격자는 위협을 가하는 모든 단계에서 AI를 활용할 수 있습니다. 특히 초기 접근, 내부 시스템 침투, 권한 상승에 악용할 가능성이 높습니다.
• 맨디언트 레드팀도 AI 기반 목소리 변조 기술을 사용해 기업 보안 시스템을 테스트하고 있습니다.
• 기업은 직원 교육과 코드 단어를 이용해 신원을 확인하는 추가 인증을 적용해 정교해지는 공격에 대비해야 합니다. 

소개

지난해 맨디언트는 공격자가 생성형 AI를 피싱 캠페인과 정보 작전(Information Operation)에 활용해 이미지와 영상 등 그럴듯한 컨텐츠를 만드는 방법을 다룬 포스팅을 공개했습니다. 또한, 공격자가 악성 코드 개발에 거대 언어 모델(LLM)을 사용하는 것에 대한 맨디언트의 통찰도 공유한 바 있습니다. 당시 기준으로 볼 때 공격자들이 생성형 AI 관심을 두고 있지만, 실제로 사용하는 데에는 제한이 있었습니다. ​

이번 포스팅에서는 초기 연구를 바탕으로 새로운 AI 기반 전술, 기법, 절차(TTP)와 트렌드를 알아봅니다. AI 기반 음성 변조에 대해 알아보고, 맨디언트 레드팀이 이를 활용해 방어 시스템을 테스트하는 방법을 소개합니다. 더불어 새로운 위협에 대응하기 위해 고려해야 할 사항도 살펴봅니다.

빠르게 증가하고 있는 AI 기반 음성 변조 위협

보이스 피싱 개요

보이스 피싱(vishing)은 전통적인 이메일 기반 피싱과 달리 음성을 기반으로 한 공격입니다. 공격자는 이메일을 보내 클릭을 유도하는 대신 직접 전화를 걸어 신뢰를 얻고 감정을 자극하는 긴급한 상황을 연출하는 등의 방법을 사용합니다.

일반적인 피싱과 마찬가지로 공격자는 사회 공학 기법을 동원해 개인 정보를 손에 넣거나, 악의적인 행동을 유발하거나, 돈을 송금하게 하는 등의 목표를 달성하려 합니다. 이러한 사기 전화는 은행, 정부 기관, 기술 지원 기업 등 신뢰할 수 있 는 조직을 사칭합니다.

텍스트 생성기, 이미지 생성기, 음성 합성기 같은 강력한 AI 도구를 만들어 공유하는 오픈 소스 프로젝트가 늘어나면서 누구나 쉽게 이 기술을 활용할 수 있게 되었습니다. 이런 발전에 힘입어 더 많은 이들이 AI를 활용할 수 있게 된 것은 좋은 일입니다. 하지만 다른 한쪽으로는 공격자가 더욱 설득력 있는 보이스 피싱 공격을 할 수 있는 부정적인 영향도 커지고 있습니다.

AI 기반 음성 변조를 활용한 공격 라이프 사이클

초기 접근

측면 이동 및 권한 상승

공격자는 AI 기반 음성 변조를 통해 내부 네트워크 환경에서 시스템 사이를 이동하는 가운데 조직원을 사칭해 더 높은 권한을 확보할 수 있습니다. 이는 여러 방법으로 진행될 수 있습니다.

내부 이동의 한 방법은 사칭을 이어가며 목표한 권한을 손에 넣는 것입니다. 예를 들어 공격자가 처음 헬프데스크 직원을 사칭할 수 있는 초기 접근 권한을 얻었다고 가정해 보겠습니다. 이후 네트워크 관리자에게 연락하여 담당자의 음성을 녹음합니다. 이렇게 캡처한 오디오는 새로운 AI 음성 모델 변조 모델을 훈련하는 데 사용할 수 있습니다. 이렇게 해서 네트워크 관리자의 음성을 모방할 수 있게 되면, 공격자는 이제 네트워크 관리자를 사칭해 다른 사람에게 연락을 취합니다. 이처럼 사칭을 거듭하면서 공격자는 내부 네트워크를 이동하며 민감한 데이터와 시스템에 가까이 다가서게 됩니다.

또 다른 방법은 초기 접근 단계에서 공격자가 해킹한 호스트에서 음성 메일, 회의 녹음, 교육 자료같이 쉽게 얻을 수 있는 음성 녹음 파일을 발견해 악용하는 것입니다. 이런 녹음 파일은 AI 음성 변조 모델 훈련에 사용되어 공격자가 조직 내 특정 개인을 사칭할 수 있는 기회를 제공합니다. 이렇게 AI로 생성한 음성은 더 높은 권한이 있는 인물에게 접근하거나, 음성 생체 인식을 이용해 액세스 제어 시스템을 우회하는 데 효과적입니다.

맨디언트 레드팀의 사례 연구

2023년 말 맨디언트는 한 고객과 함께 AI 음성 변조를 사용해 내부 네트워크의 초기 접근 권한을 획득하는 레드팀 훈련을 실시했습니다. 고객의 동의를 받고 통제된 환경에서 수행한 이 훈련을 통해 더 정교해지는 AI 기술을 활용한 공격 기법의 위험이 어느 정도인지 잘 알 수 있었습니다.

훈련의 시작은 사회공학적 기법을 특정 시나리오에 적용하는 것이었습니다. 레드팀은 고객 보안 팀 구성원을 사칭하는 시나리오를 작성하였습니다. 이를 훈련에 적용하기 위해 자연스러운 음성 샘플이 필요했습니다. 레드팀은 고객의 허가를 받아 음성 샘플을 확보하였습니다.​

레드팀은 확보한 음성으로 모델을 훈련하여 현실적인 목소리를 생성했습니다. 다음 단계에서는 오픈 소스 인텔리전스(OSINT)가 중요한 역할을 하였습니다. 레드팀은 직책, 위치, 전화번호 같은 직원 데이터를 수집한 다음 공격 목표 달성에 필요한 권한을 가진 이가 누구인지 찾았습니다. 이렇게 선별한 공격 대상 목록을 놓고 레드팀은 VoIP 서비스와 번호 스푸핑을 통해 사칭 전화를 걸었습니다.

음성 메일 인사말같이 직접 통화가 어렵거나, 다른 이유로 통화가 연결되지 않았지만, 첫 번째로 전화를 의심하지 않는 피해자가 나왔습니다. 그는 걸려 온 전화를 받고 "무슨 일이세요?"라고 답변했습니다. 레드팀은 사칭한 사람의 상사인 보안 관리자에게 연락했습니다. 레드팀은 최근 고객사 VPN 제공 업체에 영향을 미친 글로벌 오류가 발생한 것에서 힌트를 얻어 "VPN 클라이언트 오류 구성"이라는 구실로 피해자에게 신뢰를 얻었습니다. 이 시나리오는 긴급한 상황을 연출하여 피해자에게 피싱을 의심할 틈을 주지 않습니다.

전화로 들여오는 목소리를 신뢰한 피해자는 마이크로소프트 엣지와 윈도우 디펜더 스마트 스크린의 보안 프롬프트를 무시하고, 자신도 모르는 사이에 레드팀이 미리 준비한 악성 페이로드를 다운로드하여 실행했습니다. 이번 훈련을 통해 맨디언트 레드팀과 고객은 음성 변조가 얼마나 쉽게 조직을 침해할 수 있는지 확인할 수 있었습니다.

보안 고려사항

현재 많은 조직이 기술적 탐지와 통제 체계에 의지합니다. 이런 체계에서는 AI 기술로 음성을 생성해 피싱 공격을 탐지하고 대응하는 것에 제약이 따릅니다. 이를 제약을 넘어 최선의 방어를 하려면 AI 기반 음성 피싱 공격에 대한 조직원의 인식 제고, 평소와 다른 느낌이 들 때 다시 전화를 걸어 출처를 다시 확인하는 문화 조성, 최신 기술로 무장한 공격을 탐지하기 위해 최신 기술을 활용하는 자세가 필요합니다. 이 세 요소를 자세히 알아보겠습니다.

인식 제고

직원, 특히 돈과 중요 시스템에 대한 접근을 통제하는 직원들을 대상으로 AI 보이스 피싱 공격이 어떻게 이루어지는지 안내하는 교육을 진행합니다. 보인 인식을 강화하는 교육 과정에 AI 기반 위협 내용을 추가하는 것을 고려해야 할 때입니다. 다음과 같은 경우 걸려 온 전화를 경계해야 합니다. 

• 너무 좋은 제안처럼 들리는 경우.

• 신뢰할 수 없는 번호/기관에서 온 전화.

• 의심스러운 권위를 주장하려는 경우.

• 발신자가 평소와 다른 행동을 보이는 경우.

발신자가 긴박하게 전화를 걸어 일회용 비밀번호(OTP) 같은 금융 또는 접근 관련 정보를 요청하는 경우 경계해야 합니다. 직원들은 AI 피싱이 의심되는 전화라 여겨지면 바로 끊고 해당 내용을 보고해야 합니다. 그렇지 않으면 다른 직원이 유사한 공격을 받을 수 있습니다.

출처 검증

가능하다면 신뢰할 수 있는 출처와 정보를 교차 확인하십시오. 예를 들어 의심스럽다면 걸려온 전화를 끊고 이전에 확인한 번호를 다시 전화를 걸어 확인하십시오. 발신자에게 이전에 확인된 번호로 문자 메시지를 보내거니 이메일 또는 채팅을 통해 메시지를 보내 확인을 요청할 수도 있습니다.

직원들을 대상으로 배경 소음이 이상하거나 평소와 다른 느낌의 전화가 걸려 오면 이를 눈치챌 수 있게 관련 교육을 하십시오. 공격자가 충분한 시간을 들여 오디오 품질을 높이지 않을 경우 수신자가 조금만 주의를 기울이면 이상함을 눈치챌 수 있습니다. 사투리나 말투가 이상한 경우도 있습니다. 이 외에도 음성이 이상하거나, 같은 말을 되풀이하거나, 말이 끊기면 의심해야 합니다.

민감한 정보나 금융 정보를 다루는 임직원을 대상으로 비공개로 코드 단어를 설정하십시오. 코드 단어는 의심스러운 경우 개인을 확인하는 데 유용합니다. 이를 적용하면 위협 행위자가 침입하더라도 중요 조직원의 노출이 제한됩니다.

가능한 경우 알 수 없는 번호로 전화가 오면 음성 사서함으로 넘어가게 하십시오. 이메일을 적용하는 것과 동일한 주의를 음성 통화에도 적용하십시오. 의심스러운 전화를 받으면, 해당 내용을 보고하여 다른 조직원이 피해를 보지 않게 널리 알려야 합니다.

기술 고려

결론

이번 포스팅에서는 AI 도구가 피해자가 의심하지 않게 하는 설득력 있는 피싱 공격에 어떤 기여를 할 수 있는지 알아보았습니다. 앞서 소개한 사례 연구를 통해 AI 음성 변조 공격에 대한 강화된 보안 조치가 필요하다는 것을 알 수 있었습니다. 기술은 공격자와 방어자 모두에게 강력한 도구를 제공합니다. 이런 변화 속에서 사림이 결국 가장 중요한 취약점이란 사실은 변치 않습니다. 따라서 조직과 개인 모두가 AI 기반 보이스 피싱을 조심하도록 경종을 울려야 합니다. ​

맨디언트는 레드팀 평가와 사회공학 평가에 AI 음성 변조 공격을 포함하기 시작하였습니다. 이러한 공격 기법을 사용하는 공격이 늘어남에 따라 방어자는 계획을 세우고 예방 조치를 취해야 합니다.