The Prompt: AI 보안에서 고려해야 할 사항
Anton Chuvakin
Security Advisor, Office of the CISO
John Stone
Director, Office of the CISO, Google Cloud
이제 조직의 AI를 보호하는 방법에 대해 생각해 볼 때입니다. 지금부터 시작해볼까요?
* 본 아티클의 원문은 2023년 8월 24일 Google Cloud 블로그(영문)에 게재되었습니다.
비즈니스 리더들 사이에서 생성형 AI가 큰 관심을 모으고 있습니다. 'The Prompt'는 빠르게 변화하는 이 주제에 대한 최신 정보를 놓치지 않도록 고객 및 파트너와 협업하면서 확인된 사항과 Google의 최신 AI 트렌드를 전해드립니다. 이번 호에서는 Google Cloud CISO실의 보안 자문 담당자 안톤 슈바킨과 책임자 존 스톤이 설명하는 AI 시스템 보안과 기존 엔터프라이즈 시스템 보안 사이의 유사점과 차이점에 대해 살펴보겠습니다.
AI를 보호한다는 것은 어떤 의미일까요? 인공지능이 일상에 빠르게 보편화되고 있는 만큼 인공지능 보안의 여파를 반드시 고려해야 합니다. AI 보안도 다른 기술 시스템 보안과 비슷할까요? 아니면 완전히 다를까요?
Google Cloud Security 팟캐스트의 최근 에피소드에서 AI 보안을 정의하는 방법을 묻는 질문에 Google Cloud 부사장 겸 CISO 필 베나블스는 'AI 보안에는 소프트웨어 보안 요소는 물론 데이터 보안과 데이터 거버넌스도 포함된다'고 답했습니다.
베나블스 부사장은 “AI 보안이란 무단 액세스, 사용, 수정 또는 무단 공개로부터 AI 시스템을 보호하는 관행을 말합니다. 여기에는 AI 시스템을 지원하는 소프트웨어, 데이터, 환경에 대한 보호도 포함됩니다. AI 시스템을 보호하기 위해서는 보안 및 위험팀이 AI 시스템과 관련된 위험을 잘 이해해야 합니다.”라며 다음과 같이 덧붙였습니다. “AI 보안은 코드 출처와 같은 소프트웨어 보안 요소, 데이터 거버넌스와 같은 데이터 보안 요소, API 보안과 같은 기타 제어 및 보호 장치 등을 한데 모은 흥미로운 조합입니다.”
Google은 AI를 보호하는 방법에 대한 개략적인 개념적 프레임워크를 제공하기 위해 보안 AI 프레임워크(SAIF)를 선보인 바 있습니다. 이제 다음 단계로 기존 시스템과 비교했을 때 AI 보안 접근방식이 어떤 유사점과 차이점이 있는지를 자세히 살펴보고자 합니다.
AI가 새로운 보안 환경을 대표하기는 하지만 그렇다고 기존의 보안 환경이 더 이상 유효하지 않은 것은 아닙니다. AI 보안이 마술처럼 보안 권장사항을 완전히 뒤집는 것도 아닌 데다가, 보안팀이 지금까지 축적해 온 수많은 지식은 여전히 적절하고 유효합니다. AI 보안에 관한 새로운 Google Cloud 보고서에서 강조하듯이 기존 시스템과 AI 시스템 모두에 상당수의 동일한 보안 원칙과 관행을 적용할 수 있습니다.
가장 중요한 차이점 중 하나는 AI 시스템이 기존 시스템에는 존재하지 않는 새로운 보안 위험을 초래할 수 있다는 것입니다. 예를 들어 일부 AI 시스템은 AI 시스템이 잘못된 예측을 수행하도록 교묘하게 조작된 입력, 즉 적대적 예에 더 쉽게 속을 수 있습니다. 또한 다른 시스템을 공격하는 데 사용되는 합성 데이터를 생성하는 데에도 악용될 수 있습니다.
그러나 기존 시스템에 적용되는 동일한 보안 원칙 중 상당 부분이 AI 시스템에도 적용됩니다. 예를 들어 네트워크 액세스 제어, 위협 감지, 데이터 암호화 등 AI 시스템에 대한 보안 제어를 구현하는 작업은 여전히 중요합니다. 또한 목적한 사용 사례를 대표하는 데이터로 AI 시스템을 학습시키고 취약점, 구성 오류, 오용 가능성을 테스트하는 일 역시 중요합니다.
Google에서 권장하는 접근 방식은 더 많은 유사점(기존 보안 제어 및 접근 방식이 대부분 작동하는 지점)과 더 많은 차이점(새로운 도구와 방법을 개발해야 하는 지점)을 찾는 것입니다. SAIF의 첫 번째 원칙에 따라 모든 AI 프로젝트는 보안 인프라 사용을 확실한 출발점으로 삼을 수 있습니다.
오늘날 조직이 AI 시스템을 더욱 안전하게 보호하기 위한 첫 걸음을 뗄 수 있도록 Google Cloud의 최신 연구에서 확인된 일련의 유사점과 차이점을 소개합니다. AI 시스템 보안과 AI가 아닌 시스템 보안 사이에는 다음과 같은 4가지 주요 차이점이 있습니다.
- AI 시스템이 더 복잡합니다. AI 시스템은 머신러닝 모델, 데이터 파이프라인, 소프트웨어 애플리케이션 등 여러 구성요소로 이루어지는 경우가 많습니다. 이러한 복잡성으로 인해 기존 시스템보다 보안을 유지하기가 더 어렵습니다.
- AI 시스템이 더 데이터 중심적입니다. AI 시스템은 학습과 작업에 데이터를 사용합니다. 공격자가 시스템 오작동을 일으키기 위해 데이터를 조작할 수 있으므로 이러한 데이터는 취약점의 원인이 될 수 있습니다.
- AI 시스템의 적응력이 더 뛰어납니다. AI 시스템은 장기적으로 학습하며 적응할 수 있습니다. 따라서 공격을 받으면 방어하기가 더 어려워집니다. 공격자가 새로운 취약점을 악용하기 위해 기술을 지속적으로 업데이트할 수 있기 때문입니다.
- AI 시스템의 상호 연결성이 더 높습니다. AI 시스템은 조직 내외부의 다른 시스템과 연결되는 경우가 많습니다. 공격자가 한 시스템의 취약점을 악용하여 다른 시스템을 공격할 수 있기 때문에 이러한 상호 연결성으로 인해 새로운 공격 벡터가 생길 수 있습니다.
AI가 새로운 보안 환경을 대표하기는 하지만 그렇다고 기존의 보안 환경이 더 이상 유효하지 않은 것은 아닙니다. AI 보안이 마술처럼 보안 권장사항을 완전히 뒤집는 것도 아닌 데다가, 보안팀이 지금까지 축적해 온 수많은 지식은 여전히 적절하고 유효합니다.
또한 Google Cloud는 AI 시스템 보안과 AI가 아닌 시스템 보안 사이의 4가지 유사점을 확인했습니다.
- 많은 위협이 동일합니다. 두 시스템 모두 데이터 무단 액세스, 수정, 파기는 물론 기타 일반적인 위협으로부터 보호되어야 합니다.
- 많은 취약점도 동일합니다. 기존 엔터프라이즈 소프트웨어 및 AI 시스템은 입력 삽입 및 오버플로와 같은 일반적인 애플리케이션 보안 취약점에 영향을 받기 쉽습니다. 보안 구성 오류도 심각한 문제입니다.
- 처리된 데이터는 안전하게 보호되어야 합니다. 두 시스템 모두 엄격한 규제가 적용되는 민감한 데이터를 저장하고 처리합니다. 때로는 이 작업을 대량으로 해야 할 경우도 있습니다. 이러한 데이터 유형에는 개인 정보, 금융 데이터, 지식 재산이 포함될 수 있습니다.
- 공급망 공격은 중요하게 고려해야 하는 문제입니다. 공급망 공격으로 두 시스템 모두 심각한 피해를 입을 수 있습니다.
AI 시스템과 함께 새롭고 독특한 보안 위험이 등장하고 있는 것은 사실입니다. 그러므로 AI에 투자하는 조직은 적대적인 공격과 감염 위험을 줄이기 위한 조치를 취해야 합니다. AI 시스템을 개발하고 사용하는 과정에서 이러한 위험을 고려해야 합니다. 이사회와 최고 책임자는 이 점을 인지하고 있어야 하며, CISO와 보안팀은 이러한 시스템을 활용하고 배포하는 AI팀의 동료들과 협력해야 합니다.
성공적으로 보안을 구현하기 위해서 보안팀은 기존 애플리케이션 보안, 데이터 보안, 시스템 보안을 토대로 그 위에 AI 사용 사례, AI 위협, AI 관련 보호 장치에 대한 새로운 지식을 쌓아야 합니다.
다음 단계
'AI 보안: 유사점과 차이점' 연구 보고서 전문을 참조하여 기존 엔터프라이즈 소프트웨어 시스템 보안과 AI 시스템 보안 사이의 유사점과 차이점에 대해 자세히 알아보세요. SAIF 시각 자료, SAIF 가이드, Google AI 레드팀 보고서도 검토해 보시기 바랍니다.
