'섀도우 AI' 집중 조명: 위험한 AI 사용으로부터 보호하는 방법

*본 아티클의 원문은 2023년 12월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

지난 20년간 조직에서는 'Bring Your Own Device'와 이보다 포괄적인 'Bring Your Own Technology'와 같은 비공식 IT 움직임으로 인한 문제를 목도했습니다. 오늘날 조직은 직원들이 비즈니스 환경에서 소비자용 AI를 임의로 사용하는 '섀도우 AI'라는 새로운 인공지능 트렌드로 인해 고심하고 있습니다.

생성형 AI가 놀라울 정도로 빠르게 채택되면서 직원들이 명시적으로 비즈니스 용도로 승인되지 않은 생성형 AI 도구를 사용하려고 할 경우 상당한 문제가 되고 있습니다. 섀도우 AI를 사용하면 데이터 보안, 규정 준수, 개인 정보 보호와 관련해 심각한 문제가 발생하는 등 조직이 더 많은 위험에 처할 가능성이 있습니다.

최근 Google의 개인 정보 보호, 안전, 보안 엔지니어링 부문 부사장인 Royal Hansen은 블로그를 통해 “다양한 종류의 공격으로부터 보호하고자 할 때 시스템과 모델을 적절히 잠그는 등 기존 보안 제어를 통해서도 위험을 크게 줄일 수 있습니다. 특히 이러한 조치는 데이터 포이즈닝 및 백도어 공격을 막는 데 도움이 되기 때문에 전체 수명 주기 동안 AI 모델의 무결성을 보호하는 데 유용합니다.”라고 설명한 바 있습니다(블로그 참조). “모델의 입출력을 모두 검증하고 잘못된 부분을 삭제하는 등 기존의 보안 철학은 AI 분야에도 여전히 유효합니다.”

조직에서 AI를 활용하면 당면 과제를 해결하고 비즈니스 목표를 진전시키는 데 도움을 받을 수 있다는 점은 사실이나, 모든 AI가 똑같지는 않습니다. Google Cloud는 기업 고객과 논의하는 과정에서 다음과 같은 몇 가지 새로운 잠재적인 섀도우 AI 위험이 나타나고 있음을 확인할 수 있었습니다.

• 민감한 정보 유출, 모델에 의한 다른 사용자와의 데이터 공유, 의도치 않은 기밀 공유
• 생성형 AI 솔루션 운영업체가 고객의 기업 정보에 무단으로 액세스(예: 고객 프롬프트 데이터를 부적절하게 열람하는 행위)
• 관련 사이버 보안 또는 데이터 개인 정보 보호 요건 미준수
• '할루시네이션'(즉, 챗봇 출력의 부정확성)

이러한 위험을 완화하기 위해 기업 리더들은 종종 직장 내 생성형 AI 사용을 금지하는 조치를 취합니다. 하지만 이는 면피성 보안 조치에 불과합니다. 위험 감소 효과가 미미하며 오히려 생성형 AI 사용을 더욱 음지화해 공식 배포된 보안 제어 기능이 닿지 않아 위험이 커질 수 있습니다.

비즈니스에 엔터프라이즈급 AI를 사용할 때도 나름의 위험이 따르는 것은 사실입니다. 하지만 직원이 승인되지 않은 소비자급 AI를 비즈니스에 사용하는 섀도우 AI와 엔터프라이즈급 AI 간에 존재하는 중요한 차이점에 주목해야 합니다. 일반적으로 엔터프라이즈급 AI에는 추가적인 보호 장치가 포함되어 있어, 모델과 학습 데이터를 보호하는 데 도움이 되는 기술적, 절차적 수단을 통해 위험을 해결할 수 있습니다.

예를 들어 엔터프라이즈급 AI 도구는 챗봇 프롬프트에서 민감한 비공개 데이터가 실수로 공유되거나 이후 해당 데이터가 파운데이션 모델을 학습시키는 데 사용되는 일이 없도록 보호하는 기능을 포함합니다. 직원이 생산성을 높이고자 생성형 AI 기반 챗봇에게 관리자와 공유할 회의록의 핵심을 요약해 달라고 요청하는 사례는 챗봇의 핵심 기능에 완벽하게 부합하는 것처럼 보일 수 있습니다.

그러나 소비자급 생성형 AI 도구에 회의록을 붙여 넣은 후 요약을 요청하면 회의 참석자 이름과 같은 개인 식별 정보가 유출되거나 대외비, 고객 및 기업 정보가 노출될 위험이 있습니다.

조직의 보안 범위 내에서 작동하는 Google Workspace의 Duet AI와 같은 엔터프라이즈급 생산성 도구를 사용하면 조직의 데이터를 비공개로 안전하게 유지하면서 동일한 작업을 수행할 수 있습니다.

일반적으로 비즈니스 문제를 해결하는 데 소비자급 기술을 사용하면 더 많은 위험에 직면하게 됩니다. Google Cloud의 보안 AI 프레임워크에서 AI 시스템을 보호하는 최고의 방법에 관해 더 자세한 내용을 확인하실 수 있습니다.

위험 관리는 기업에서 자체 AI 애플리케이션을 개발하고 있는지 아니면 서드 파티에서 개발한 AI 애플리케이션(Google Cloud에서 개발한 애플리케이션 포함)을 사용하는지, 또는 이 두 가지를 혼합해 사용하는지 등 조직에서 선택한 AI 사용 방법과 데이터의 민감도에 따라 달라질 수 있습니다. 이러한 서비스가 기업에 얼마나 적합한지도 고려해야 할 요소(여기 참조)입니다.

“비공개 데이터를 비공개로 유지하는 것은 신뢰 형성의 기본입니다.”라고 Culture Amp CTO Doug English는 말합니다.

이를 위해서는 엔터프라이즈급 생성형 AI가 보안 제어 기능을 제공해야 합니다. 예를 들어 Google Cloud의 Vertex AI는 기본 암호화, 암호화 키 관리 옵션, VPC 서비스 제어, 데이터 상주 제어 기능을 제공합니다. Google Cloud의 Sensitive Data Protection과 같은 서비스와 함께 사용할 경우 의도하지 않은 데이터 노출 위험을 완화하고 이를 방지할 수 있을 뿐만 아니라 데이터를 더욱 쉽게 탐색하고 분류하여 보호할 수 있습니다.

“AI가 새로운 보안 환경을 요구하기는 하지만 그렇다고 기존의 보안 환경이 더 이상 유효하지 않은 것은 아닙니다. AI 보안이 마술처럼 보안 권장사항을 완전히 뒤집는 것도 아닌 데다가 보안팀이 지금까지 축적해 온 수많은 지식은 여전히 적절하고 유효합니다.”라는 내용을 최근 블로그 게시물에서도 확인하실 수 있습니다. Google에서는 적극적이고 책임감 있게 AI 도구를 빌드하는 것이 중요하다고 생각합니다. 기존 시스템에 적용되는 많은 보안 원칙과 관행이 AI 시스템에도 적용된다는 점을 이해하는 것 역시 그 일환입니다.

또한 파운데이션 모델 학습에 고객 데이터가 사용되지 않도록 하는 데 데이터 거버넌스 제어가 도움이 될 수 있다고 생각합니다. Google Cloud는 이를 뒷받침하기 위해 고객 데이터 처리, 생성된 출력에 대한 고객 IP 소유권, IP 면책에 관한 계약상 의무를 지원합니다.

엔터프라이즈급 생성형 AI 도구는 보다 투명한 모델 학습, 프리징(freeze)된 모델 활용, 법적 의무와 개인 정보 보호 의무 지원을 통해 사용자의 기대를 충족할 수 있습니다. 적극적이고 책임감 있게 AI를 개발하면 데이터 개인 정보 보호와 거버넌스를 지원하는 적절한 제어 기능을 갖춘 안전한 환경에서 생산성과 운영 효율성 측면의 이점을 누릴 수 있습니다. 범용 생성형 AI 어시스턴트와 앱은 대부분의 사용 사례에 적합한 공동작업 도구입니다. 이 도구는 시간을 절약하거나 아이디어를 얻는 데 도움을 주는 방식으로 인간의 역량을 높여주지만 '걱정 없이 믿고 맡길 수 있는 자동화'를 통해 인간을 대체하지는 못합니다.

생성형 AI를 기업용으로 안전하게 사용하는 방법에 대한 자세한 내용은 Google Cloud의 최근 블로그 게시물 생성형 AI 시대를 위한 준비를 참조하세요. 또한 Google Cloud에서 보안, 개인 정보 보호, 거버넌스, 규정 준수, 책임감 있는 AI를 고려하여 어떻게 생성형 AI 기능을 설계하고 빌드하는지 알아보려면 AI에 대한 신뢰를 구축하기 위한 Google Cloud의 접근 방식을 자세히 설명한 자료를 확인하세요.