바쁜 비즈니스 리더가 알아야 할 5가지 생성형 AI 보안 트렌드 소개

*본 아티클의 원문은 2024년 2월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

맞춤형 AI 기반 모델이 할루시네이션을 일으키지 않을까 걱정되시나요? 보안팀은 모델 도난에 대해 대비하고 있나요? 생성형 AI가 비즈니스와 산업 전반으로 확산되기 시작하면서 보안팀이 알아야 할 새로운 용어가 속속 등장했습니다.

생성형 AI는 새롭고 복잡하며 강력하고 빠르게 발전하는 매우 드문 조합으로, 비즈니스 및 보안 리더는 이 기술의 발전 상황을 주시하는 데 전략적 우선순위를 두어야 합니다.

Google, Microsoft, Clearwater, Exabeam, OneTrust의 의뢰로 2023년 3분기에 실시된 ISMG 설문조사 보고서에 따르면 AI는 IT 논의에서 갑자기 가장 중요한 주제로 부상했지만, AI의 사용은 여전히 많은 의문을 불러일으키고 있습니다. 응답자들은(비즈니스 리더의 80%와 사이버 보안 전문가의 82%) 민감한 정보 유출을 가장 우려하고 있다고 답했습니다. 부정확한 데이터, 특히 할루시네이션의 위험도 비즈니스 리더의 71%, 사이버 보안 전문가의 67%가 언급했습니다.

주목해야 할 부분은 비즈니스 및 사이버 보안 리더들이 AI 도입에 신중한 입장을 보였다는 점입니다. 비즈니스 리더의 73%와 사이버 보안 전문가의 78%는 AI에 대해 제한적 접근 또는 직접 구축 방식을 계획하고 있다고 답했으며, 비즈니스 리더의 38%와 사이버 보안 리더의 48%는 조직이 직장 내 모든 생성형 AI의 사용을 계속 금지할 것으로 예상한다고 답했습니다.

“변화에 앞서가지 않는 조직은 어느 순간 뒤쳐지게 됩니다. 조직은 지금 이 사안에 집중하는 것이 중요합니다. AI의 보편화에 발맞춰 대응을 시작해야 합니다.”라고 Clearwater 컨설팅 서비스 부문 부사장 David Bailey는 말했습니다.

AI 용어의 이해를 돕기 위해 AI, 보안, 위험의 교차점에 있는 5가지 중요한 트렌드를 살펴본 다음 현재 AI 발전의 현주소를 더 효과적으로 파악하고 이에 대응하는 방법을 정리했습니다.

프롬프트 악용의 실질적 위험

• 프롬프트 조작은 공격자가 프롬프트 설계, 프롬프트 엔지니어링 또는 프롬프트 주입을 사용하여 기반 모델이 의도하지 않은 대답을 출력하도록 강제하는 데 악용할 수 있는 기반 모델 입력 위험입니다. 프롬프트 조작은 위협 행위자가 민감한 정보를 유출하는 경우와 같이 의도적으로 발생할 수도 있고, 악의 없는 프롬프트 입력이 민감한 정보의 출력을 생성하는 등 우발적으로 발생할 수도 있습니다.

비즈니스에 미치는 영향: 프롬프트 조작은 여러 방식으로 조직에 피해를 입힐 수 있습니다. 프롬프트 조작은 불쾌감을 주거나 차별적인 텍스트를 생성하여 조직의 브랜드 평판에 해를 끼치거나 잘못된 정보를 퍼뜨려 주가 및 금융 시장에 영향을 끼칠 수 있고, 공격자가 민감한 정보를 빼내고 기반 모델을 사용하는 시스템 내에서 악성 코드를 실행하는 데 도움을 줄 수 있습니다. 또한 편향된 챗봇으로 고객 서비스에 혼란을 초래하고, 특히 요약 작업에서 워크플로 오류를 일으킬 수도 있습니다.

대응: 프롬프트 조작의 위험을 낮추기 위해 조직에서 사용할 수 있는 몇 가지 기법이 있습니다. 프롬프트를 처리하기 전에 프롬프트를 정리 및 분석하고 생성된 출력을 검토하고 모니터링합니다. 잠재적으로 유해한 콘텐츠를 신고하고 조치를 취할 수 있는 절차를 마련하는 것이 중요합니다. 보안 패치와 알려진 위협 정보를 통해 기반 모델을 최신 상태로 유지해야 하며, 모델을 다루는 직원을 대상으로 프롬프트 조작과 잠재적 위험에 관한 교육을 실시해야 합니다.

유출을 차단하여 민감한 정보 보안 강화

• 데이터 유출은 모델이 출력 응답의 일부로 의도하지 않은 민감한 정보를 노출하는 경우 발생합니다. 이는 출력의 부정확성과 민감한 정보에 대한 무단 액세스로 이어질 수 있습니다. 작년에 연구원들은 인기 있는 생성형 AI 기반 챗봇에 'poem(시)'이라는 단어를 반복하도록 한 뒤 의도하지 않게 민감한 정보를 발설하도록 유도할 수 있음을 발견했습니다.

비즈니스에 미치는 영향: 데이터 유출은 개인 정보 보호 위반, 영업 관련 컨피덴셜과 지식 재산 손실, 유출된 데이터로 인한 보안 침해 위험 증가, 이러한 이슈와 관련된 소송 및 규제 기관 벌금으로 인한 금전적 손해로 이어질 수 있습니다.

대응: 기반 모델에서의 데이터 유출 방지는 잠재적인 위협과 함께 계속 진화할 가능성이 있는 지속적인 프로세스입니다. 엄격한 데이터 거버넌스 정책, 액세스 제어 및 모니터링, 고급 보안 조치, 정기적인 위험 평가와 같은 기법을 구조화하여 강력한 AI 위험 관리 관행을 구축할 수 있습니다.

민감한 노동 집약적 모델 설계 보호

• AI 모델에는 민감한 지식 재산이 포함되는 경우가 많으므로 모델 도난은 심각한 위험을 초래합니다. 자체 모델을 개발한 조직은 이러한 자산을 보호하는 데 높은 우선순위를 부여해야 합니다. 공격자는 간단한 유출 공격 중에 모델을 파일 형태로 복사할 수 있습니다. 더 많은 리소스를 보유한 공격자는 특정 모델을 쿼리해서 해당 모델의 기능을 파악하고 이 정보를 사용하여 자체 모델을 생성하는 등 더 고차원적인 공격을 감행할 수 있습니다.

비즈니스에 미치는 영향: 모델 도난의 가장 뚜렷한 영향은 금전적 손실로 이어질 수 있다는 점입니다. 효과적인 기반 모델을 만들고 학습시키기 위해서는 전문 지식과 컴퓨팅 리소스, 상당한 시간 투자가 필요하기 때문입니다. 또한 평판에 손상을 입히고, 보안 침해의 위험을 높이고, 혁신을 저해하며, 모델이 경쟁사의 손에 넘어가게 되면 값비싼 소송으로 이어질 수도 있습니다.

대응: 데이터 유출 위험 관리와 마찬가지로 조직은 출력 필터링, 액세스 제어, 네트워크 보안 기법, 비정상적인 사용 모니터링, 워터마킹, 법적 보호 장치를 통해 모델 도난 위험을 낮출 수 있습니다.

해결책이 될 더 강력한 데이터 컨트롤

• 데이터 포이즈닝은 제대로 보호되지 않는 학습 데이터의 위험을 악용합니다. 공격자는 모델의 학습 데이터를 조작하여 모델의 출력에 악의적인 영향을 줍니다. 학습 데이터 포이즈닝은 개발 파이프라인 전반에서 발생할 수 있습니다.

예를 들어 모델이 인터넷 데이터로 학습되는 경우 공격자는 인터넷에 오염된 데이터를 저장해 두고 모델이 이 데이터를 스크래핑하기를 기다릴 수 있습니다. 학습 또는 세부 조정 코퍼스에 액세스할 수 있는 공격자는 이러한 코퍼스에 오염된 데이터를 저장할 수 있습니다. 이는 특정 트리거를 사용하여 모델의 출력에 영향을 미치는 모델 백도어와 비슷한 수법입니다.

연구에 따르면 공격자는 모델 데이터 세트의 0.01%만 제어해도 모델을 오염시킬 수 있습니다. 이는 인터넷에서 파생된 데이터 세트의 경우 리소스가 충분하지 않아도 공격자가 목표를 달성할 수 있음을 시사합니다.

비즈니스에 미치는 영향: 데이터 포이즈닝은 데이터 유출과 마찬가지로 조직의 브랜드 평판에 부정적인 영향을 끼치고, 금전적 손실을 초래하며, 보안 침해나 법적 책임의 위험을 높이고, 오염된 기반 모델이 조직의 내부 프로세스에 통합되면 운영을 중단시킬 수도 있습니다.

대응: 조직은 데이터 소스를 신중하게 검토하고 엄격한 데이터 컨트롤을 구현하고 수신되는 데이터를 지속적으로 모니터링함으로써 데이터 포이즈닝을 방지할 수 있습니다. 데이터 필터링 및 정리 프로세스는 잠재적으로 유해한 콘텐츠와 편향을 제거하는 데 도움이 될 수 있으며, 적대적 학습 기법을 사용하여 모델을 학습시켜 데이터 포이즈닝 공격에 대한 복원력을 더욱 높일 수도 있습니다.

기반 모델의 기초 다지기

• 할루시네이션은 인공지능 모델이 사실과 맞지 않거나 터무니없거나 완전히 날조된 응답을 생성하는 것입니다. 할루시네이션이 발생하는 이유는 많습니다. 예를 들어 충분하지 않은 양의 편향된 학습 데이터, 학습 데이터를 과도하게 주입하여 오히려 정확하게 추론하지 못하는 모델, 부정확한 문맥 분석, 기반 모델 내의 잘못 설계된 강화 모델, 정상적인 쿼리에 대해 부정확한 응답을 유도하도록 악성 설계를 만드는 위협 행위자 등 다양한 이유로 인해 발생할 수 있습니다.

비즈니스에 미치는 영향: 할루시네이션이라는 용어가 가볍게 느껴질 수도 있지만 기반 모델 할루시네이션은 심각한 결과를 초래할 수 있습니다. 특히 거짓 정보를 유포하여 평판에 손상을 입히고, 값비싼 대가를 치러야 하는 규정 위반 등 법적 책임 또는 규제 관련 책임을 증가시키며, 비용 상승으로 이어지는 운영 비효율성을 초래할 수 있습니다.

대응: 다른 기술과 마찬가지로 기반 모델도 완벽하지 않으므로 할루시네이션이 발생할 수 있습니다. 좋은 출발점은 기초를 다지는 것입니다. 즉, 먼저 신뢰할 수 있는 소스에서 정보를 검색한 다음 생성 모델을 위한 프롬프트를 만들도록 모델을 설계하는 것입니다. 또한 조직은 모델에서 생성된 콘텐츠, 특히 위험도가 높은 출력에 대해 사실확인과 검증을 수행하는 프로세스를 마련해야 합니다. 편향성 완화 기법은 사람의 감독을 통해 보완해야 하며, 특히 미션 크리티컬 데이터 또는 잠재적으로 민감한 정보에 의존하는 출력의 경우 더욱 그렇습니다.

과감하고 책임감 있는 AI 추구

책임감 있는 AI 관행은 기술 사용이 증가함에 따라 새롭게 등장하는 위험을 헤쳐 나가는 데 매우 중요합니다. Google Cloud는 다각적인 접근 방식을 취하며, 개발부터 배포에 이르기까지의 과정을 아우르는 책임감 있는 관행을 통해 AI 제품을 구축합니다. Google Cloud는 증오 표현, 인종 차별, 유해성을 포함하는 다운스트림 우려를 해소하기 위해 책임감 있는 자세로 대규모 모델을 위한 데이터 세트를 선별합니다.

학습 중에는 유해한 결과를 생성할 가능성이 있는 시나리오에 대해 모델을 스트레스 테스트하고 이러한 위험을 완화하기 위해 모델을 조정합니다. 배포 단계에서는 고객과 협력하여 책임감 있는 AI 프레임워크 및 평가를 만들고 확장하는 등 고객이 AI를 책임감 있게 사용하는 데 필요한 도구를 제공합니다. 예를 들어 편향이나 유해성을 포함하는 유해한 콘텐츠에 대해 고객이 안전 필터를 사용하여 문제를 해결할 수 있도록 지원합니다.

기반 모델을 구축하고 생성형 AI를 사용하여 조직을 지원하는 방법에 관한 자세한 내용은 Google Cloud 블로그 게시물 생성형 AI 시대를 위한 준비를 참조하세요.