에이전트형 소스 코드 검토를 통한 적대적 AI 선제 대응

위협 모델링

코드 보안 분석에 AI를 사용할 때 가장 중요한 첫 번째 단계는 대상 코드베이스에 대한 위협 모델을 설정하는 것입니다. 소프트웨어 아키텍처는 매우 다양할 수 있으며 위협 모델이 없으면 공격 벡터, 비즈니스 로직, 도달 가능성과 같은 중요한 컨텍스트를 잃을 수 있습니다. 

기존 소스 코드 검토 엔진은 엄격한 패턴 매칭 규칙에 의존하는 반면, LLM은 표준 사용자가 액세스할 수 있는 코드와 관리자에게만 제한된 코드 또는 전혀 실행되지 않는 코드를 구별할 수 있다는 뚜렷한 이점을 제공합니다.

파이프라인은 Explorer 에이전트를 디스패치하여 타겟 코드베이스의 핵심 목적을 식별하는 것으로 시작됩니다. 이 에이전트는 소프트웨어 도메인 (예: 웹 또는 데스크톱 애플리케이션)을 결정하고, 발견된 문서를 검토하고, 스캔에서 제외할 디렉터리 (예: 단위 테스트가 포함된 디렉터리)에 플래그를 지정하고, Specialist Explorer 하위 에이전트를 디스패치합니다. 

이러한 전문 탐색기는 인증, 승인, 라우팅 및 기타 도메인별 카테고리를 포함한 각자의 관심 분야를 탐구합니다. 이러한 에이전트의 출력은 위협 모델 합성 에이전트로 전달되며, 이 에이전트는 발견된 내용을 하나의 일관된 위협 모델로 집계합니다.

이 분석 단계가 완료되면 컨설턴트는 분석을 계속하기 전에 위협 모델의 텍스트 및 시각적 표현을 모두 검증할 수 있습니다. 이 승인 게이트는 파이프라인의 나머지 부분이 정확한 기반을 바탕으로 작동하도록 보장하는 데 도움이 됩니다. 

그림 3은 하네스에서 생성된 시각적 위협 모델의 레이아웃 예시로, 어떤 애플리케이션 구성요소가 노출되어 있고 어떻게 연결되는지 보여줍니다.

진입점 탐색

위협 모델이 설정되면 병렬화된 Discovery 에이전트를 배포하여 범위 내의 모든 파일을 분석합니다. 이러한 에이전트는 경량 Gemini Flash Lite 모델을 사용하여 대규모로 코드를 처리하여 HTTP 경로, 프로세스 간 통신 (IPC) 리스너, 기타 도메인별 공격 벡터와 같은 중요한 애플리케이션 진입점을 추출합니다. 동시에 식별된 진입점에 중첩된 모든 식별 가능한 사용자 입력 소스를 격리하고 추출합니다.

컨텍스트 보강

분석할 진입점을 선택하면 하네스가 각 진입점을 전용 Enrichment 에이전트에 할당합니다. 엔터프라이즈 애플리케이션에서는 진입점을 격리하여 분석하는 것만으로는 충분하지 않은 경우가 많습니다. 소독기, 권한, 라우팅 조건과 같은 중요한 구성요소가 고도로 분산되어 있는 경우가 많기 때문입니다. 

또한 취약점은 중첩된 함수 호출, 여러 홉, 초기 소스에서 멀리 떨어진 파일 내에 깊이 숨어 있는 경우가 많습니다. 이러한 격차를 해소하기 위해 Enrichment 에이전트는 코드베이스를 탐색하여 할당된 진입점에 대해 문맥상 관련성이 있는 코드를 집계합니다. 이 집계된 데이터를 평가하여 진입점에 액세스 제어 에이전트, 데이터 흐름 분석 에이전트 또는 둘 다에 의한 추가 분석이 필요한지 여부를 결정합니다.

가설 생성

효과적인 코드 분석은 제어 흐름과 데이터 흐름이라는 두 가지 기본 속성을 관찰하는 데 달려 있습니다. 제어 흐름은 작업과 명령어의 실행 순서를 결정하는 반면, 데이터 흐름은 애플리케이션 전체에서 정보가 이동하고 변환되는 방식을 추적합니다. 

AVDH는 이러한 중요한 작업을 각각 액세스 제어 및 데이터 흐름 분석 에이전트에 위임합니다.

이 단계에서 이러한 에이전트는 최소한의 자체 검증을 수행합니다. 주요 목표는 광범위한 브레인스토밍입니다. 생성되는 수많은 가설을 관리하기 위해 이 창의적인 프로세스는 컨설턴트가 구성한 신뢰도 필터로 제어됩니다.

액세스 제어 에이전트는 대상 진입점 주변의 보호 조치를 평가하여 애플리케이션 사용자에 대한 전반적인 접근성을 결정합니다. 주요 목적은 보안 가정을 검증하고 권한이 있는 기능이 제한되는지 또는 승인되지 않은 사용자에게 의도치 않게 노출되는지 확인하는 것입니다. 이 분석은 권한 부여 누락, 권한 에스컬레이션, 크로스 사이트 요청 위조 (CSRF)를 포함하여 검사가 전혀 이루어지지 않았거나 잘못된 ID에 대해 이루어진 결함을 노출합니다.

한편,  데이터 흐름 분석 에이전트는 초기 진입점부터 전체 애플리케이션에 걸쳐 사용자 입력의 흐름을 추적합니다. 중첩된 함수 호출, 새니타이저 변환, 데이터베이스와 같은 스토리지 경계를 통과하는 데이터의 경로를 추적합니다. 

에이전트의 목표는 이 사용자 제공 데이터가 위험한 '싱크'에 도달하는지 여부를 확인하는 것입니다. 싱크는 악의적인 입력이 실행되어 피해를 입힐 수 있는 함수입니다. 이러한 심층 추적을 통해 SQL 삽입, 교차 사이트 스크립팅 (XSS), 명령어 삽입, 경로 순회와 같은 취약점 클래스를 찾아낼 수 있습니다.

가설 검증

타겟 코드베이스에 대한 가설이 생성되면 하네스가 새로운 에이전트 세트를 디스패치하여 가설을 검증합니다. LLM에서 온도 파라미터는 출력의 가변성과 무작위성을 결정합니다. 온도가 낮으면 예측 가능하고 안정적인 응답이 생성되는 반면, 온도가 높으면 매번 완전히 다른 결과가 생성될 수 있습니다. 

이 하네스는 높은 온도 설정으로 구성된 여러 검증 에이전트를 파견하여 각 가설을 평가하고, 단일 검증 합성 에이전트가 이들의 평결을 처리하여 최종 결정을 내리도록 합니다. 온도를 높이면 검증을 통해 더 예측 가능하고 예상되는 응답이 아닌 훨씬 더 광범위한 가능성을 다룰 수 있습니다. 궁극적으로 이 온도 구성은 최종 결정을 내리는 에이전트에 더 풍부하고 포괄적인 컨텍스트를 제공합니다. 

합성 에이전트는 검증 에이전트의 추론과 판정을 평가하여 가설이 엄격한 품질 기준을 충족하고 전반적인 위협 모델과 일치하는지 확인합니다. 여기에서 가능한 결과는 세 가지입니다.

• 확인된 발견 사항: 가설이 강력하며 검증 에이전트가 이를 독립적으로 검증했습니다.

• 반증된 가설: 검증 에이전트가 결함의 유효성에 이의를 제기하는 상당한 상충되는 증거를 제시합니다.

• 가설 거부: 가설이 확립된 위협 모델과 일치하지 않거나 취약점으로 간주되지 않습니다.

인간 주제별 전문성

전문가 검증

하네스가 확인된 발견 항목을 중복 제거하고 위험 등급을 매기면 엄격한 인간 전문가 검토를 통해 분석을 계속합니다. AI 가정이 정확한지, 보이지 않는 보상 제어가 공격 경로를 방해하지 않는지 확인하기 위해 익스플로잇을 동적으로 복제하고 개념 증명 (POC) 코드를 실행하여 실사를 수행합니다.

컨설턴트는 검증이 완료되면 AI가 생성한 조사 결과와 자체 전문가 분석을 종합하여 공식 공개를 준비합니다. 반대로 이 동적 테스트 단계를 통과하지 못한 발견 항목은 폐기됩니다. 

유사한 취약점 발견 도구를 구현하려는 네트워크 방어자는 발견된 결과를 수동으로 검증하는 것이 좋습니다.

정제된 지식

확인된 발견 항목에 대한 인간 참여형 검증은 오탐을 효과적으로 최소화하지만, 여전히 미탐을 해결해야 합니다. 

AI 에이전트가 놓친 취약점이 있는지 확인하기 위해 Mandiant의 주제별 전문성을 분석 파이프라인에 직접 주입하는 규칙 기반 접근방식을 설계했습니다. 이 도구는 엔지니어링 개념과 유사하게 컨설턴트의 집단 지식에서 추출한 고도로 전문화된 프롬프트를 사용합니다.

이러한 인간의 지능을 AI 기반 분석에 직접 통합하면 결과의 정확성이 크게 향상됩니다. 이 지식 시스템이 모듈화되고 확장 가능하도록 하기 위해 소프트웨어 도메인을 최상위로 하고 언어, 프레임워크, 취약점의 세 가지 기본 규칙 카테고리가 그 뒤를 따르는 계층 구조로 구성했습니다.

프레임워크 및 언어 규칙은 전체 파이프라인에 적용되어 에이전트가 대상 코드베이스 내에서 사용되는 특정 기술에 대한 컨설턴트 인사이트를 확보할 수 있도록 지원합니다. 이러한 규칙은 일반적인 진입점 정의 패턴, 고유한 공격 표면과 같은 중요한 세부정보를 포괄하며, 위협 모델링에 필수적인 추가 컨텍스트 정보도 포함합니다.

반면 취약점 규칙은 파이프라인의 마지막 단계에서만 적용되며 특정 유형의 취약점을 발견, 검증, 위험 평가하는 방법을 정확하게 규정합니다. 이 구조화된 시스템은 전체 분석 파이프라인에 Mandiant의 인간 전문성을 유지보수 가능하고 고도로 모듈화된 방식으로 주입합니다.

성과 측정

정확한 벤치마킹과 평가는 에이전트 코드 분석 파이프라인을 유지하고 지속적으로 개선하는 데 매우 중요합니다. Google은 오케스트레이션 하네스의 성능을 측정하기 위한 엄격한 내부 방법론을 개발하여 신속한 조정과 규칙 업데이트를 통해 품질 저하 없이 데이터에 기반한 긍정적인 개선을 지속적으로 추진할 수 있도록 했습니다. 

코드 분석 파이프라인의 진행 상황과 효능을 측정하기 위해 유사한 벤치마킹 시스템을 구현하는 것이 좋습니다. 

벤치마크 타겟

공개 코드 취약점 데이터 세트가 존재하지만 학습 데이터 오염은 LLM 평가에 상당한 과제를 제시합니다. 최신 프런티어 모델이 이미 이러한 공개 저장소를 수집했을 가능성이 있으므로 모델이 취약점을 통해 진정으로 추론하는지 아니면 단순히 암기된 솔루션을 떠올리는지 판단하기가 거의 불가능합니다.

높은 충실도로 평가하기 위해 독점적인 합성 코드베이스 모음을 개발했습니다. 이러한 커스텀 벤치마크는 소프트웨어 도메인, 프로그래밍 언어, 취약점 심도, 아키텍처(기존 모놀리식에서 최신 마이크로서비스까지)를 아우릅니다. 

무엇보다도 Google Cloud의 보안 컨설턴트는 삽입된 모든 취약점을 수동으로 검증하여 실제로 도달 가능하고 동적으로 악용 가능한지 확인합니다. 하네스와 기본 프롬프트를 조정할 때 엄격한 검토 프로세스를 적용하여 AI가 이러한 벤치마크 코드베이스에 과적합되지 않도록 적극적으로 방지합니다.

벤치마크 등급

Google의 채점 프로세스는 AI 평가와 전문가의 인간 참여형(Human-In-The-Loop) 검토를 결합합니다. 하네스가 벤치마크 디렉터리를 분석하면 출력이 전용 채점 에이전트로 전달됩니다. 이 평가자는 파이프라인의 발견 항목을 정답 데이터 세트와 비교하여 평가하며, 느슨한 시맨틱 유사성에 의존하기보다는 정확한 취약점 일치를 요구합니다.

여기에서 채점 파이프라인은 특이 사례를 처리하기 위해 분기됩니다.

• 거짓양성 분류: 그라운드 트루스에 매핑되지 않는 발견 항목은 보조 에이전트로 라우팅되어 거짓양성 또는 합법적인 취약점으로 명확하게 분류됩니다.

• 중복 해결: 파이프라인이 단일 그라운드 트루스 문제에 매핑되는 여러 발견 항목을 생성하는 경우 다른 에이전트가 클러스터를 분석하여 발견 항목이 중복인지 확인합니다.

마지막으로 인간 전문가가 등급이 매겨진 데이터를 수동으로 검토하여 AI 심판의 정확성을 검증합니다. Google Cloud는 하네스의 주요 출시마다 여러 도메인과 아키텍처에서 이 엄격한 테스트 주기를 수행하며, LLM의 본질적인 비결정성을 고려하기 위해 결과를 평균화합니다.

프레임워크 및 언어 규칙은 전체 파이프라인에 적용되어 에이전트가 대상 코드베이스 내에서 사용되는 특정 기술에 대한 컨설턴트 인사이트를 확보할 수 있도록 지원합니다. 이러한 규칙은 일반적인 진입점 정의 패턴, 고유한 공격 표면과 같은 중요한 세부정보를 포괄하며, 위협 모델링에 필수적인 추가 컨텍스트 정보도 포함합니다. 

반면 취약점 규칙은 파이프라인의 마지막 단계에서만 적용되며 특정 유형의 취약점을 발견, 검증, 위험 평가하는 방법을 정확하게 규정합니다. 이 구조화된 시스템은 전체 분석 파이프라인에 Mandiant의 인간 전문성을 유지보수 가능하고 고도로 모듈화된 방식으로 주입합니다.

결론

소프트웨어 개발 파이프라인 보호는 현대 기업 방어의 핵심 과제로 떠올랐습니다. Google Cloud의 지속적인 연구에 따르면 방어자는 적대적 AI의 급격히 증가하는 기능에 대응하는 데 있어 엄청난 어려움을 겪고 있습니다. 

이러한 새로운 위협에 대응하려면 코드 파이프라인 보안이 최신 방어 전략의 중요한 구성요소여야 합니다. 수동 소스 코드 검토는 AI를 따라잡을 수 없으며, 기존 스캔 엔진은 최신 소프트웨어에 숨겨진 광범위한 취약점을 지속적으로 놓치고 있습니다.

그러나 이 도구의 성공은 방어자가 적대적 AI에 맞서 우위를 되찾을 수 있음을 입증합니다. 방어자는 전문가가 정의한 하네스 내에 최첨단 모델을 임베딩하여 일상적인 취약점 발견을 자동화할 수 있습니다. 

이러한 표준 발견 항목을 처리하면 소스 코드 가시성이 확장 가능한 방어로 전환되어 컨설턴트와 다른 방어자가 복잡한 결함에만 집중할 수 있습니다. 이 도구를 빌드하고 개선하는 과정에서 AI는 인간 전문성의 실용적인 증폭기로 배포될 때 가장 효과적이라는 사실을 알게 되었습니다.

이 도구는 특정 시점의 평가와 심층적인 선제적 취약점 발견을 위해 빌드되었지만, 최근 블로그 게시물 에서는 CodeMender가 소프트웨어 개발 및 취약점 관리를 위한 지속적인 AI 기반 모니터링을 제공하여 이를 보완하는 방법을 설명합니다. 이러한 기능을 즉시 배포하려는 조직을 위해 Google AI Threat Defense는 상시 가동 플랫폼을 제공합니다. 여기에는 시스템을 분석하고, 위협의 우선순위를 지정하고, 취약점에 패치를 적용하고, 새로운 공격을 지속적으로 모니터링하기 위한 CodeMender의 코드 스캔 및 해결이 포함됩니다. CodeMender의 지속적인 스캔과 AVDH의 표적 심층 분석을 결합하면 2중 방어 전략이 만들어집니다. 이 접근방식은 개발 수명 주기 전반에 걸쳐 지속적인 가시성을 유지하면서 복잡한 체인에 대한 특정 시점의 해결을 활용합니다.

실제 환경에서 이 파이프라인을 빌드하고 배포하는 방법을 자세히 알아보고 싶으신가요? 2026년 9월 15~16일 워싱턴 D.C. 에서 열리는 Cyber Defense Summit에 참여하여 Mandiant가 어떻게 Gemini를 조정하여 공격자보다 먼저 제로데이 취약점을 찾아내는지 알아보세요. 라이브 데모를 살펴보고, 에이전트 워크플로를 배포하면서 얻은 교훈을 공유하며, AI 기반 공격 및 방어 기능의 미래에 대해 논의할 예정입니다. 여기에서 Summit에 등록하세요.