GKE에서 AI 공급망 보호: 자동화된 AI BOM을 위한 k8s-aibom 소개

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

보안팀은 섀도우 AI를 어떻게 관리해야 할까요? 개발자가 정식 등록 없이 배포한 워크로드는 조직에서 권한이 있는 Daemonset, 커널 수준 액세스, 수동 포드 사양 편집을 요구하여 개발 속도를 늦추고 안정성을 저해하는 것을 꺼리기 때문에 기존 보안 스캐너를 피하는 경우가 많습니다.

이러한 교착 상태를 타개하기 위해 Google은 오늘 k8s-aibom을 오픈소스화합니다. 이 경량의 권한 없는 Kubernetes 컨트롤러는 클러스터 API와 컨테이너 환경을 지속적으로 모니터링하여 실행 중인 AI 런타임 (예: vLLM 및 Triton)을 자동으로 감지하고 표준 CycloneDX Machine Learning Bill of Materials (ML-BOM)를 생성합니다. 

워크로드가 공식적으로 등록되었는지 여부와 관계없이 런타임 실행에서 직접 자동화된 감사 등급 가시성을 제공함으로써 k8s-aibom은 개발자 통합 마찰 없이 팀이 AI 프로젝트를 파일럿에서 프로덕션으로 안전하게 이동하도록 도울 수 있습니다.

마찰 없는 아키텍처

k8s-aibom은 처음부터 완전한 가시성을 위한 CISO의 요구사항과 클러스터 안정성을 위한 SRE의 요구사항을 모두 충족하도록 설계되었습니다. k8s-aibom-system 네임스페이스에 권한이 없는 단일 배포로 배포됩니다. 개발자 마찰이 전혀 없습니다. 사이드카, eBPF 커널 모듈, 권한이 있는 DaemonSet이 필요하지 않으며 기존 개발자 포드 사양을 수정할 필요도 없습니다.

검색 파이프라인은 다음 네 가지 명확한 단계를 거쳐 실행됩니다.

1. 클러스터 워크로드 스크랩: 컨트롤러는 클러스터 전반에서 KServe 리소스, 배포, 스테이트풀셋, 데몬셋, 작업을 지속적으로 모니터링합니다.

2. AI 스택 식별: 고급 패턴 매칭은 컨테이너 이미지, 환경 변수, 명령줄 인수를 검사하여 서빙 런타임 (vLLM, Triton Inference Server, TGI, Ollama), 자율 에이전트 프레임워크 (LangChain, AutoGen, CrewAI), 벡터 데이터베이스 및 RAG 스토어 (Milvus, Qdrant, pgvector), 분산 학습 작업 및 평가 하네스를 감지합니다.

3. 표준 매니페스트 생성: 컨트롤러는 발견된 아티팩트를 공식 OWASP CycloneDX 1.6 머신러닝 BOM (ML-BOM) 문서로 컴파일합니다.

4. 싱크로 내보내기: 컨트롤러는 결과 ML-BOM을 클러스터 내 AIBOM 커스텀 리소스 (CR)의 커스텀 리소스 상태 (status.bomDocument)에 직접 연결하고 Google Cloud Storage 버킷 및 외부 웹훅 엔드포인트를 포함한 선택적 외부 싱크로 라우팅합니다.

애플리케이션팀은 포드 사양을 수정하거나, 사이드카 컨테이너를 삽입하거나, 지속적 통합 및 지속적 배포 (CI/CD) 파이프라인을 변경할 필요가 없습니다. 또한 k8s-aibom은 Kubernetes 클러스터 상태를 순수한 함수형 입력으로 취급합니다. 동일한 클러스터 입력은 바이트가 동일한 ML-BOM 문서를 생성합니다. 이 결정론적 속성 덕분에 k8s-aibom은 GitOps 워크플로에 이상적이며, 사이트 안정성 엔지니어 (SRE)는 AI 종속 항목이 드리프트될 때 정확한 차이를 수행하고 정확한 변경 감지 알림을 트리거할 수 있습니다.

기존 AIBOM 도구의 단점

많은 AI BOM 솔루션은 빌드 타임 스캐너를 제공하여 유휴 상태의 아티팩트에서 BOM을 생성합니다. 이러한 도구를 사용하면 배포할 코드를 추적할 수 있습니다. 

상용 AI 보안 플랫폼은 클라우드 네이티브 보안 상황 관리로 그림을 확장하지만, 일반적으로 공급업체별 데이터 모델을 중심으로 형성된 외부 스캔을 통해 확장합니다. 이러한 도구 중 규정 준수 검토자, 보안 운영 (SecOps)팀, 플랫폼 엔지니어가 현재 실행 중인 항목, 연결된 항목, 이러한 주장을 검증하는 방법을 이해하는 데 도움이 되는 도구는 거의 없습니다. 

이러한 격차를 해소하기 위해 k8s-aibom을 맞춤형으로 빌드했습니다. 이 도구는 아티팩트 스캔이 아닌 라이브 클러스터 관찰에서 BOM을 생성하고, 공급업체 독점 형식이 아닌 더 광범위한 OWASP 및 Open Source Security Foundation (OpenSSF) 공급망 생태계와 통합되는 표준 준수 CycloneDX 1.6 ML-BOM을 내보내며, 모든 준수 Kubernetes 클러스터에서 권한이 없는 컨트롤러로 실행됩니다. 따라서 기존 빌드 시간 및 상황 관리 도구를 대체하는 것이 아니라 보완하는 역할을 합니다.

신뢰 모델: 인텐트와 추론 분리

규정 준수 감사자와 SecOps 엔지니어에게 원시 원격 분석은 노이즈인 경우가 많습니다. 표준 모니터링 도구는 컨테이너가 실행 중임을 나타내지만 플랫폼 엔지니어가 AI 모델을 명시적으로 구성했는지 아니면 런타임에 자율 스크립트가 동적으로 가져왔는지 증명할 수는 없습니다. k8s-aibom은 결정론적 신뢰 모델을 통해 이러한 모호성을 해결하고 발견된 애셋을 고유한 등급으로 분류합니다.

1. 선언됨: 고객 또는 개발자가 워크로드 구성에서 명시적으로 정의함 (예: --model meta-llama/Llama-2-7b와 같은 컨테이너 인수를 명시적으로 전달) '선언된' 신뢰도 감지는 명확한 인간의 의도를 나타냅니다.

2. 추론됨: 컨트롤러의 패턴 매칭 엔진이 컨테이너 이미지, 환경 변수, 실행 프로필을 심층 검사하여 자율적으로 도출합니다. (예: ^vllm/.* 컨테이너 서명 식별)

3. 해결되지 않음: 활성 AI가 감지되었지만 정확한 모델 파라미터, 가중치, 버전을 결정론적으로 설정할 수 없는 워크로드에 적용됩니다. '해결되지 않음' 신뢰 감지는 즉시 워크로드에 플래그를 지정하여 표적 보안 검토를 수행합니다.

이러한 구조화된 분류 체계를 통해 규정 준수 검토자는 명시적인 엔지니어링 의도와 머신 추론을 즉시 분리하여 감사 중에 반박할 수 없는 신뢰 체인을 구축할 수 있습니다.

불변성과 최소 권한: 감사 등급 보안 모델 빌드

감사자는 로그와 측정항목이 보안 침해된 노드나 권한이 상승된 관리자에 의해 수정, 삭제, 조작될 수 있기 때문에 표준 관측 가능성 원격 분석에 대해 여전히 깊은 회의감을 가지고 있습니다. k8s-aibom은 엄격한 최소 권한 격리 및 데이터 불변성을 기반으로 구축된 감사 등급 증거 추적을 설정합니다.

컨트롤러는 최소한의 Identity and Access Management (IAM) 워크로드 아이덴티티에 바인딩된 전용 Kubernetes 서비스 계정으로 작동합니다. BOM 레코드를 외부 스토리지 싱크에 쓸 수 있는 유일한 ID로 작동하며 roles/storage.objectCreator 권한만 필요합니다.

가장 엄격한 감사 및 증거 표준을 충족하기 위해 Google Cloud Storage 외부 싱크 구현은 객체 생성 시 DoesNotExist 선행 조건을 적용합니다. ML-BOM이 Cloud Storage 버킷에 작성되면 객체는 암호화 방식으로 불변이 됩니다. 

보안 침해된 클러스터 행위자나 악성 워크로드에 의해 무단으로 덮어쓰거나 수정되거나 소급하여 조작될 수 없습니다. SecOps팀은 규제 기관에 제시된 이전 감사 로그가 클러스터 실행의 변경 불가능한 기록임을 절대적으로 확신할 수 있습니다.

거버넌스 준비 가속화: 글로벌 규제 프레임워크에 매핑

표준화된 CycloneDX 1.6 ML-BOM 생성을 자동화함으로써 k8s-aibom은 저수준 Kubernetes 런타임 상태와 고수준 거버넌스 프레임워크 사이의 격차를 직접적으로 해소합니다. 주요 글로벌 표준에 필수적인 실증적 기반 데이터를 제공하여 지연된 GKE AI 배포를 차단 해제합니다.

• EU AI 법: 조직이 제12조 (지속적인 추적 가능성을 위한 자동화된 로깅 및 기록 보관) 및 제50조 (AI 시스템의 투명성 의무)를 준수하도록 지원하기 위해 설계되었습니다. 이 도구는 서빙 런타임과 에이전트 스택을 자동으로 분류하여 규정 준수 감사 중에 필요할 수 있는 기술적 증거를 간편하게 수집할 수 있도록 도와줍니다.

• NIST AI 위험 관리 프레임워크 (AI RMF): 거버넌스, 매핑, 측정, 관리 기능을 지원하는 데 도움이 되는 지속적이고 경험적인 애셋 가시성을 제공하여 규정 준수 워크플로를 순전히 수동적인 검사에서 보다 자동화된 애셋 인벤토리 추적으로 전환하는 데 도움이 됩니다.

• ISO/IEC 42001:AI 관리 시스템 애셋 검색 및 추적에 대한 규정 준수 노력을 지원하여 인벤토리 검증을 위해 수동 스프레드시트나 정기적인 스냅샷 감사에 의존하는 방식을 줄입니다.

시작하기

k8s-aibom과 같은 기술 솔루션이 CISO, 거버넌스, 위험 및 규정 준수팀, SecOps팀, 플랫폼 엔지니어, 개발자에게 영향을 미치는 섀도우 AI의 다각적인 문제를 완화하는 데 도움이 되는 경우는 드뭅니다.

컨트롤러를 검사하고 CRD 정의를 검토하며 오픈소스 k8s-aibom 프로젝트에 참여하려면 k8s-aibom GitHub 저장소를 방문하세요.