Vertex AI Feature Store 소개

Vertex AI Feature Store는 ML 기능을 구성, 저장, 제공하기 위한 중앙 집중식 저장소를 제공합니다. 조직에서 중앙 특성 저장소를 사용하면 대규모 ML 특성을 효율적으로 공유, 검색, 재사용할 수 있으므로 조직에서 새로운 ML 애플리케이션을 개발하고 배포하는 속도가 빨라질 수 있습니다. Vertext AI Feature Store는 완전 관리형 솔루션입니다. 스토리지 및 컴퓨팅 리소스와 같은 기본 인프라를 관리하고 확장합니다. 이 솔루션을 사용하면 데이터 과학자는 특성을 프로덕션에 배포하는 문제에 대해 걱정할 필요 없이 특성 계산 로직에 집중할 수 있습니다.

Vertex AI Feature Store는 Vertex AI의 통합 부분입니다. Vertex AI Feature Store는 독립적으로 또는 Vertex AI 워크플로의 일부로 사용할 수 있습니다. 예를 들어 Vertex AI Feature Store에서 데이터를 가져와 Vertex AI의 커스텀 또는 AutoML 모델을 학습시킬 수 있습니다.

개요

Vertex AI Feature Store를 사용하여 featurestore와 같은 리소스를 만들고 관리합니다. featurestore는 특성 및 특성 값의 최상위 컨테이너입니다. featurestore를 설정하면 허용된 사용자가 추가 엔지니어링 지원 없이 특성을 추가하고 공유할 수 있습니다. 사용자는 특성을 정의한 다음 다양한 데이터 소스에서 특성 값을 수집(가져오기)할 수 있습니다.

모든 허용된 사용자가 featurestore에서 값을 검색하고 가져올 수 있습니다. 예를 들어 특성을 찾은 후 일괄 내보내기를 수행하여 ML 모델 생성을 위한 학습 데이터를 가져올 수 있습니다. 실시간으로 특성 값을 가져와 빠른 온라인 예측을 수행할 수도 있습니다.

이점

Vertex AI Feature Store를 사용하기 전에 특성 값을 계산하고 BigQuery의 테이블 또는 Cloud Storage의 파일과 같은 다양한 위치에 저장했을 수 있습니다. 또한 스토리지와 특성 값 소비를 위한 별도의 솔루션을 빌드하고 관리했을 수 있습니다. 반면에 Vertex AI Feature Store는 ML 기능 제공뿐만 아니라 일괄 및 온라인 스토리지를 위한 통합 솔루션을 제공합니다. 다음 섹션에서는 Vertex AI Feature Store가 제공하는 이점을 자세히 설명합니다.

조직 간에 특성 공유

특성 저장소의 특성을 생성하면 다른 특성을 학습 또는 제공 작업에 빠르게 공유할 수 있습니다. 팀이 다양한 프로젝트 또는 사용 사례에 맞게 특성을 다시 설계할 필요가 없습니다. 또한 중앙 저장소에서 특성을 관리하고 제공할 수 있으므로 조직 전체의 일관성을 보장하고 특히 가치가 높은 특성의 중복 작업을 줄일 수 있습니다.

Vertex AI Feature Store는 검색 및 필터 기능을 제공하므로 다른 사용자가 기존 특성을 쉽게 찾아서 재사용할 수 있습니다. 각 특성에 관해 관련 메타데이터를 확인하여 특성의 품질과 사용 패턴을 파악할 수 있습니다. 예를 들어 특성의 유효한 값이 있는 항목의 비율(특성 범위라고도 함), 특성 값의 통계 분포를 볼 수 있습니다.

대규모 온라인 제공을 위한 관리형 솔루션

Vertex AI Feature Store는 온라인 특성 제공(지연 시간이 짧은 제공)을 위한 관리형 솔루션을 제공하며, 이는 적시에 온라인 예측을 수행하는 데 매우 중요합니다. 지연 시간이 짧은 데이터 제공 인프라를 빌드하고 운영할 필요가 없습니다. Vertex AI Feature Store가 이를 자동으로 수행하고 필요에 따라 확장해 줍니다. 특성을 생성하되 특성을 제공하는 태스크를 오프로드하는 로직을 코딩합니다. 이렇게 포함된 모든 관리 기능 덕분에 새로운 특성을 빌드하는 데 수반되는 문제가 줄어들어 데이터 과학자가 배포에 대한 걱정 없이 작업을 수행할 수 있습니다.

학습-제공 편향 완화

학습-제공 편향은 프로덕션에서 사용하는 특성 데이터 분포가 모델 학습에 사용된 특성 데이터 분포와 다른 경우에 발생합니다. 이 편향으로 인해 종종 학습 중 모델의 성능과 프로덕션 성능 간에 불일치가 발생합니다. 다음 예시에서는 Vertex AI Feature Store가 학습-제공 편향의 잠재적 소스를 해결하는 방법을 설명합니다.

  • Vertex AI Feature Store에서는 특성 값이 featurestore에 한 번 수집된 후 동일한 값이 학습 및 제공에 재사용되도록 합니다. featurestore가 없으면 특성을 생성하는 학습과 제공의 코드 경로가 다를 수 있습니다. 따라서 특성 값이 학습과 제공에 따라 다를 수 있습니다.
  • Vertex AI Feature Store는 학습을 위해 이전 데이터를 가져오기 위한 특정 시점 조회를 제공합니다. 이러한 조회를 사용하면 예측 이후가 아닌 이전에 제공된 특성 값만 가져와서 데이터 유출을 완화할 수 있습니다.

드리프트 감지

Vertex AI Feature Store는 시간 경과에 따른 특성 데이터 분포의 주요 변화를 감지하는 데 유용하며 이를 드리프트라고도 합니다. Vertex AI Feature Store는 featurestore에 수집되는 특성 값의 분포를 지속적으로 추적합니다. 특성 드리프트가 증가하면 영향을 받는 특성을 사용하는 모델을 다시 학습해야 할 수도 있습니다. 자세한 내용은 특성 모니터링을 참조하세요.

할당량 및 한도

Vertex AI Feature Store는 할당량 및 한도를 적용하여 자체 사용량 한도를 설정하고 예상하지 못한 사용량 급증을 차단함으로써 Google Cloud 사용자 커뮤니티를 보호합니다. 계획되지 않은 제약조건에 도달하지 않도록 하려면 할당량 및 한도 페이지에서 Vertex AI Feature Store 할당량을 검토하세요. 예를 들어 Vertex AI Feature Store는 온라인 제공 노드 수에 대한 할당량과 분당 수행할 수 있는 온라인 제공 요청 수에 대한 할당량을 설정합니다.

가격 책정

Vertex AI Feature Store 가격은 저장하는 데이터 양과 사용하는 featurestore 온라인 노드 수와 같은 여러 가지 요소를 기반으로 합니다. featurestore를 만들면 바로 청구가 시작됩니다. 자세한 내용은 Vertex AI Feature Store 가격 책정을 참조하세요.

다음 단계