Vertex AI Feature Store는 Vertex AI의 필수 요소인 관리형 클라우드 네이티브 Feature Store 서비스입니다. BigQuery 테이블 또는 뷰에서 특성 데이터를 관리하여 ML 특성 관리 및 온라인 서빙 프로세스를 간소화합니다. 그런 후 BigQuery 데이터 소스에서 직접 온라인으로 특성을 서빙할 수 있습니다.
Vertex AI Feature Store는 특성 데이터 소스를 지정하여 온라인 서빙을 설정할 수 있게 해주는 리소스를 프로비저닝합니다. 그런 다음 BigQuery 데이터 소스와 상호작용하는 메타데이터 레이어로 작동하고 짧은 지연 시간으로 온라인 예측을 위해 BigQuery에서 직접 최신 특성 값을 서빙합니다.
Vertex AI Feature Store에서 특성 데이터가 포함된 BigQuery 테이블 또는 뷰는 오프라인 스토어를 전체적으로 형성합니다. 오프라인 스토어에서 이전 특성 데이터를 포함한 특성 값을 유지관리할 수 있습니다. 모든 특성 데이터가 BigQuery에서 유지관리되므로 Vertex AI Feature Store는 Vertex AI 내에서 별도의 오프라인 스토어를 프로비저닝할 필요가 없습니다. 또한 오프라인 스토어에서 데이터를 사용하여 ML 모델을 학습시키려면 BigQuery의 API 및 기능을 사용하여 데이터를 내보내거나 가져올 수 있습니다.
Vertex AI Feature Store를 사용하여 온라인 서빙을 설정하고 시작하는 워크플로는 다음과 같이 요약할 수 있습니다.
BigQuery에서 데이터 소스를 준비합니다.
선택사항: 특성 그룹과 특성을 만들어 데이터 소스를 등록합니다.
온라인 스토어 및 특성 뷰 리소스를 설정하여 특성 데이터 소스를 온라인 서빙 클러스터와 연결합니다.
특성 뷰에서 최신 특성 값을 온라인으로 서빙합니다.
Vertex AI Feature Store 데이터 모델 및 리소스
이 섹션에서는 Vertex AI Feature Store의 다음 측면과 관련된 데이터 모델 및 리소스를 설명합니다.
BigQuery에서 데이터 소스 준비
온라인 서빙 중에 Vertex AI Feature Store는 BigQuery 데이터 소스의 특성 데이터를 사용합니다. 특성 레지스트리 또는 온라인 서빙 리소스를 설정하기 전에 BigQuery 테이블 또는 뷰 하나 이상에 특성 데이터를 저장해야 합니다.
BigQuery 테이블 또는 뷰 내 각 열은 특성을 나타냅니다. 각 행에는 고유 ID에 해당하는 특성 값이 포함됩니다. BigQuery에서 특성 데이터를 준비하는 방법에 대한 자세한 내용은 데이터 소스 준비를 참조하세요.
예를 들어 그림 1의 BigQuery 테이블에는 다음 열이 포함되어 있습니다.
f1및f2: 특성 열entity_id: 각 특성 레코드를 식별하는 고유 ID가 포함된 ID 열feature_timestamp: 타임스탬프 열입니다.
Vertex AI가 아닌 BigQuery에서 데이터 소스를 준비하므로 이 단계에서 Vertex AI 리소스를 만들 필요가 없습니다.
특성 레지스트리 설정
BigQuery에서 데이터 소스를 준비한 후에는 특정 특성 열을 포함한 데이터 소스를 특성 레지스트리에 등록할 수 있습니다.
특성 등록은 선택사항입니다. BigQuery 데이터 소스를 특성 레지스트리에 추가하지 않더라도 온라인으로 특성을 제공할 수 있습니다. 하지만 다음 시나리오에서는 특성을 등록하는 것이 유리합니다.
데이터에 같은 엔티티 ID의 인스턴스가 여러 개 포함될 수 있으며 개발자는 타임스탬프 열을 사용하여 데이터를 시계열 형식으로 준비해야 합니다. 특성을 등록하면 Vertex AI Feature Store가 타임스탬프를 조회하고 최신 특성 값만 서빙합니다.
데이터 소스에서 특정 특성 열을 등록합니다.
여러 데이터 소스의 특정 열을 집계하여 특성 뷰 인스턴스를 정의합니다.
특성 레지스트리 리소스
특성 레지스트리에 특성 데이터를 등록하려면 다음 Vertex AI Feature Store 리소스를 만들어야 합니다.
특성 그룹(
FeatureGroup):FeatureGroup리소스는 특정 BigQuery 소스 테이블이나 뷰와 연결됩니다.Feature리소스로 표현되는 특성 열의 논리적 그룹을 나타냅니다. 특성 그룹을 만드는 방법은 특성 그룹 만들기를 참조하세요.특성(
Feature):Feature리소스는 상위FeatureGroup리소스와 연결된 특성 데이터 소스의 특성 값을 포함하는 특정 열을 나타냅니다. 특성 그룹 내에서 특성을 만드는 방법은 특성 만들기를 참조하세요.
예를 들어 그림 2는 특성 그룹과 연결된 BigQuery 테이블에서 가져온 특성 열인 f1 및 f2를 포함하는 특성 그룹을 보여줍니다. BigQuery 데이터 소스에는 4개의 특성 열이 포함되며, 2개 열이 집계되어 특성 그룹을 형성합니다.
Feature 열 두 개가 포함된 FeatureGroup의 예온라인 서빙 설정
온라인 예측 특성을 제공하려면 온라인 서빙 클러스터를 최소 하나 이상 정의 및 구성하고 특성 데이터 소스나 특성 레지스트리 리소스와 연결해야 합니다. Vertex AI Feature Store에서 온라인 서빙 클러스터를 온라인 스토어 인스턴스라고 합니다. 온라인 스토어 인스턴스에는 여러 개의 특성 뷰 인스턴스가 포함될 수 있으며, 각 특성 뷰는 특성 데이터 소스와 연결됩니다.
온라인 서빙 리소스
온라인 서빙을 설정하려면 다음 Vertex AI Feature Store 리소스를 만들어야 합니다.
온라인 스토어(
FeatureOnlineStore):FeatureOnlineStore리소스는 온라인 서빙 클러스터 인스턴스를 나타내며 온라인 서빙 노드 수와 같은 온라인 서빙 구성을 포함합니다. 온라인 스토어 인스턴스에서는 특성 데이터 소스를 지정하지 않지만 BigQuery 또는 특성 레지스트리에서 특성 데이터 소스를 지정하는FeatureView리소스를 포함합니다. 온라인 스토어 인스턴스를 만드는 방법에 대한 자세한 내용은 온라인 스토어 인스턴스 만들기를 참조하세요.특성 뷰(
FeatureView):FeatureView리소스는 온라인 스토어 인스턴스에 있는 특성의 논리적 컬렉션입니다. 특성 뷰를 만들 때 다음 방법 중 하나를 사용하여 특성 데이터 소스 위치를 지정할 수 있습니다.특성 레지스트리에서 특성 그룹과 특성을 하나 이상 연결합니다. 특성 그룹은 BigQuery 데이터 소스 위치를 지정합니다. 특성 그룹 내 특성은 해당 데이터 소스 내 특정 특성 열을 가리킵니다.
또는 BigQuery 소스 테이블이나 뷰를 연결합니다.
온라인 스토어 내에 특성 뷰 인스턴스를 만드는 방법에 대한 자세한 내용은 특성 뷰 만들기를 참조하세요.
예를 들어 그림 3은 BigQuery 테이블과 연결된 2개의 개별 특성 그룹에서 가져온 특성 열 f2와 f4로 구성된 특성 뷰를 보여줍니다.
FeatureView의 예온라인 서빙
Vertex AI Feature Store는 실시간 온라인 예측을 위해 다음과 같은 유형의 온라인 서빙을 제공합니다.
Bigtable 온라인 서빙은 대용량 데이터(테라바이트 단위의 데이터)을 제공하는 데 유용합니다. Vertex AI Feature Store(기존)의 온라인 서빙과 비슷하지만 부하 집중을 완화하기 위해 향상된 캐싱을 제공합니다. Bigtable 온라인 서빙에서는 임베딩을 지원하지 않습니다.
최적화된 온라인 서빙을 사용하면 매우 짧은 지연 시간에 특성을 온라인으로 서빙할 수 있습니다. 온라인 서빙 지연 시간은 워크로드에 따라 다르지만 최적화된 온라인 서빙의 지연 시간은 Bigtable 온라인 서빙보다 짧을 수 있으며 대부분의 시나리오에 권장됩니다. 최적화된 온라인 서빙은 임베딩 관리도 지원합니다. 하지만 자주 업데이트되고 임베딩을 제공할 필요가 없는 대용량 데이터를 제공해야 하는 경우에는 Bigtable 온라인 서빙을 사용합니다.
최적화된 온라인 서빙을 사용하려면 공개 엔드포인트나 전용 Private Service Connect 엔드포인트를 구성해야 합니다.
특성을 설정한 후 Vertex AI Feature Store에서 온라인 서빙을 설정하는 방법을 알아보려면 온라인 서빙 유형을 참조하세요.
일괄 예측 또는 모델 학습을 위한 오프라인 서빙
BigQuery에서 Vertex AI의 별도 오프라인 스토어로 특성 데이터를 복사하거나 가져올 필요가 없으므로 BigQuery의 데이터 관리 및 내보내기 기능을 사용하여 다음을 수행할 수 있습니다.
특정 시점의 이전 데이터를 포함한 특성 데이터를 쿼리합니다.
BigQuery를 사용한 머신러닝에 대한 자세한 내용은 BigQuery ML 소개를 참조하세요.
Vertex AI Feature Store 용어
특성 추출 관련 용어
특성 추출
- 특성 추출은 원시 머신러닝(ML) 데이터를 ML 모델 학습이나 예측에 사용할 수 있는 특성으로 변환하는 프로세스입니다.
기능
- 머신러닝(ML)에서 특성은 ML 모델 학습이나 예측을 수행하기 위한 입력으로 사용되는 인스턴스 또는 항목의 특성 또는 속성입니다.
특성 값
- 특성 값은 인스턴스 또는 항목의 특성 (속성)의 실제 측정 가능한 값에 해당합니다. 고유 항목의 특성 값 컬렉션은 항목에 해당하는 특성 레코드를 나타냅니다.
특성 타임스탬프
- 특성 타임스탬프는 항목의 특정 특성 레코드에 특성 값 집합이 생성된 시점을 나타냅니다.
특성 레코드
- 특성 레코드는 특정 시점에 고유한 항목의 속성을 설명하는 모든 특성 값을 집계한 것입니다.
특성 레지스트리 관련 용어
특성 레지스트리
- 특성 레지스트리는 온라인 예측을 위해 서빙하려는 특성 데이터 소스를 기록하기 위한 중앙 인터페이스입니다. 자세한 내용은 특성 레지스트리 설정을 참조하세요.
특성 그룹
- 특성 그룹은 특성 데이터가 포함된 BigQuery 소스 테이블 또는 뷰에 해당하는 특성 레지스트리 리소스입니다. 특성 뷰에는 특성이 포함될 수 있으며 데이터 소스에 있는 특성 열을 논리적으로 묶은 그룹으로 간주될 수 있습니다.
특성 서빙과 관련된 용어
특성 서빙
- 특성 서빙은 학습 또는 추론을 위해 특성 값을 내보내거나 가져오는 프로세스입니다. Vertex AI에는 온라인 서빙과 오프라인 서빙이라는 두 가지 유형의 특성 서빙이 있습니다. 온라인 서빙은 온라인 예측을 위해 특성 데이터 소스의 하위 집합에서 최신 특성 값을 검색합니다. 오프라인 서빙 또는 일괄 서빙은 ML 모델 학습과 같은 오프라인 처리를 위해 대량의 특성 데이터를 내보냅니다.
오프라인 스토어
- 오프라인 스토어는 일반적으로 ML 모델을 학습하는 데 사용되는 최근 및 이전 특성 데이터를 저장하는 스토리지 시설입니다. 오프라인 스토어에는 온라인 예측을 위해 서빙할 수 있는 최신 특성 값도 포함됩니다.
온라인 스토어
- 특성 관리에서 온라인 스토어는 온라인 예측을 위해 서빙할 수 있는 최신 특성 값을 위한 스토리지 시설입니다.
특성 뷰
- 특성 뷰는 BigQuery 데이터 소스에서 온라인 스토어 인스턴스로 구체화된 특성을 논리적으로 묶은 컬렉션입니다. 특성 뷰는 BigQuery 소스에서 주기적으로 새로고침되는 고객의 특성 데이터를 저장하고 주기적으로 새로고침합니다. 특성 뷰는 특성 데이터 스토리지와 직접 연결되거나 특성 레지스트리 리소스에 대한 연결을 통해 연결됩니다.
위치 제약조건
모든 Vertex AI Feature Store 리소스는 BigQuery 데이터 소스와 동일한 리전이나 동일한 멀티 리전 위치에 있어야 합니다. 예를 들어 특성 데이터 소스가 us-central1에 있으면 us-central1 또는 US 멀티 리전 위치에만 FeatureOnlineStore 인스턴스를 만들어야 합니다.
특성 메타데이터
Vertex AI Feature Store는 Dataplex와 통합되어 특성 메타데이터를 포함한 특성 거버넌스 기능을 제공합니다. 온라인 스토어 인스턴스, 특성 뷰, 특성 그룹은 이러한 리소스에서 메타데이터를 분류하는 Dataplex 기능인 Data Catalog에서 데이터 자산으로 자동 등록됩니다. 그런 다음 Dataplex의 메타데이터 검색 기능을 사용하여 이러한 리소스의 메타데이터를 검색, 확인, 관리할 수 있습니다. Dataplex에서 Vertex AI Feature Store 리소스를 검색하는 방법에 대한 자세한 내용은 Data Catalog에서 리소스 메타데이터 검색을 참조하세요.
특성 라벨
리소스를 만드는 동안이나 만든 후에 리소스에 라벨을 추가할 수 있습니다. 기존 Vertex AI Feature Store 리소스에 라벨을 추가하는 방법에 대한 자세한 내용은 라벨 업데이트를 참조하세요.
리소스 버전 메타데이터
Vertex AI Feature Store는 특성의 0 버전만 지원합니다.
임베딩 관리 및 벡터 검색
Vertex AI Feature Store의 최적화된 온라인 서빙은 임베딩 관리를 지원합니다. 임베딩을 일반 double 배열로 BigQuery에 저장할 수 있습니다. Vertex AI Feature Store의 임베딩 관리 기능을 사용하면 벡터 유사성 검색을 수행하여 지정된 항목이나 임베딩 값의 근사 최근접 이웃인 항목을 검색할 수 있습니다.
Vertex AI Feature Store에서 임베딩 관리를 사용하려면 다음을 수행해야 합니다.
embedding열을 포함하여 임베딩을 지원하도록 BigQuery 데이터 소스를 설정합니다. 선택적으로 필터링 및 크라우딩 열을 포함합니다. 자세한 내용은 데이터 소스 준비 가이드라인을 참조하세요.특성 뷰를 만드는 동안
embedding열을 지정합니다. 임베딩을 지원하는 특성 뷰를 만드는 방법은 특성 뷰의 벡터 검색 구성을 참조하세요.
Vertex AI Feature Store에서 벡터 유사성 검색을 수행하는 방법은 항목에 대한 벡터 검색 수행을 참조하세요.
데이터 보관
Vertex AI Feature Store는 데이터 소스의 특성 값과 연결된 타임스탬프를 기반으로 고유 ID의 최신 특성 값을 보존합니다. 온라인 스토어에는 데이터 보관 제한이 없습니다.
오프라인 스토어는 BigQuery에서 프로비저닝되므로 BigQuery의 데이터 보관 제한 또는 할당량이 이전 특성 값을 포함한 특성 데이터 소스에 적용될 수 있습니다. BigQuery의 할당량 및 한도에 대해 자세히 알아보세요.
할당량 및 한도
Vertex AI Feature Store는 할당량 및 한도를 적용함으로써 사용량 한도를 설정하여 리소스를 관리하도록 도움을 주고 예상하지 못한 사용량 급증을 차단하여 Google Cloud 사용자 커뮤니티를 보호합니다. 이러한 제약조건에 도달하지 않고 Vertex AI Feature Store 리소스를 효율적으로 사용하려면 Vertex AI Feature Store 할당량 및 한도를 검토하세요.
가격 책정
Vertex AI Feature Store의 리소스 사용량 가격 책정에 대한 자세한 내용은 Vertex AI Feature Store 가격 책정을 참조하세요.
노트북 튜토리얼
다음 샘플과 튜토리얼을 사용하여 Vertex AI Feature Store를 자세히 알아보세요.
Vertex AI Feature Store Bigtable 온라인 서빙을 사용한 온라인 특성 서빙 및 BigQuery 데이터 가져오기
|
이 튜토리얼에서는 Vertex AI Feature Store에서 Bigtable 온라인 서빙을 사용하여 BigQuery에서 특성 값을 온라인으로 서빙하고 가져오는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store 최적화 온라인 서빙을 사용한 온라인 특성 서빙 및 BigQuery 데이터 가져오기
|
|
이 튜토리얼에서는 Vertex AI Feature Store에서 최적화된 온라인 서빙을 사용하여 BigQuery에서 특성 값을 서빙하고 가져오는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store를 사용한 온라인 특성 서빙 및 BigQuery 데이터 벡터 검색
|
|
이 튜토리얼에서는 Vertex AI Feature Store를 사용하여 BigQuery에서 특성 값을 온라인으로 서빙하고 벡터 값을 검색하는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store 특성 뷰 서비스 에이전트
|
|
이 튜토리얼에서는 특성 뷰 서비스 에이전트를 사용 설정하고 사용되는 특정 소스 데이터에 대한 각 특성 뷰 액세스 권한을 부여하는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store 기반 LLM 그라운딩 튜토리얼
|
|
이 튜토리얼에서는 사용자 제공 데이터를 청크 처리한 후 임베딩 생성 기능이 있는 대규모 언어 모델(LLM)을 사용하여 각 청크의 임베딩 벡터를 생성하는 방법을 알아봅니다. 그런 다음 생성된 임베딩 벡터 데이터 세트를 Vertex AI Feature Store에 로드하면 빠른 특성 검색과 효율적인 온라인 서빙을 지원할 수 있습니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store 및 BigQuery로 생성형 AI RAG 애플리케이션 빌드
|
|
이 튜토리얼에서는 BigQuery 벡터 검색과 Vertex AI Feature Store를 사용하여 생성형 AI 애플리케이션을 위한 지연 시간이 짧은 벡터 검색 시스템을 빌드하는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
Vertex AI Feature Store에서 IAM 정책 구성
|
|
이 튜토리얼에서는 Vertex AI Feature Store에 저장된 리소스와 데이터에 대한 액세스를 제어하도록 IAM 정책을 구성하는 방법을 알아봅니다. Colab에서 열기 | Colab Enterprise에서 열기 | GitHub에서 보기 | Vertex AI Workbench 사용자 관리 노트북에서 열기 |
다음 단계
BigQuery에서 데이터를 설정하는 방법 알아보기
온라인 스토어 인스턴스를 만드는 방법 알아보기