머신러닝(ML)에서 특성은 모델 학습이나 온라인 예측에 사용할 수 있는 인스턴스 또는 항목의 특성 속성입니다. 특성은 일반적으로 특성 변환이라고도 하는 특성 추출 기법을 사용하여 원시 ML 데이터를 측정 가능하고 공유 가능한 속성으로 변환하여 생성됩니다.
특성 관리는 중앙 집중식 위치 또는 저장소에 저장된 ML 특성을 생성, 유지관리, 공유, 서빙하는 프로세스를 의미합니다. 특성 관리를 사용하면 특성을 재사용하여 모델을 쉽게 학습 및 재학습할 수 있으므로 AI 및 ML 배포의 수명 주기가 줄어듭니다.
ML 특성을 저장, 검색, 공유, 서빙하기 위한 특성 관리 서비스가 포함된 제품 또는 서비스를 Feature Store라고 합니다. Vertex AI에는 다음과 같은 Feature Store 서비스가 포함됩니다.
이 페이지에서는 두 가지 특성 관리 서비스를 소개하고 비교하며 해당 기능을 간략하게 설명합니다. 또한 Vertex AI Feature Store(기존)의 기존 Feature Store를 새 Vertex AI Feature Store로 마이그레이션하는 방법을 설명합니다.
Vertex AI Feature Store
Vertex AI Feature Store는 BigQuery 데이터 소스에서 특성 데이터를 유지관리하고 서빙할 수 있는 특성 관리에 대한 새로운 접근 방식을 제공합니다. 이 접근 방식에서 Vertex AI Feature Store는 BigQuery의 특성 데이터 소스에 온라인 서빙 기능을 제공하고 이러한 데이터를 기반으로 특성을 온라인으로 서빙할 수 있는 메타데이터 레이어 역할을 합니다. Vertex AI의 데이터를 별도의 오프라인 스토어로 복사하거나 가져올 필요가 없습니다.
Vertex AI Feature Store는 Dataplex와 통합되어 특성 메타데이터를 추적합니다. 또한 임베딩을 지원하며 최근접 이웃에 대한 벡터 유사성 검색을 수행할 수 있습니다.
Vertex AI Feature Store는 매우 짧은 지연 시간 서빙에 최적화되어 있으며 다음을 수행할 수 있습니다.
BigQuery의 데이터 관리 기능을 활용하여 BigQuery에 오프라인 특성 데이터를 저장하고 유지관리합니다.
특성을 특성 레지스트리에 추가하여 공유하고 재사용합니다.
Bigtable 온라인 서빙을 사용하여 짧은 지연 시간으로 또는 최적화된 온라인 서빙을 사용하여 매우 짧은 지연 시간으로 온라인 예측을 위한 특성을 서빙합니다.
임베딩을 특성 데이터에 저장하고 벡터 유사성 검색을 수행합니다.
Dataplex에서 특성 메타데이터를 추적합니다.
Vertex AI Feature Store에 대한 자세한 내용은 Vertex AI Feature Store 문서를 참조하세요.
Vertex AI Feature Store(기존)
Vertex AI Feature Store(기존)는 ML 특성 데이터를 저장, 구성, 서빙할 수 있는 중앙 집중식 저장소를 제공합니다. Vertex AI 내에서 온라인 스토어와 오프라인 스토어를 모두 캡슐화하는 리소스 계층 구조를 프로비저닝합니다. 온라인 스토어는 온라인 예측을 위한 최근 특성 값을 서빙합니다. 오프라인 스토어는 ML 모델 학습을 위해 일괄 제공할 수 있는 특성 데이터(이전 데이터 포함)를 저장하고 유지관리합니다.
Vertex AI Feature Store(기존)는 모든 기능을 갖춘 특성 관리 서비스로, 다음을 수행할 수 있습니다.
Cloud Storage 버킷 또는 BigQuery 소스와 같은 데이터 소스에서 특성 데이터를 오프라인 스토어로 일괄 또는 스트림 가져오기합니다.
예측을 위해 특성을 온라인으로 서빙합니다.
ML 모델 학습 또는 분석을 위한 특성을 일괄 제공하거나 내보냅니다.
EntityType및Featurestore리소스에 Identity and Access Management(IAM) 정책을 설정합니다.Google Cloud 콘솔에서 Feature Store 리소스를 관리합니다.
Vertex AI Feature Store(기존)에는 임베딩 관리 또는 벡터 검색 기능이 포함되지 않습니다. 특성 데이터에서 임베딩을 관리하거나 벡터 유사성 검색을 수행해야 하는 경우 Vertex AI Feature Store로 전환하는 것이 좋습니다. Vertex AI Feature Store로의 마이그레이션에 대한 자세한 내용은 Vertex AI Feature Store로 마이그레이션을 참조하세요.
Vertex AI Feature Store(기존)에 대한 자세한 내용은 Vertex AI Feature Store(기존) 문서를 참조하세요.
Vertex AI Feature Store와 Vertex AI Feature Store(기존) 비교
다음 표에서는 Vertex AI Feature Store(기존)와 새로운 Vertex AI Feature Store의 다양한 측면을 비교합니다.
| 카테고리 | Vertex AI Feature Store | Vertex AI Feature Store(기존) |
|---|---|---|
| 데이터 모델 | ||
| 리소스 계층 구조(온라인 및 오프라인 스토어) | 온라인 스토어의 리소스 계층 구조는 다음과 같습니다. FeatureOnlineStore -> FeatureView
|
리소스 계층 구조는 다음과 같습니다. Featurestore -> EntityType -> Feature
|
| 리소스 계층 구조(특성 레지스트리) | 특성 레지스트리의 리소스 계층 구조는 다음과 같습니다. FeatureGroup -> Feature
|
특성 레지스트리는 Vertex AI Feature Store(기존)에 존재하지 않습니다. |
| 특성 관리 | ||
| 온라인 및 오프라인 스토어 | 온라인 스토어 인스턴스를 만들고 특성 뷰를 정의해야 합니다. BigQuery 데이터 소스가 오프라인 스토어를 구성하므로 Vertex AI Feature Store에는 별도의 오프라인 스토어가 필요하지 않습니다. |
Feature Store를 프로비저닝하면 Vertex AI Feature Store(기존)가 별도의 온라인 및 오프라인 스토어를 만듭니다. |
| 특성 가져오기 | 데이터가 BigQuery에 있으므로 데이터를 오프라인 스토어로 가져올 필요가 없으며 오프라인 요구사항에 직접 사용할 수 있습니다. 온라인 서빙 사용 사례의 경우 BigQuery 테이블을 등록하거나 특성 데이터를 온라인 스토어에 복사하는 특성 뷰로 표시할 수 있습니다. Vertex AI Feature Store는 데이터 동기화 중에 온라인 스토어의 데이터를 새로고침합니다. | BigQuery 테이블 또는 BigQuery 뷰와 같은 외부 소스에서 일괄 또는 스트리밍 가져오기를 사용하여 특성 데이터를 오프라인 및 온라인 스토어로 가져와야 합니다. |
| 온라인 및 오프라인 스토어 간 데이터 이동 | Vertex AI Feature Store는 BigQuery를 오프라인 스토어로 사용하고 최신 특성 값만 온라인 스토어에 복사합니다. Vertex AI에는 별도의 오프라인 스토어가 프로비저닝되지 않습니다. | 특성 값이 오프라인 스토리지에 복사된 후 온라인 스토리지로 복사됩니다. |
| 특성 서빙 | ||
| 오프라인 서빙 | 오프라인 스토어와 상호작용하려면 BigQuery API를 사용해야 합니다. 기본 기능은 동일합니다. | Vertex AI Feature Store(기존)에서 관리하는 오프라인 스토어와 상호작용하려면 Vertex AI API를 사용해야 합니다. 이러한 상호작용의 예시로는 특정 시점 조회 및 내보내기 기능이 있습니다. |
| 온라인 서빙 |
Vertex AI Feature Store는 두 가지 유형의 온라인 서빙을 제공합니다.
각 온라인 읽기 요청은 추가 처리 없이 특성 뷰에서 미리 설정된 모든 특성을 검색하므로 지연 시간이 줄어듭니다. |
Vertex AI Feature Store(기존)는 한 가지 유형의 온라인 서빙만 제공합니다. 항목 및 특성을 지정하여 특성 데이터를 가져올 수 있습니다. |
| 인터페이스 및 API | ||
| Google Cloud 콘솔 기능 | Google Cloud 콘솔을 사용하여 온라인 스토어 인스턴스, 특성 뷰 인스턴스, 특성 그룹, 특성과 같은 리소스를 만들고 관리합니다. 온라인 스토어 목록과 특성 계보에 대한 정보도 확인할 수 있습니다. | Google Cloud 콘솔을 사용하여 리소스 생성 모니터링을 포함한 대부분의 특성 관리 작업을 수행합니다. |
| 리소스 생성 API | FeatureOnlineStore, FeatureView, FeatureGroup, Feature 리소스를 만드는 API를 포함합니다. 이러한 리소스를 사용하면 특성 레지스트리 및 온라인 스토어를 설정할 수 있습니다. 오프라인 스토어의 경우 BigQuery가 사용됩니다. |
온라인 및 오프라인 스토어에 사용되는 Featurestore, EntityType, Feature 리소스를 만드는 API를 포함합니다. |
| API 일괄 가져오기(오프라인 스토어) | 오프라인 스토어로 일괄 가져오기에는 API가 필요하지 않습니다. 오프라인 스토어로 일괄 가져오기 단계가 별도로 필요하지 않기 때문입니다. | Vertex AI API를 사용하여 오프라인 스토어로 일괄 가져옵니다. |
| API 일괄 가져오기(온라인 스토어) | 데이터 동기화 중에 BigQuery에서 온라인 스토어로 데이터를 정기적으로 복사합니다. | Vertex AI API를 사용하여 온라인 스토어로 일괄 가져옵니다. |
| API 스트리밍 가져오기(오프라인 스토어) | 오프라인 스토어로 스트리밍 가져오기에는 API가 필요하지 않습니다. 오프라인 스토어로 스트리밍 가져오기 단계가 별도로 필요하지 않기 때문입니다. | Vertex AI를 사용하여 오프라인 스토어로 스트리밍 가져옵니다. |
| API 스트리밍 가져오기(온라인 스토어) | 스트리밍 가져오기는 지원되지 않습니다. | Vertex AI API를 사용하여 온라인 스토어로 스트리밍 가져옵니다. |
| API 일괄 제공 | BigQuery API를 사용하여 특성 뷰에 정의된 BigQuery 데이터 소스에서 직접 데이터를 일괄 제공합니다. | Vertex AI API를 사용하여 특성 데이터를 일괄 제공합니다. |
| 온라인 서빙 API | FetchFeatureValues(FetchFeatureValuesRequest) API를 사용합니다. |
온라인 서빙에 ReadFeatureValues(ReadFeatureValuesRequest) API를 사용합니다. |
Vertex AI Feature Store로 마이그레이션
Vertex AI Feature Store(기존) 리소스 및 특성 데이터는 Vertex AI Feature Store에서 즉시 사용할 수 없습니다. Vertex AI Feature Store(기존)의 기존 사용자이고 프로젝트를 Vertex AI Feature Store로 마이그레이션하려면 다음 단계를 수행하세요. Vertex AI Feature Store의 리소스 계층 구조는 Vertex AI Feature Store(기존)의 리소스 계층 구조와 다르므로 특성 데이터를 마이그레이션한 후 리소스를 수동으로 만들어야 합니다.
BigQuery에서 특성 데이터를 아직 사용할 수 없는 경우 BigQuery로 특성 데이터를 내보내고 BigQuery 테이블 및 뷰를 만듭니다. 데이터를 내보내고 준비할 때 데이터 준비 가이드라인을 따릅니다. 예를 들면 다음과 같습니다.
각 특성은 열에 해당합니다. 항목 ID는
ID열로 식별할 수 있는 별도의 열일 수 있습니다.Vertex AI Feature Store에는
EntityType및Entity리소스가 없습니다. 항목 ID에 해당하는 행의 각 항목에 대한 특성 값을 제공합니다.
선택사항: 특성 그룹 및 특성을 추가하여 특성 데이터 소스를 등록합니다. 자세한 내용은 특성 그룹 만들기 및 특성 만들기를 참조하세요.
특성 데이터를 기반으로 온라인 스토어 및 특성 뷰 인스턴스를 만들어 온라인 서빙을 설정합니다.