다음 권장사항은 다양한 시나리오에서 Vertex AI Feature Store(기존)를 계획하고 사용하는 데 도움이 됩니다. 이 가이드에서 모든 내용을 다루지는 않습니다.
여러 항목을 공동으로 설명하는 특성 모델링
일부 기능은 여러 항목 유형에 적용될 수 있습니다. 예를 들어 사용자에 따라 제품별 클릭을 기록하는 계산된 값이 있을 수 있습니다. 이 기능은 제품-사용자 쌍을 공동으로 설명합니다.
이러한 경우 공유 특성을 그룹화하려면 별도의 항목 유형을 만드는 것이 좋습니다. 공유 특성을 포함하도록 product-user와 같은 항목 유형을 만들 수 있습니다.
항목 ID의 경우 개별 제품 및 사용자의 항목 ID와 같은 개별 항목의 ID를 연결합니다. ID가 문자열이기만 하면 됩니다. 이렇게 조합된 항목 유형을 복합 항목 유형이라고 합니다.
자세한 내용은 항목 유형 만들기를 참조하세요.
IAM 정책을 사용하여 여러 팀의 액세스 제어
IAM 역할 및 정책을 사용하여 사용자 그룹마다 액세스 수준을 다르게 설정합니다. 예를 들어 ML 연구원, 데이터 과학자, DevOps, 사이트 안정성 엔지니어는 모두 동일한 피처스토어에 액세스해야 하지만 액세스 수준은 다를 수 있습니다. 예를 들어 DevOps 사용자에게는 피처스토어를 관리할 수 있는 권한이 필요하지만 피처스토어의 콘텐츠에 액세스할 필요는 없습니다.
리소스 수준 IAM 정책을 사용하여 특정 피처스토어 또는 항목 유형에 대한 액세스를 제한할 수도 있습니다.
예를 들어 조직에 다음과 같은 캐릭터가 포함되어 있다고 가정해 보겠습니다. 각 캐릭터에게는 저마다 다른 수준의 액세스 권한이 필요하기 때문에 사전 정의된 IAM 역할이 각기 다르게 할당됩니다. 고유한 맞춤 역할을 만들고 사용할 수도 있습니다.
| 캐릭터 | 설명 | 사전 정의된 역할 |
|---|---|---|
| ML 연구원 또는 비즈니스 분석가 | 특정 항목 유형의 데이터만 보는 사용자 | roles/aiplatform.featurestoreDataViewer(프로젝트 또는 리소스 수준에서 부여할 수 있음) |
| 데이터 과학자 또는 데이터 엔지니어 | 특정 항목 유형 리소스를 사용하는 사용자 자신이 소유한 리소스의 경우 다른 주 구성원에게 액세스 권한을 위임할 수 있습니다. | roles/aiplatform.entityTypeOwner(프로젝트 또는 리소스 수준에서 부여할 수 있음) |
| IT 또는 DevOps | 특정 피처스토어의 성능을 유지관리하고 조정해야 하지만 데이터에 액세스할 필요는 없는 사용자 | roles/aiplatform.featurestoreInstanceCreator(프로젝트 또는 리소스 수준에서 부여할 수 있음) |
| 자동화된 데이터 가져오기 파이프라인 | 특정 항목 유형에 데이터를 쓰는 애플리케이션 | roles/aiplatform.featurestoreDataWriter(프로젝트 또는 리소스 수준에서 부여할 수 있음) |
| 사이트 안정성 엔지니어 | 프로젝트의 특정 피처스토어 또는 모든 피처스토어를 관리하는 사용자 | roles/aiplatform.featurestoreAdmin(프로젝트 또는 리소스 수준에서 부여할 수 있음) |
| 전역(Vertex AI Feature Store(기존) 사용자) | 사용자가 기존 기능을 보고 검색할 수 있도록 허용합니다. 작업할 기능을 찾으면 특성 소유자에게 액세스 권한을 요청할 수 있습니다. Google Cloud 콘솔 사용자의 경우 이 역할이 있어야 Vertex AI Feature Store(기존) 방문 페이지, 가져오기 작업 페이지, 일괄 제공 작업 페이지를 볼 수 있습니다. |
프로젝트 수준에서 roles/aiplatform.featurestoreResourceViewer 역할을 부여합니다. |
일괄 가져오기 최적화를 위한 리소스 모니터링 및 조정
일괄 가져오기 작업을 하려면 작업자가 데이터를 처리하고 작성해야 하므로 featurestore의 CPU 사용률이 증가하고 온라인 서빙 성능에 영향을 미칠 수 있습니다. 온라인 서빙 성능을 유지하는 것이 우선인 경우 온라인 서빙 노드 10개당 1개의 작업자로 시작합니다. 가져오기 중에 온라인 스토리지의 CPU 사용량을 모니터링합니다. CPU 사용량이 예상보다 낮은 경우 향후 일괄 가져오기 작업의 작업자 수를 늘려 처리량을 늘립니다. CPU 사용량이 예상보다 높으면 온라인 서빙 노드 수를 늘려 CPU 용량을 늘리거나, 일괄 가져오기 작업자 수를 낮춥니다. 두 경우 모두 CPU 사용량을 낮출 수 있습니다.
온라인 서빙 노드 수를 늘리면 Vertex AI Feature Store(기존)에 변경사항이 적용된 후 최적의 성능을 얻기까지 약 15분이 걸립니다.
자세한 내용은 featurestore 업데이트 및 일괄 가져오기 특성 값을 참조하세요.
featurestore 모니터링에 대한 자세한 내용은 Cloud Monitoring 측정항목을 참조하세요.
이전 데이터를 백필할 때 disableOnlineServing 필드 사용
백필은 이전 특성 값을 가져오는 프로세스이며 최근 특성 값에 영향을 주지 않습니다. 이 경우 온라인 저장소에 대한 변경사항을 건너뛰는 온라인 서빙을 사용 중지할 수 있습니다. 자세한 내용은 이전 데이터 백필을 참조하세요.
자동 확장을 사용한 부하 변동 중 비용 절감
Vertex AI Feature Store(기존)를 광범위하게 사용하고 트래픽 패턴의 부하가 자주 변동되는 경우 자동 확장을 사용하여 비용을 최적화하세요. 자동 확장을 사용하면 Vertex AI Feature Store(기존)가 트래픽 패턴을 검토하고 많은 노드 수를 유지하는 대신 CPU 사용률에 따라 노드 수를 자동으로 늘리거나 줄입니다. 이 옵션은 점진적인 증가와 감소가 발생하는 트래픽 패턴에 적합합니다.
자동 확장에 대한 자세한 내용은 확장 옵션을 참조하세요.
온라인 서빙 노드의 실시간 제공 성능 테스트
온라인 서빙 노드의 성능을 테스트하여 실시간 온라인 서빙 중에 피처스토어의 성능을 보장할 수 있습니다. QPS, 지연 시간, API와 같은 여러 벤치마킹 매개변수를 기반으로 이러한 테스트를 수행할 수 있습니다. 온라인 서빙 노드의 성능을 테스트하려면 다음 지침을 따르세요.
모든 테스트 클라이언트를 동일한 리전에서 실행(Compute Engine 또는 Google Kubernetes Engine 권장): 리전 간 홉 때문에 발생하는 네트워크 지연 시간으로 인한 불일치를 방지합니다.
SDK에서 gRPC API 사용: gRPC API는 REST API보다 성능이 뛰어납니다. REST API를 사용해야 하는 경우 HTTP 연결을 재사용하기 위해 HTTP 연결 유지 옵션을 사용 설정합니다. 그렇지 않으면 각 요청마다 새 HTTP 연결이 생성되어 지연 시간이 늘어납니다.
긴 시간 동안 테스트 실행: 더욱 정확한 측정항목을 계산하려면 긴 시간(15분 이상) 동안 최소 5QPS로 테스트를 실행합니다.
'준비' 기간 추가: 일정 시간 동안 활동이 없다가 테스트를 시작하면 연결이 다시 설정되는 동안 지연 시간이 길어질 수 있습니다. 초기의 높은 지연 시간을 고려하기 위해 이 기간을 초기 데이터 읽기가 무시되는 '준비 기간'으로 지정할 수 있습니다. 또는 저렴하지만 일관적인 비율의 인위적인 트래픽을 피처스토어로 전송하여 연결을 활성 상태로 유지할 수 있습니다.
필요한 경우 자동 확장 사용 설정: 온라인 트래픽의 점진적인 증가와 감소가 예상되는 경우 자동 확장을 사용 설정합니다. 자동 확장을 선택하면 Vertex AI가 CPU 사용률에 따라 온라인 서빙 노드 수를 자동으로 변경합니다.
온라인 서빙에 대한 자세한 내용은 온라인 서빙을 참조하세요. 온라인 서빙 노드에 대한 자세한 내용은 온라인 서빙 노드를 참조하세요.
일괄 제공 및 일괄 내보내기 중에 오프라인 스토리지 비용을 최적화하기 위한 시작 시간 지정
일괄 제공 및 일괄 내보내기 중에 오프라인 스토리지 비용을 최적화하려면 batchReadFeatureValues 또는 exportFeatureValues 요청에서 startTime을 지정하면 됩니다. 이 요청은 지정된 startTime에 따라 사용 가능한 특성 데이터의 하위 집합에 쿼리를 실행합니다. 그렇지 않으면 요청에서 사용 가능한 전체 특성 데이터 볼륨을 쿼리하여 오프라인 스토리지 사용량 비용이 증가합니다.
다음 단계
Vertex AI에서 커스텀 학습 ML 모델을 구현하기 위한 Vertex AI Feature Store(기존) 권장사항 알아보기