Vertex AI는 노드를 할당하여 온라인 및 일괄 예측을 처리합니다.
온라인 예측을 제공하기 위해 Endpoint 리소스에 커스텀 학습 모델 또는 AutoML 모델을 배포하거나 일괄 예측을 요청할 때 예측 서비스가 이러한 노드에 사용하는 가상 머신 유형을 맞춤설정할 수 있습니다. 원하는 경우 GPU를 사용하도록 예측 노드를 구성할 수 있습니다.
머신 유형 간에는 다음과 같은 차이점이 있습니다.
- 노드당 가상 CPU 수(vCPU)
- 노드당 메모리 양
- 가격 책정
컴퓨팅 리소스가 더 많은 머신 유형을 선택하면 더 짧은 지연 시간으로 예측을 수행하거나 동시에 더 많은 예측 요청을 처리할 수 있습니다.
컴퓨팅 리소스 지정 위치
온라인 예측
커스텀 학습 모델 또는 AutoML 테이블 형식 모델을 사용하여 온라인 예측을 제공하려면 Model 리소스를 DeployedModel로 Endpoint에 배포할 때 머신 유형을 지정해야 합니다. 다른 유형의 AutoML 모델의 경우 Vertex AI가 머신 유형을 자동으로 구성합니다.
DeployedModel의 dedicatedResources.machineSpec 필드에 머신 유형(원하는 경우 GPU 구성)을 지정합니다.
각 모델 유형을 배포하는 방법을 알아봅니다.
- Google Cloud console에서 AutoML 테이블 형식 모델 배포
- Google Cloud console에서 커스텀 학습 모델 배포
- 클라이언트 라이브러리를 사용하여 커스텀 학습 모델 배포
일괄 예측
커스텀 학습 모델 또는 AutoML 테이블 형식 모델에서 일괄 예측을 수행하려면 BatchPredictionJob 리소스를 만들 때 머신 유형을 지정해야 합니다. BatchPredictionJob의 dedicatedResources.machineSpec 필드에 머신 유형(원하는 경우 GPU 구성)을 지정합니다.
머신 유형
다음 표에서는 커스텀 학습 모델과 AutoML 테이블 형식 모델에서 예측을 제공하는 데 사용 가능한 머신 유형을 비교합니다.
E2 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
e2-standard-2 |
2 | 8 |
e2-standard-4 |
4 | 16 |
e2-standard-8 |
8 | 32 |
e2-standard-16 |
16 | 64 |
e2-standard-32 |
32 | 128 |
e2-highmem-2 |
2 | 16 |
e2-highmem-4 |
4 | 32 |
e2-highmem-8 |
8 | 64 |
e2-highmem-16 |
16 | 128 |
e2-highcpu-2 |
2 | 2 |
e2-highcpu-4 |
4 | 4 |
e2-highcpu-8 |
8 | 8 |
e2-highcpu-16 |
16 | 16 |
e2-highcpu-32 |
32 | 32 |
N1 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
n1-standard-2 |
2 | 7.5 |
n1-standard-4 |
4 | 15 |
n1-standard-8 |
8 | 30 |
n1-standard-16 |
16 | 60 |
n1-standard-32 |
32 | 120 |
n1-highmem-2 |
2 | 13 |
n1-highmem-4 |
4 | 26 |
n1-highmem-8 |
8 | 52 |
n1-highmem-16 |
16 | 104 |
n1-highmem-32 |
32 | 208 |
n1-highcpu-4 |
4 | 3.6 |
n1-highcpu-8 |
8 | 7.2 |
n1-highcpu-16 |
16 | 14.4 |
n1-highcpu-32 |
32 | 28.8 |
N2 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
n2-standard-2 |
2 | 8 |
n2-standard-4 |
4 | 16 |
n2-standard-8 |
8 | 32 |
n2-standard-16 |
16 | 64 |
n2-standard-32 |
32 | 128 |
n2-standard-48 |
48 | 192 |
n2-standard-64 |
64 | 256 |
n2-standard-80 |
80 | 320 |
n2-standard-96 |
96 | 384 |
n2-standard-128 |
128 | 512 |
n2-highmem-2 |
2 | 16 |
n2-highmem-4 |
4 | 32 |
n2-highmem-8 |
8 | 64 |
n2-highmem-16 |
16 | 128 |
n2-highmem-32 |
32 | 256 |
n2-highmem-48 |
48 | 384 |
n2-highmem-64 |
64 | 512 |
n2-highmem-80 |
80 | 640 |
n2-highmem-96 |
96 | 768 |
n2-highmem-128 |
128 | 864 |
n2-highcpu-2 |
2 | 2 |
n2-highcpu-4 |
4 | 4 |
n2-highcpu-8 |
8 | 8 |
n2-highcpu-16 |
16 | 16 |
n2-highcpu-32 |
32 | 32 |
n2-highcpu-48 |
48 | 48 |
n2-highcpu-64 |
64 | 64 |
n2-highcpu-80 |
80 | 80 |
n2-highcpu-96 |
96 | 96 |
N2D 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
n2d-standard-2 |
2 | 8 |
n2d-standard-4 |
4 | 16 |
n2d-standard-8 |
8 | 32 |
n2d-standard-16 |
16 | 64 |
n2d-standard-32 |
32 | 128 |
n2d-standard-48 |
48 | 192 |
n2d-standard-64 |
64 | 256 |
n2d-standard-80 |
80 | 320 |
n2d-standard-96 |
96 | 384 |
n2d-standard-128 |
128 | 512 |
n2d-standard-224 |
224 | 896 |
n2d-highmem-2 |
2 | 16 |
n2d-highmem-4 |
4 | 32 |
n2d-highmem-8 |
8 | 64 |
n2d-highmem-16 |
16 | 128 |
n2d-highmem-32 |
32 | 256 |
n2d-highmem-48 |
48 | 384 |
n2d-highmem-64 |
64 | 512 |
n2d-highmem-80 |
80 | 640 |
n2d-highmem-96 |
96 | 768 |
n2d-highcpu-2 |
2 | 2 |
n2d-highcpu-4 |
4 | 4 |
n2d-highcpu-8 |
8 | 8 |
n2d-highcpu-16 |
16 | 16 |
n2d-highcpu-32 |
32 | 32 |
n2d-highcpu-48 |
48 | 48 |
n2d-highcpu-64 |
64 | 64 |
n2d-highcpu-80 |
80 | 80 |
n2d-highcpu-96 |
96 | 96 |
n2d-highcpu-128 |
128 | 128 |
n2d-highcpu-224 |
224 | 224 |
C2 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
c2-standard-4 |
4 | 16 |
c2-standard-8 |
8 | 32 |
c2-standard-16 |
16 | 64 |
c2-standard-30 |
30 | 120 |
c2-standard-60 |
60 | 240 |
C2D 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
c2d-standard-2 |
2 | 8 |
c2d-standard-4 |
4 | 16 |
c2d-standard-8 |
8 | 32 |
c2d-standard-16 |
16 | 64 |
c2d-standard-32 |
32 | 128 |
c2d-standard-56 |
56 | 224 |
c2d-standard-112 |
112 | 448 |
c2d-highcpu-2 |
2 | 4 |
c2d-highcpu-4 |
4 | 8 |
c2d-highcpu-8 |
8 | 16 |
c2d-highcpu-16 |
16 | 32 |
c2d-highcpu-32 |
32 | 64 |
c2d-highcpu-56 |
56 | 112 |
c2d-highcpu-112 |
112 | 224 |
c2d-highmem-2 |
2 | 16 |
c2d-highmem-4 |
4 | 32 |
c2d-highmem-8 |
8 | 64 |
c2d-highmem-16 |
16 | 128 |
c2d-highmem-32 |
32 | 256 |
c2d-highmem-56 |
56 | 448 |
c2d-highmem-112 |
112 | 896 |
C3 시리즈
| 이름 | vCPU | 메모리(GB) |
|---|---|---|
c3-highcpu-4 |
4 | 8 |
c3-highcpu-8 |
8 | 16 |
c3-highcpu-22 |
22 | 44 |
c3-highcpu-44 |
44 | 88 |
c3-highcpu-88 |
88 | 176 |
c3-highcpu-176 |
176 | 352 |
A2 시리즈
| 이름 | vCPU | 메모리(GB) | GPU(NVIDIA A100) |
|---|---|---|---|
a2-highgpu-1g |
12 | 85 | 1(A100 40GB) |
a2-highgpu-2g |
24 | 170 | 2(A100 40GB) |
a2-highgpu-4g |
48 | 340 | 4(A100 40GB) |
a2-highgpu-8g |
96 | 680 | 8(A100 40GB) |
a2-megagpu-16g |
96 | 1360 | 16(A100 40GB) |
a2-ultragpu-1g |
12 | 170 | 1(A100 80GB) |
a2-ultragpu-2g |
24 | 340 | 2(A100 80GB) |
a2-ultragpu-4g |
48 | 680 | 4(A100 80GB) |
a2-ultragpu-8g |
96 | 1360 | 8(A100 80GB) |
A3 시리즈
| 이름 | vCPU | 메모리(GB) | GPU(NVIDIA H100) |
|---|---|---|---|
a3-highgpu-8g |
208 | 1872 | 8(H100 80GB) |
G2 시리즈
| 이름 | vCPU | 메모리(GB) | GPU(NVIDIA L4) |
|---|---|---|---|
g2-standard-4 |
4 | 16 | 1 |
g2-standard-8 |
8 | 32 | 1 |
g2-standard-12 |
12 | 48 | 1 |
g2-standard-16 |
16 | 64 | 1 |
g2-standard-24 |
24 | 96 | 2 |
g2-standard-32 |
32 | 128 | 1 |
g2-standard-48 |
48 | 192 | 4 |
g2-standard-96 |
96 | 384 | 8 |
각 머신 유형의 가격 책정에 대해 알아보세요. 이러한 머신 유형의 세부 사양은 머신 유형에 대한 Compute Engine 문서를 참조하세요.
이상적인 머신 유형 찾기
온라인 예측
사용 사례에 적합한 머신 유형을 찾으려면 여러 머신 유형에 모델을 로드하고 지연 시간, 비용, 동시 실행, 처리량과 같은 특성을 측정하는 것이 좋습니다.
이를 위한 한 가지 방법은 여러 머신 유형에서 이 노트북을 실행하고 결과를 비교하여 가장 적합한 머신 유형을 찾는 것입니다.
Vertex AI는 시스템 프로세스를 실행하기 위해 각 복제본에서 약 1개의 vCPU를 예약합니다. 즉, 단일 코어 머신 유형에서 노트북을 실행하는 것은 예측을 제공하는 데 2코어 머신 유형을 사용하는 것과 비슷합니다.
예측 비용을 고려할 때 머신이 클수록 비용이 많이 들지만 동일한 워크로드를 처리하는 데 필요한 복제본이 적기 때문에 전반적인 비용이 절감될 수 있습니다. GPU의 경우 특히 두드러지는데 시간당 비용은 높지만 둘 다 낮은 대기 시간을 제공하므로 전체적으로 비용이 적게 듭니다.
일괄 예측
자세한 내용은 머신 유형 및 복제본 수 선택을 참조하세요.
GPU 가속기(선택사항)
A2 시리즈 및 G2 시리즈 같은 일부 구성에는 고정된 수의 기본 제공 GPU가 있습니다.
N1 시리즈와 같은 다른 구성에서는 선택적으로 GPU를 추가하여 각 예측 노드를 가속화할 수 있습니다.
선택사항인 GPU 가속기를 추가하려면 몇 가지 요구사항을 고려해야 합니다.
Model리소스가 TensorFlow SavedModel에 기반을 둔 경우 또는 GPU를 활용하도록 설계된 커스텀 컨테이너를 사용하는 경우에만 GPU를 사용할 수 있습니다. scikit-learn 또는 XGBoost 모델에는 GPU를 사용할 수 없습니다.- 각 GPU 유형의 가용성은 모델에 사용하는 리전에 따라 다릅니다. 리전에서 사용할 수 있는 GPU 유형을 알아보세요.
DeployedModel리소스 또는BatchPredictionJob에 한 가지 유형의 GPU만 사용할 수 있으며 사용 중인 머신 유형에 따라 추가할 수 있는 GPU 수에 제한이 있습니다. 다음 표에서는 이러한 제한사항을 설명합니다.
다음 표에서는 온라인 예측에 사용 가능한 선택적 GPU와 각 Compute Engine 머신 유형에 사용할 수 있는 각 GPU 유형의 수를 보여줍니다.
| 각 머신 유형에 유효한 GPU 수 | |||||
|---|---|---|---|---|---|
| 머신 유형 | NVIDIA Tesla K80 | NVIDIA Tesla P100 | NVIDIA Tesla V100 | NVIDIA Tesla P4 | NVIDIA Tesla T4 |
n1-standard-2 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-standard-4 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-standard-8 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-standard-16 |
2, 4, 8 | 1, 2, 4 | 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-standard-32 |
4, 8 | 2, 4 | 4, 8 | 2, 4 | 2, 4 |
n1-highmem-2 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highmem-4 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highmem-8 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highmem-16 |
2, 4, 8 | 1, 2, 4 | 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highmem-32 |
4, 8 | 2, 4 | 4, 8 | 2, 4 | 2, 4 |
n1-highcpu-2 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highcpu-4 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highcpu-8 |
1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highcpu-16 |
2, 4, 8 | 1, 2, 4 | 2, 4, 8 | 1, 2, 4 | 1, 2, 4 |
n1-highcpu-32 |
4, 8 | 2, 4 | 4, 8 | 2, 4 | 2, 4 |
선택적 GPU는 추가 비용이 발생합니다.
다음 단계
- Google Cloud console에서 AutoML 테이블 형식 모델 배포
- Google Cloud console에서 커스텀 학습 모델 배포
- 클라이언트 라이브러리를 사용하여 커스텀 학습 모델 배포
- 일괄 예측 가져오기