온라인 예측 알아보기

Vertex AI는 온라인 예측 API를 통해 Google Distributed Cloud (GDC) 에어갭에서 온라인 예측을 제공합니다. 예측은 학습된 머신러닝 모델의 출력입니다. 특히 온라인 예측은 모델 엔드포인트에 수행되는 동기식 요청입니다.

온라인 예측을 사용하면 지원되는 컨테이너 세트에서 자체 예측 모델을 사용하여 업로드, 배포, 제공, 요청할 수 있습니다. 애플리케이션 입력에 대한 응답으로 요청하거나 적시의 추론이 필요한 상황에서 요청하는 경우 온라인 예측을 사용하세요.

인프라 운영자 (IO)가 생성한 전용 예측 클러스터에 Kubernetes 커스텀 리소스를 적용하여 온라인 예측 API를 사용할 수 있습니다.

온라인 예측을 받기 전에 모델 아티팩트를 내보내고 엔드포인트에 모델을 배포해야 합니다. 이 작업은 짧은 지연 시간으로 온라인 예측을 제공하기 위해 컴퓨팅 리소스를 모델과 연결합니다.

그런 다음 요청을 포맷팅하고 전송하여 커스텀 학습 모델에서 온라인 예측을 가져올 수 있습니다.

사용 가능한 컨테이너 이미지

다음 표에는 Distributed Cloud의 온라인 예측에 지원되는 컨테이너 목록이 나와 있습니다.

ML 프레임워크 버전 지원되는 가속기 지원되는 이미지
TensorFlow 2.14 CPU tf2-cpu.2-14
GPU tf2-gpu.2-14
PyTorch 2.4 CPU pytorch-cpu.2-4
GPU pytorch-gpu.2-4
2.1 (지원 중단됨) CPU pytorch-cpu.2-1
GPU pytorch-gpu.2-1