온라인 예측 로깅

AutoML 테이블 형식 모델, AutoML 이미지 모델, 커스텀 학습 모델에서는 모델 배포 중에 예측 로그를 사용 설정하거나 사용 중지할 수 있습니다. 이 페이지에서는 사용 가능한 여러 예측 로그 유형과 이러한 로그를 사용 설정하거나 사용 중지하는 방법을 설명합니다.

예측 로그 유형

예측 노드에서 정보를 가져오는 데 사용할 수 있는 예측 로그에는 2가지 유형이 있습니다.

  • 컨테이너 로깅: 예측 노드의 stdoutstderr 스트림을 Cloud Logging에 로깅합니다. 이러한 로그는 디버깅에 중요하며 필수입니다.

  • 액세스 로깅: Cloud Logging에 대한 각 요청의 타임스탬프 및 지연 시간과 같은 정보를 로깅합니다.

예측 로그 설정

엔드포인트에 모델을 배포할 때 온라인 예측 로그를 사용 설정하거나 중지할 수 있습니다. 이러한 설정을 업데이트하려면 모델 배포를 취소한 후 새 설정으로 모델을 다시 배포해야 합니다.

대량의 초당 쿼리 수(QPS)에 대해 온라인 예측을 수행하면 상당히 많은 수의 로그가 생성되며 Cloud Logging 가격 책정이 적용됩니다. 온라인 예측 로그의 가격을 산출하려면 로깅의 예상 청구액 확인을 참조하세요. 이 비용을 줄이려면 예측 로깅을 중지하면 됩니다.

기본 로그 설정

각 로그 유형을 개별적으로 사용 설정하거나 중지할 수 있습니다.

  • 컨테이너 로깅: 예측 노드의 stderrstdout 스트림을 Cloud Logging에 로깅합니다.

    • v1 서비스 엔드포인트에서 컨테이너 로깅이 기본적으로 사용 설정됩니다. 엔드포인트에 모델을 배포할 때 이를 중지할 수 있습니다.

    • v1beta1 서비스 엔드포인트에서 컨테이너 로깅은 기본적으로 사용 설정되어 있지 않습니다. 엔드포인트에 모델을 배포할 때 컨테이너 로깅을 사용 설정할 수 있습니다.

  • 액세스 로깅: Cloud Logging에 대한 각 요청의 타임스탬프 및 지연 시간과 같은 정보를 로깅합니다.

    v1v1beta1 서비스 엔드포인트 모두 액세스 로깅은 기본적으로 중지되어 있습니다. 엔드포인트에 모델을 배포할 때 액세스 로깅을 사용 설정할 수 있습니다.

예측 로그 사용 설정 및 중지

다음 예시에서는 모델을 배포할 때 이러한 기본 설정을 수정할 수 있는 위치를 강조표시합니다.

콘솔

엔드포인트에 모델을 배포하거나 Cloud Console에서 새 엔드포인트를 만들 때 로깅 단계에서 사용 설정할 예측 로그 유형을 지정할 수 있습니다. 액세스 로깅 또는 컨테이너 로깅을 사용 설정하려면 체크박스를 선택하거나 이러한 로그를 중지하려면 체크박스를 선택 취소합니다.

모델 배포 방법에 대한 자세한 내용은 Cloud Console을 사용한 모델 배포를 참조하세요.

gcloud

배포된 모델에서 로그가 사용 설정되는 기본 동작을 변경하려면 플래그를 gcloud 명령어에 추가합니다.

v1 서비스 엔드포인트

gcloud ai endpoints deploy-model을 실행합니다.

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

v1beta1 서비스 엔드포인트

gcloud beta ai endpoints deploy-model을 실행합니다.

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

모델 배포 방법에 대한 자세한 내용은 Vertex AI API를 사용한 모델 배포를 참고하세요.

REST 및 명령줄

배포된 모델에서 로그가 사용 설정되는 기본 동작을 변경하려면 관련 필드를 True로 설정합니다.

v1 서비스 엔드포인트

컨테이너 로깅을 사용 중지하려면 projects.locations.endpoints.deployModel을 사용하여 모델을 배포할 때 disableContainerLogging 필드를 True로 설정합니다.

액세스 로깅을 사용 설정하려면 projects.locations.endpoints.deployModel을 사용하여 모델을 배포할 때 enableAccessLoggingTrue로 설정합니다.

v1beta1 서비스 엔드포인트

컨테이너 로깅을 사용 설정하려면 projects.locations.endpoints.deployModel을 사용하여 모델을 배포할 때 enableContainerLogging 필드를 True로 설정합니다.

액세스 로깅을 사용 설정하려면 projects.locations.endpoints.deployModel을 사용하여 모델을 배포할 때 enableAccessLoggingTrue로 설정합니다.

모델 배포 방법에 대한 자세한 내용은 Vertex AI API를 사용한 모델 배포를 참고하세요.

다음 단계