이 튜토리얼에서는 Vertex AI Pipelines를 사용하여 엔드 투 엔드 ML 워크플로를 실행하는 방법을 보여주며, 여기에는 다음 작업이 포함됩니다.
- 데이터를 가져오고 변환합니다.
- 변환된 데이터를 사용하여 TFHub의 이미지 분류 모델을 미세 조정합니다.
- 학습된 모델을 Vertex AI 모델 레지스트리로 가져옵니다.
- 선택사항: Vertex AI Prediction으로 온라인 서빙을 위한 모델을 배포합니다.
시작하기 전에
프로젝트 설정의 1~3단계를 완료했는지 확인합니다.
격리된 Python 환경을 만들고 Vertex AI SDK for Python을 설치합니다.
Kubeflow Pipelines SDK를 설치합니다.
python3 -m pip install "kfp<2.0.0" "google-cloud-aiplatform>=1.16.0" --upgrade --quiet
ML 모델 학습 파이프라인 실행
이 샘플 코드는 다음을 수행합니다.
- 파이프라인 빌딩 블록으로 사용할 구성요소 저장소에서 구성요소를 로드합니다.
- 구성요소 태스크를 만들고 인수를 사용하여 구성요소 태스크 간에 데이터를 전달하여 파이프라인을 구성합니다.
- Vertex AI Pipelines에서 실행할 파이프라인을 제출합니다. Vertex AI Pipelines 가격 책정을 참조하세요.
다음 샘플 코드를 개발 환경에 복사하고 실행합니다.
이미지 분류
제공된 샘플 코드와 관련하여 다음 사항에 유의하세요.
- Kubeflow 파이프라인은 Python 함수로 정의됩니다.
- 파이프라인의 워크플로 단계는 Kubeflow 파이프라인 구성요소를 사용하여 생성됩니다. 구성요소 출력을 다른 구성요소의 입력으로 사용하여 파이프라인의 워크플로를 그래프로 정의합니다. 예를 들어
preprocess_image_data_op
구성요소 태스크는transcode_imagedataset_tfrecord_from_csv_op
구성요소 태스크의tfrecord_image_data_path
출력에 따라 달라집니다. - Python용 Vertex AI SDK를 사용하여 Vertex AI Pipelines에서 파이프라인 실행을 만듭니다.
파이프라인 모니터링
Google Cloud console의 Vertex AI 섹션에서 파이프라인 페이지로 이동하여 실행 탭을 엽니다.
다음 단계
- Vertex AI Pipelines에 대해 자세히 알아보려면 Vertex AI Pipelines 소개를 참조하세요.