머신러닝(ML) 워크플로에는 데이터 준비 및 분석, 모델 학습 및 평가, 학습된 모델의 프로덕션 배포, ML 아티팩트 추적, 종속 항목 이해 등의 단계가 포함됩니다. 이 같은 단계를 매번 임시로 관리하는 것은 어려울 수 있으며 시간 또한 많이 소요됩니다.
MLOps는 ML 워크플로를 자동화, 관리, 감사하는 데 도움이 되는 DevOps 방식을 적용하는 방법입니다. AI Platform Pipelines는 워크플로의 단계를 파이프라인으로 조정할 수 있는 플랫폼을 제공하여 MLOps 구현을 지원합니다. ML 파이프라인은 이동성 및 재현 가능성을 갖춘 ML 워크플로의 정의입니다.
AI Platform Pipelines를 통해 TensorFlow Extended(TFX)로 Kubeflow Pipelines를 설정하는 데 따른 어려움을 해소하여 MLOps를 더 쉽게 시작할 수 있습니다. Kubeflow Pipelines는 Kubernetes에서 ML 파이프라인을 실행, 모니터링, 감사, 관리하는 오픈소스 플랫폼입니다. TFX는 엔드 투 엔드 ML 워크플로를 조정하는 ML 파이프라인을 빌드하는 오픈소스 프로젝트입니다.
안내 가이드
-
AI Platform 파이프라인 설정
AI Platform Pipelines 설정 방법을 알아봅니다.
-
ML 파이프라인 만들기
ML 프로세스를 파이프라인으로 조정하는 방법을 알아봅니다.
-
ML 파이프라인 실행
Kubeflow Pipelines 대시보드 액세스 및 파이프라인 실행 방법을 알아봅니다.
-
Kubeflow Pipelines SDK를 사용하여 AI Platform Pipelines에 연결
Kubeflow Pipelines SDK를 사용하여 AI Platform Pipelines 클러스터에 연결하는 방법을 알아봅니다.
-
GKE 클러스터 구성
AI Platform Pipelines가 Cloud Storage 또는 BigQuery와 같은 Google Cloud 리소스에 충분한 컴퓨팅 리소스와 액세스 권한을 갖도록 Google Kubernetes Engine 클러스터를 구성합니다.