AI Platform Pipelines에서 머신러닝(ML) 프로세스를 실행하려면 먼저 프로세스를 파이프라인으로 정의해야 합니다. TensorFlow Extended(TFX) 또는 Kubeflow Pipelines SDK를 사용하여 ML 프로세스를 파이프라인으로 조정할 수 있습니다.
이 문서에서는 파이프라인 구축을 위한 최적의 옵션과 시작하기 위한 리소스를 선택하기 위한 지침을 제공합니다.
- TensorFlow 모델을 학습시키는 프로세스를 조정하는 경우 TFX를 사용하여 파이프라인을 구축합니다.
- PyTorch, XGBoost, scikit-learn과 같은 프레임워크를 사용하여 모델을 학습시키는 프로세스를 조정하는 경우 Kubeflow Pipelines SDK를 사용하여 파이프라인을 빌드합니다.
TFX SDK를 사용하여 파이프라인 빌드
TFX는 ML 워크플로를 파이프라인으로 정의하는 데 사용할 수 있는 오픈소스 프로젝트입니다. 현재 TFX 구성요소는 TensorFlow 기반 모델만 학습시킬 수 있습니다. TFX는 데이터를 수집 및 변환하고, 모델을 학습 및 평가하고, 추론을 위해 학습된 모델을 배포하는 데 사용할 수 있는 구성요소를 제공합니다. TFX SDK를 사용하여 TFX 구성요소에서 ML 프로세스의 파이프라인을 구성할 수 있습니다.
TFX 파이프라인 템플릿으로 파이프라인을 빌드하는 방법은 다음과 같습니다.
- Google Cloud의 TFX 파이프라인에 대한 가이드를 따르세요.
- TFX 개념 및 구성요소에 대해 자세히 알아보려면 TFX 사용자 가이드를 읽어보세요.
Kubeflow Pipelines SDK를 사용하여 파이프라인 빌드
Kubeflow Pipelines SDK는 컨테이너 기반의 복잡한 커스텀 ML 파이프라인을 구축하는 데 사용할 수 있는 오픈소스 SDK입니다. Kbuflow Pipelines SDK를 사용하여 사전 빌드된 구성요소를 재사용하거나 커스텀 파이프라인 구성요소를 빌드할 수 있습니다. 대략적으로 다음을 수행하여 구성요소 및 파이프라인을 빌드합니다.
- 선호하는 언어 및 도구를 사용하여 워크플로의 각 단계에 대한 코드 작성
- 각 단계의 코드에 대한 Docker 컨테이너 이미지 만들기
- Python을 사용하여 Kubeflow Pipelines SDK를 사용하여 파이프라인 정의
Kubeflow Pipelines SDK로 파이프라인을 빌드하는 방법은 다음과 같습니다.
- Kubeflow Pipelines SDK 소개를 읽어보세요.
- Kubeflow 파이프라인 샘플을 탐색하여 Kubeflow 파이프라인에 대해 자세히 알아보세요.
- GitHub에서 Kubeflow 파이프라인 구성요소를 탐색하여 사전 빌드된 구성요소를 재사용합니다.
다음 단계
- ML 파이프라인을 실행하는 방법에 대해 알아보세요.