AI Platform 파이프라인을 사용하여 ML 파이프라인 설정
이 빠른 시작에서는 AI Platform Pipelines에 대한 짧은 소개를 제공합니다. 이 가이드에서는 새 Google Kubernetes Engine(GKE) 클러스터에서 확장된 TensorFlow를 사용하여 Kubeflow Pipelines를 설치한 후, 예시 파이프라인을 실행합니다.
이 주제는 AI Platform Pipelines를 처음 접하는 사용자를 대상으로 합니다.
시작하기 전에
이 가이드를 따르기 전에 Google Cloud 프로젝트가 올바르게 설정되어 있고 AI Platform 파이프라인을 배포할 충분한 권한이 있는지 확인하세요.
- Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
-
Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
-
Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
- 다음 안내에 따라 AI Platform 파이프라인을 배포하는 데 필요한 역할이 부여되었는지 확인합니다.
-
Cloud Shell 세션을 엽니다.
Cloud Shell이 Google Cloud Console 하단의 프레임에 열립니다.
-
AI Platform 파이프라인을 배포하려면 프로젝트에 대해 뷰어(
roles/viewer) 및 Kubernetes Engine 관리자(roles/container.admin) 역할이 있거나, 프로젝트에 대해 소유자(roles/owner) 역할과 동일한 권한이 포함된 역할이 있어야 합니다. Cloud Shell에서 다음 명령어를 실행하여 뷰어 및 Kubernetes Engine 관리자 역할이 있는 주 구성원을 나열합니다.gcloud projects get-iam-policy PROJECT_ID \ --flatten="bindings[].members" --format="table(bindings.role, bindings.members)" \ --filter="bindings.role:roles/container.admin OR bindings.role:roles/viewer"
PROJECT_ID를 Google Cloud 프로젝트의 ID로 바꿉니다.
이 명령어의 출력을 사용하여 계정에 뷰어 및 Kubernetes Engine 관리자 역할이 있는지 확인합니다.
-
필요한 역할이 부여되지 않은 경우 Google Cloud 프로젝트 관리자에게 도움을 요청합니다.
ID 및 액세스 관리 역할 부여에 대해 자세히 알아보세요.
-
AI Platform 파이프라인 인스턴스 설정
다음 안내에 따라 새 GKE 클러스터에 AI Platform 파이프라인을 설정합니다.
Google Cloud Console에서 AI Platform 파이프라인을 엽니다.
프로젝트 선택을 클릭합니다. Google Cloud 프로젝트를 선택하라는 대화상자가 표시됩니다.
이 빠른 시작에 사용할 Google Cloud 프로젝트를 선택한 다음 열기를 클릭합니다.
AI Platform Pipelines 툴바에서 새 인스턴스를 클릭합니다. Google Cloud Marketplace에서 Kubeflow Pipelines가 열립니다.
구성을 클릭합니다. Kubeflow Pipelines 배포를 구성할 수 있는 양식이 열립니다.
새 클러스터 만들기 링크가 표시되면 새 클러스터 만들기를 클릭합니다. 이러한 경우가 아니면 계속해서 다음 단계를 진행합니다.
GKE 클러스터를 만들 클러스터 영역으로 us-central1-a를 선택합니다.
다음 Cloud APIs에 대한 액세스 허용을 선택하여 GKE 클러스터에서 실행되는 애플리케이션에 Google Cloud 리소스 액세스 권한을 부여합니다. 이 체크박스를 선택하여
https://www.googleapis.com/auth/cloud-platform액세스 범위에 대한 액세스 권한을 클러스터에 부여합니다. 이 액세스 범위는 프로젝트에서 사용 설정한 Google Cloud 리소스에 대한 전체 액세스 권한을 제공합니다. 이 방식으로 Google Cloud 리소스 액세스 권한을 클러스터에 부여하면 Kubernetes 보안 비밀을 만들 필요가 없습니다.
클러스터 만들기를 클릭하여 GKE 클러스터를 만듭니다. 이 프로세스를 완료하려면 몇 분 정도 걸립니다.
클러스터를 만든 후 다음 정보를 제공합니다.
- 네임스페이스: 네임스페이스로 default를 선택합니다.
- 앱 인스턴스 이름: 인스턴스 이름으로 pipelines-quickstart를 입력합니다.
배포를 클릭하여 Kubeflow Pipelines를 새 GKE 클러스터에 배포합니다.
배포 프로세스를 완료하려면 몇 분 정도 걸립니다. 배포 프로세스가 완료되었으면 다음 섹션으로 진행합니다.
예시 파이프라인 실행
다음 안내에 따라 새 AI Platform 파이프라인 인스턴스에서 예시 파이프라인을 실행합니다.
Google Cloud Console에서 AI Platform 파이프라인을 엽니다.
이름이 pipelines-quickstart인 AI Platform Pipelines 클러스터를 찾은 후 파이프라인 대시보드 열기를 클릭하여 Kubeflow Pipelines를 엽니다. Kubeflow Pipelines 대시보드가 열리고 시작하기 페이지가 표시됩니다.
대시보드에서 시작하기 페이지를 사용하여 Kubeflow Pipelines에서 제공되는 데모 및 가이드 파이프라인에 대해 자세히 알아보거나 파이프라인을 만드는 방법을 자세히 알아볼 수 있습니다.
왼쪽 탐색 패널에서 파이프라인을 클릭합니다.
Kubeflow Pipelines는 몇 가지 예시 파이프라인을 제공합니다. [가이드] Python 구성요소에서 데이터 전달을 클릭합니다. 파이프라인 단계가 표시된 그래프가 열립니다.
파이프라인을 한 번 실행하려면 실행 만들기를 클릭합니다. Kubeflow Pipelines에서 run은 파이프라인의 단일 실행입니다. 실행 세부정보를 입력하는 양식이 열립니다.
'빠른 시작 파이프라인 실행'을 실행 이름으로 입력합니다.
시작을 클릭합니다. 파이프라인 대시보드에 실험 페이지의 파이프라인 실행 목록이 표시됩니다. Kubeflow Pipelines에서 실험을 사용하여 파이프라인 실행을 논리적 그룹으로 구성할 수 있습니다.
이름이 빠른 시작 파이프라인 실행인 실행을 클릭합니다. 실행 그래프가 표시됩니다. 실행이 진행 중이면 각 단계가 수행될 때 그래프가 변경됩니다.
실행의 입력, 출력, 로그 등을 내보내려면 파이프라인 단계를 클릭합니다.
이제 AI Platform Pipelines 인스턴스에서 예시 파이프라인이 실행되었습니다.
삭제
이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.
Google Cloud 계정에 비용이 청구되지 않도록 하려면 다음 안내에 따라 이전 섹션에서 만든 AI Platform 파이프라인 인스턴스 및 GKE 클러스터를 삭제하세요.Google Cloud Console에서 AI Platform 파이프라인을 엽니다.
이름이 pipelines-quickstart인 AI Platform Pipelines 인스턴스의 체크박스를 선택합니다.
AI Platform Pipelines 툴바에서 삭제를 클릭합니다.
클러스터에서 Kubeflow Pipelines 삭제 대화상자에서 클러스터 삭제 체크박스를 선택합니다. 이 체크박스를 선택하면 이 빠른 시작에 대해 만든 GKE 클러스터 삭제가 확인됩니다.
삭제를 클릭하여 AI Platform Pipelines 인스턴스 및 GKE 클러스터를 삭제합니다.
다음 단계
- AI Platform 파이프라인 소개를 참조하여 AI Platform 파이프라인 및 ML 파이프라인 자세히 알아보기
- ML 프로세스를 파이프라인으로 조정