機械学習(ML)ワークフローには、データの準備と分析、モデルのトレーニングと評価、トレーニング済みモデルの本番環境へのデプロイ、ML アーティファクトの追跡、依存関係の理解などが含まれます。こうしたステップをアドホック方式で管理することは困難で、時間がかかる可能性があります。
MLOps は、ML ワークフローの自動化、管理、監査のために DevOps プラクティスを適用するプラクティスです。AI Platform Pipelines では、ワークフローのステップをパイプラインとしてオーケストレートできるプラットフォームを提供することで、MLOps を実現できます。ML パイプラインは、ML ワークフローの移植可能で再現可能な定義です。
AI Platform Pipelines を使用すると、TensorFlow Extended(TFX)を使用して Kubeflow Pipelines を設定する手間が省け、MLOps の実践を簡単に始めることができます。Kubeflow Pipelines は、Kubernetes で ML パイプラインの実行、モニタリング、監査、管理を行うためのオープンソース プラットフォームです。TFX は、エンドツーエンドの ML ワークフローをオーケストレートする ML パイプラインを構築するためのオープンソース プロジェクトです。
入門ガイド
-
AI Platform Pipelines の設定
AI Platform Pipelines の設定方法について学習します。
-
ML パイプラインの作成
ML プロセスをパイプラインとしてオーケストレートする方法を学習します。
-
ML パイプラインの実行
Kubeflow Pipelines ダッシュボードにアクセスしてパイプラインを実行する方法を学習します。
-
Kubeflow Pipelines SDK を使用した AI Platform Pipelines への接続
Kubeflow Pipelines SDK を使用して AI Platform Pipelines クラスタに接続する方法について説明します。
-
GKE クラスタの構成
Google Kubernetes Engine クラスタを構成して、AI Platform Pipelines の十分な計算リソースを確保し、Cloud Storage や BigQuery などの Google Cloud リソースにアクセスできるようにします。