Kubeflow とは

Kubeflow は、次のようなさまざまな ML タスクに使用されることがあります。

• 移植可能でスケーラブルな ML ワークフローの構築: ユーザーは、ML ワークフローをパイプラインとして定義し、さまざまな環境で簡単に共有、デプロイできるため、ML プロセスの一貫性と再現性が促進されます。
• 大規模な ML モデルのトレーニング: Kubeflow はトレーニング ワークロードを Kubernetes クラスタ全体に分散させ、より大規模なデータセットでモデルを効率的にトレーニングできるようにします。このスケーラビリティは、最新の ML アプリケーションで増大するデータ量を処理するうえで有益です。
• 本番環境での ML モデルのデプロイ: Kubeflow を使用すると、トレーニング済みの ML モデルをスケーラブルで信頼性の高いサービスとしてデプロイし、モデルの開発とデプロイのギャップを埋めるのが簡単になります。これにより、試験運用からプロダクション レディな ML モデルへの移行を効率化できます。
• ML ライフサイクルの管理: Kubeflow には、実験の追跡、モデル バージョンの管理、モデルのパフォーマンスのモニタリングなどの機能が含まれることが多く、ML ライフサイクル全体を合理化できます。この包括的な管理は、継続的なモニタリングと改善という MLOps の原則に沿っています。

Kubeflow は、包括的なプラットフォームを提供するために連携できる複数のコンポーネントで構成されています。主なコンポーネントをいくつかご紹介します。

Kubeflow Pipelines は Docker コンテナを活用し、移植可能かつスケーラブルな ML ワークフローを作成してデプロイするためのプラットフォームを提供します。各パイプラインはブループリントとして機能し、ML ワークフローのステップとその相互接続を詳細に示します。Kubeflow Pipelines のユーザー フレンドリーなインターフェースにより、テストの効率的な管理と追跡、パイプライン実行の可視化、ログとパフォーマンス指標の詳細な調査が可能になります。

Katib は、ML モデルのハイパーパラメータ調整システムです。モデルに最適なハイパーパラメータを見つけることは、時間のかかるプロセスですが、Katib はこのプロセスを自動化します。Katib は、グリッド検索、ランダム検索、ベイズ最適化など、さまざまな検索アルゴリズムをサポートしているため、モデルのパフォーマンスをより効率的に最適化できます。

KFServing は、トレーニング済みの ML モデルをデプロイするためのサーバーレス推論プラットフォームを提供します。トレーニング済みモデルのデプロイとスケーリングが簡素化されます。KFServing は、TensorFlow、PyTorch、scikit-learn などのさまざまな ML フレームワークをサポートしているため、フレームワークに依存せず、さまざまな ML エコシステムに適応できます。

Kubeflow のメタデータ コンポーネントでは、リネージとアーティファクトのトラッキングが可能となります。このコンポーネントを使用することで、データ サイエンティストはテスト、データセット、モデルをトラッキングできるため、作業の管理と再現が容易になります。メタデータ トラッキングを通じてチームメンバー間の協力が促進され、結果の再現性が確保されます。

ユーザーの個々のニーズと経験レベルに応じて、Kubeflow の使用を開始する方法はいくつかあります。

• Google Kubernetes Engine（GKE）への Kubeflow のデプロイ: このオプションは、Kubeflow のデプロイに大きな柔軟性と制御性を提供します。ユーザーは、特定の要件を満たすようにインストールをカスタマイズし、基盤となる Kubernetes クラスタに完全なアクセス権を持つことができます。ただし、この方法では Kubernetes の専門知識が必要になる可能性があり、より複雑になる可能性があります。
• Vertex AI Pipelines の利用: このオプションは、Google Cloud で Kubeflow Pipelines をデプロイして実行することが簡単になるフルマネージド サービスです。Vertex AI Pipelines がインフラストラクチャ管理のすべてを処理するため、ユーザーは ML ワークフローの構築と実行に集中できます。このアプローチは、迅速かつ簡単に設定できるマネージド ソリューションをお探しの方に適したオプションです。
• 他のプラットフォームでの Kubeflow の検討: Kubeflow は、他の Kubernetes 環境にもデプロイできます。これらのプラットフォームのインストール手順とドキュメントは、Kubeflow のウェブサイトで確認できます。