Cluster Director
Kubernetes クラスタと Slurm クラスタの AI オーケストレーション
AI クラスタまたは HPC クラスタを簡単に構成、デプロイ、管理できます。管理の制限なく管理対象インフラストラクチャの自動化のメリットを享受します。
機能
Slurm と Kubernetes のためのマネージド インフラストラクチャ サービス
Cluster Director の機能には、次の 2 つの方法でアクセスできます。
- Slurm またはカスタム オーケストレーターを使用するジョブの場合、コントロール プレーン、API、または CLI を介して直接。この統合環境は Google Kubernetes Engine（GKE）とも統合されているため、Slurm クラスタと Kubernetes クラスタの両方を作成および監視するための単一の強力なインターフェースが提供されます。
- GKE または Compute Engine 内。これらのコンテキストでは、使い慣れた環境で作業しながら、Cluster Director の機能にアクセスできます。
ジョブ スケジューリングの簡素化
Cluster Director は、すぐに使用できるフォールト トレラントでスケーラビリティの高いジョブ スケジューリングを提供します。コントローラ ノードは自動的に管理されます。マシンタイプ、ソースイメージ、ブートディスク サイズなど、クラスタのログインノードを簡単に構成できます。
直感的なクラスタ管理
コントロール プレーンを使用して、クラスタを簡単に作成、更新、削除できます。また、新しい専用の VPC ネットワークまたは既存の VPC ネットワークにクラスタをデプロイできるため、ネットワーキングも簡素化されます。ストレージについては、新しい Filestore インスタンスまたは Google Cloud Managed Lustre インスタンスを作成してアタッチするか、既存の Cloud Storage バケットに接続できます。
トポロジを考慮した配置
パフォーマンスを最大化するために、Cluster Director は Google のネットワーク トポロジと深く統合されています。これにより、クラスタ内の VM が物理的に近い場所に配置され、ネットワーク レイテンシが短縮されます。これは、高度に同期された分散トレーニング ワークロードにとって重要です。
包括的な可視性と分析情報
Cluster Director の統合オブザーバビリティ ダッシュボードでは、クラスタの健全性、使用状況、パフォーマンスを明確に把握できるため、システムの動作をすばやく理解し、問題を 1 か所で診断できます。ダッシュボードは、数万台の VM に簡単にスケールできるように設計されています。
トレーニング実行の中断を防止
健全性チェックリストをリクエストして基本的な信頼性を確保し、3 段階のチェックポイントや高度なメンテナンス管理などの追加機能を利用して、トレーニングの効率を最大限に高めます。
デプロイ前の適格性評価と準備
高パフォーマンスで信頼性の高い基盤の設計
クラスタをスピンアップする前に、アクセラレータが最初からパフォーマンスと信頼性を発揮できることを保証する必要があります。Cluster Director は、TPU と GPU のトポロジを考慮したインテリジェントな配置を提供します。
コンピューティング、ネットワーキング、ストレージの各コンポーネントは、厳格な多段階の認定プロセスを経て検証され、詳細な健全性報告書に記録されます。この報告書は、品質と準備状況の究極の証明となります。
学習用リソース
高パフォーマンスで信頼性の高い基盤の設計
クラスタをスピンアップする前に、アクセラレータが最初からパフォーマンスと信頼性を発揮できることを保証する必要があります。Cluster Director は、TPU と GPU のトポロジを考慮したインテリジェントな配置を提供します。
コンピューティング、ネットワーキング、ストレージの各コンポーネントは、厳格な多段階の認定プロセスを経て検証され、詳細な健全性報告書に記録されます。この報告書は、品質と準備状況の究極の証明となります。
クラスタをデプロイする
クラスタを数日ではなく数分でデプロイ
GKE クラスタまたは Slurm クラスタのセットアップの複雑さを解消します。検証済みのリファレンス アーキテクチャから始め、アクセラレータとストレージ リソースを選択するだけで、残りの作業は Cluster Director が行います。
パフォーマンスとトポロジに関する Google のベスト プラクティスが組み込まれた、あらゆる規模で完全に最適化された環境をデプロイし、デプロイ時間を大幅に短縮します。
学習用リソース
クラスタを数日ではなく数分でデプロイ
GKE クラスタまたは Slurm クラスタのセットアップの複雑さを解消します。検証済みのリファレンス アーキテクチャから始め、アクセラレータとストレージ リソースを選択するだけで、残りの作業は Cluster Director が行います。
パフォーマンスとトポロジに関する Google のベスト プラクティスが組み込まれた、あらゆる規模で完全に最適化された環境をデプロイし、デプロイ時間を大幅に短縮します。
クラスタの管理
クラスタの管理とオブザーバビリティ
Slurm クラスタ用の単一のコンソールを使用して、インフラストラクチャとジョブの実行のギャップを埋めます。クラスタの健全性と使用率のトポロジビューを取得します。
問題が発生した場合は、ジョブ中心のオブザーバビリティを使用して、フルスタック全体の指標を 1 つのジョブ ID で瞬時に関連付け、数時間かかっていた推測を数回のクリックで済ませ、速度低下の根本原因を迅速に特定できます。
学習用リソース
クラスタの管理とオブザーバビリティ
Slurm クラスタ用の単一のコンソールを使用して、インフラストラクチャとジョブの実行のギャップを埋めます。クラスタの健全性と使用率のトポロジビューを取得します。
問題が発生した場合は、ジョブ中心のオブザーバビリティを使用して、フルスタック全体の指標を 1 つのジョブ ID で瞬時に関連付け、数時間かかっていた推測を数回のクリックで済ませ、速度低下の根本原因を迅速に特定できます。
ハードウェアの問題を検出する
自己修復機能
Cluster Director を使用すると、インフラストラクチャの問題を事前に検出、修復、復旧できます。
たとえば、常時オンのヘルスチェック、ストラグラー検出、AI ヘルス予測機能により、問題を事前に特定できます。
学習用リソース
自己修復機能
Cluster Director を使用すると、インフラストラクチャの問題を事前に検出、修復、復旧できます。
たとえば、常時オンのヘルスチェック、ストラグラー検出、AI ヘルス予測機能により、問題を事前に特定できます。
料金
| Cluster Director の料金の仕組み | Cluster Director の使用に追加料金はかかりません。課金されるのは、コンピューティング、ストレージ、ネットワーキングなど、クラスタで使用する基本的な Google Cloud リソースのみです。 | |
|---|---|---|
| サービス | 説明 | 料金（米ドル） |
利用開始（無料） | 新規ユーザー様には、90 日以内にご利用いただける $300 分の無料トライアルのクレジットを差し上げます。 | 無料 |
Compute Engine の無料枠では、一か月当たり、1 つの e2-micro VM インスタンス、最大 30 GB の標準永続ディスク ストレージ、最大 1 GB のアウトバウンド データ転送を使用できます。 | 無料 | |
VM インスタンス、ストレージ、ネットワーキング | 詳しくは、Compute Engine の料金をご覧ください。 使用したサービスに対してのみ課金されます。前払い料金や、解約手数料は不要です。料金はプロダクトや使用量によって異なります。 | 目安 $0.01 （e2-micro、従量課金制） |
Cluster Director の料金の仕組み
Cluster Director の使用に追加料金はかかりません。課金されるのは、コンピューティング、ストレージ、ネットワーキングなど、クラスタで使用する基本的な Google Cloud リソースのみです。
Compute Engine の無料枠では、一か月当たり、1 つの e2-micro VM インスタンス、最大 30 GB の標準永続ディスク ストレージ、最大 1 GB のアウトバウンド データ転送を使用できます。
無料
VM インスタンス、ストレージ、ネットワーキング
詳しくは、Compute Engine の料金をご覧ください。
使用したサービスに対してのみ課金されます。前払い料金や、解約手数料は不要です。料金はプロダクトや使用量によって異なります。
Starting at
$0.01
（e2-micro、従量課金制）
