カレンダー モードの将来の予約で TPU をリクエストする

このガイドでは、カレンダー モードで将来の予約を使用して、Tensor Processing Unit（TPU）のプロビジョニングを最適化する方法について説明します。カレンダー モードでの将来の予約では、TPU 容量を確認して事前に計画する際に役立つ、組み込みのカレンダー アドバイザーと Recommender を利用できます。指定した開始時間と期間（1～90 日）の容量をリクエストすると、Recommender が候補の日付を提案します。

このガイドは、バッチ ワークロードの実行に Kubernetes コンテナ オーケストレーション機能を使用することを検討している ML エンジニア、プラットフォーム管理者、オペレーター、データおよび AI のスペシャリストを対象としています。 Google Cloud のコンテンツで使用されている一般的なロールとタスクの例の詳細については、一般的な GKE Enterprise ユーザーロールとタスクをご覧ください。

詳細については、カレンダー モードでの将来の予約についてをご覧ください。

ユースケース

カレンダー モードでの将来の予約は、トレーニングや、リクエストした開始時間に高可用性を必要とするバッチ推論モデルなど、予定した短い期間に需要の高いリクエストが発生するワークロードに最適です。

ワークロードに、長期的な予約や複雑な割り当て管理が必要なく、最大 7 日間、必要に応じて動的にプロビジョニングされるリソースが必要な場合は、Flex Start の使用を検討してください。詳細については、Flex Start による GPU と TPU のプロビジョニングについてをご覧ください。

始める前に

作業を始める前に、次のタスクを完了済みであることを確認してください。

  • Google Kubernetes Engine API を有効にする。
    • Google Kubernetes Engine API の有効化
  • このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、gcloud components update を実行して最新のバージョンを取得する。
  • 次のいずれかがあることを確認します。

カレンダー モードで TPU の将来の予約をリクエストする

カレンダー モードで将来の予約を使用して TPU をリクエストするプロセスは、次のステップで構成されています。

  1. VM の作成時に、ディスクや IP アドレスなど、予約の一部ではないリソースに十分な割り当てがあることを確認します。カレンダー モードでの将来の予約リクエストには、Compute Engine の割り当ては必要ありません。
  2. カレンダー モードでリクエストを作成するの手順を完了します。手順は次のとおりです。
    1. TPU の今後の可用性を確認します。
    2. カレンダー モードで TPU の将来の予約リクエストを作成して送信します。
    3. Google Cloud がリクエストを承認するまで待ちます。
  3. 予約を使用する TPU ノードプールを作成します。

ノードプールを作成する

このセクションの内容は、Standard クラスタにのみ適用されます。

予約は、単一ホストまたはマルチホストの TPU スライス ノードプールを作成するときに使用できます。たとえば、Google Cloud CLI を使用して単一ホスト TPU スライスのノードプールを作成できます。

gcloud container node-pools create NODE_POOL_NAME \
    --location=LOCATION \
    --cluster=CLUSTER_NAME \
    --node-locations=NODE_ZONES \
    --machine-type=MACHINE_TYPE \
    --reservation-affinity=specific \ This is required
    --reservation=RESERVATION

次のように置き換えます。

  • NODE_POOL_NAME: 新しいノードプールの名前。
  • LOCATION: 使用する TPU バージョンに基づくゾーンの名前。使用可能なロケーションについては、GKE での TPU の可用性をご覧ください。
  • CLUSTER_NAME: クラスタの名前。
  • NODE_ZONES: GKE がノードプールを作成する 1 つ以上のゾーンのカンマ区切りリスト。
  • MACHINE_TYPE: ノードに使用するマシンのタイプ。TPU 互換マシンタイプの詳細については、TPU バージョンを選択するの表をご覧ください。
  • RESERVATION: 使用するカレンダー予約の名前。

指定できるすべてのフラグの一覧については、gcloud container clusters create リファレンスをご覧ください。

カレンダー モードの予約でノードプールを作成したら、他の TPU ノードプールと同様にワークロードをデプロイできます。たとえば、予約済みの TPU を使用する TPU ノードプールを含む Job を作成できます。

次のステップ