プリエンプティブル VM を作成して使用する

このガイドでは、プリエンプティブル仮想マシン(VM)インスタンスを作成して使用する方法について説明します。プリエンプティブル VM は、標準 VM の料金と比べて 60~91% 割引でご利用いただけます。ただし、他のタスクがリソースを再利用する必要がある場合、Compute Engine がこの VM を停止(プリエンプト)する可能性があります。プリエンプティブル VM は 24 時間後に必ず停止します。プリエンプティブル VM は、VM プリエンプションに耐えることができるフォールト トレラント アプリケーションでのみ推奨されています。プリエンプティブル VM を作成することを決める前に、ご使用のアプリケーションでプリエンプションの処理が可能であることを確認してください。プリエンプティブル VM インスタンスのドキュメントでは、プリエンプティブル VM のリスクと価値について解説しています。

準備

プリエンプティブル VM の作成

gcloud CLI または Compute Engine API を使用して、プリエンプティブル VM を作成します。Cloud Console を使用するには、代わりにスポット VM を作成します。

gcloud

gcloud compute では、通常の VM を作成する場合に使用するものと同じ instances create コマンドを使用しますが、--preemptible フラグを追加します。

gcloud compute instances create [VM_NAME] --preemptible

ここで、[VM_NAME] は VM の名前です。

API

API では、VM の作成リクエストを通常どおりに作成しますが、schedulingpreemptible プロパティを含め、その値を true に設定します。次に例を示します。

POST https://compute.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/instances

{
  'machineType': 'zones/[ZONE]/machineTypes/[MACHINE_TYPE]',
  'name': '[INSTANCE_NAME]',
  'scheduling':
  {
    'preemptible': true
  },
  ...
}

プリエンプティブル CPU の割り当て

プリエンプティブル VM には、標準 VM など、使用可能な CPU の割り当てが必要です。プリエンプティブル VM が標準 VM の CPU 割り当てを使用することを回避するために、特別な「プリエンプティブル CPU」割り当てをリクエストできます。Compute Engine によりそのリージョンでプリエンプティブル CPU の割り当てが付与された後は、すべてのプリエンプティブル VM がその割り当てに対してカウントされ、すべての標準 VM は引き続き標準 CPU の割り当てに対してカウントされます。

プリエンプティブル CPU の割り当てがないリージョンでは、標準 CPU の割り当てを使用してプリエンプティブル VM を起動できます。通常どおり、十分な IP とディスクを割り当てる必要があります。プリエンプティブル CPU の割り当ては、Compute Engine が割り当てを付与しない限り、gcloud CLI または Cloud Console の割り当てページに表示されません。

割り当ての詳細については、リソースの割り当てのページをご覧ください。

プリエンプトされた VM の起動

他の VM と同様に、プリエンプティブル VM が停止またはプリエンプトされた場合、VM を再起動して、RUNNING 状態に戻すことができます。プリエンプティブル VM を起動すると、24 時間カウンタはリセットされますが、これはまだプリエンプティブル VM であるため、Compute Engine によって 24 時間前にプリエンプトされる場合があります。実行中のプリエンプティブル VM を標準 VM に変換することはできません。

Compute Engine が、自動スケーリングされるマネージド インスタンス グループ(MIG)または Google Kubernetes Engine(GKE)クラスタでプリエンプティブル VM を停止した場合、リソースが再び使用可能になると、グループが VM を再起動します。

シャットダウン スクリプトを使用したプリエンプションの処理

シャットダウン スクリプトを使用することにより、VM がプリエンプトされる際、VM が停止する前に、クリーンアップ アクションを実行させることができます。たとえば、実行中のプロセスを適切に停止し、チェックポイント ファイルを Cloud Storage にコピーできます。

シャットダウン スクリプトを以下に示します。これは、実行中のプリエンプティブル VM に追加するか、新規作成時にプリエンプティブル VM に追加できます。このスクリプトは、オペレーティング システムの通常の kill コマンドが残りすべてのプロセスを停止する前に、VM がシャットダウンを開始するときに実行されます。目的のプログラムを正常に停止した後、スクリプトは Cloud Storage バケットにチェックポイント ファイルの並列アップロードを実行します。

#!/bin/bash

MY_PROGRAM="[PROGRAM_NAME]" # For example, "apache2" or "nginx"
MY_USER="[LOCAL_USERNAME]"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
GSUTIL_OPTS="-m -o GSUtil:parallel_composite_upload_threshold=32M"
BUCKET_NAME="[BUCKET_NAME]" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gsutil $GSUTIL_OPTS cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

このスクリプトを VM に追加するには、VM 上のアプリケーションと連携するようにスクリプトを構成し、そのスクリプトを VM のメタデータに追加します。

  1. シャットダウン スクリプトをローカル ワークステーションにコピーまたはダウンロードします。
  2. ファイルを開いて編集し、以下の変数を変更します。
    • [PROGRAM_NAME] は、シャットダウンするプロセスまたはプログラムの名前です。たとえば、apache2nginx です。
    • [LOCAL_USER] は、仮想マシンへのログインに使用しているユーザー名です。
    • [BUCKET_NAME] は、プログラムのチェックポイント ファイルを保存する Cloud Storage バケットの名前です。ここではバケット名が gs:// で始まっていないことにご注意ください。
  3. 変更を保存します。
  4. シャットダウン スクリプトを新しい VM または既存の VM に追加します。

このスクリプトの前提条件は次のとおりです。

  • 少なくとも Cloud Storage に対する読み取り / 書き込みアクセス権を付与して VM が作成されていること。適切なスコープを指定して VM を作成する方法については、認証のドキュメントをご覧ください。

  • 既存の Cloud Storage バケットがあり、そのバケットに対する書き込み権限が付与されていること。

プリエンプティブル VM の特定

VM がプリエンプティブル VM かどうかを確認するには、VM のプロビジョニング モデルと終了アクションを特定する手順を行います。

VM がプリエンプトされたかどうかの確認

VM がプリエンプトされたかどうかを確認するには、Google Cloud Consolegcloud CLI、または API を使用します。

Console

システム アクティビティ ログを確認することで、インスタンスがプリエンプトされたかどうかを確認できます。

  1. Google Cloud Console のログページに移動します。

    ログに移動

  2. プロジェクトを選択し、[続行] をクリックします。

  3. [ラベルまたはテキスト検索でフィルタ] フィールドに compute.instances.preempted を追加します。

  4. 特定の VM のプリエンプション オペレーションを確認するには、VM 名を入力することもできます。

  5. Enter キーを押して、指定されたフィルタを適用します。Cloud Console によってログのリストが更新され、VM がプリエンプトされたオペレーションのみが表示されます。

  6. リストでオペレーションを選択し、プリエンプトされた VM に関する詳細を表示します。

gcloud


プロジェクト内のプリエンプション イベントのリストを取得するには、filter パラメータを指定して gcloud compute operations list コマンドを使用します。

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

filter パラメータでは、結果をさらに絞り込めます。たとえば、マネージド インスタンス グループ内のインスタンスのプリエンプション イベントのみを表示するには、次のようにします。

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/[BASE_VM_NAME]"

gcloud から次のようなレスポンスが返されます。

NAME                  TYPE                         TARGET                                   HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-vm-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

compute.instances.preempted というオペレーション タイプは、インスタンスがプリエンプトされたことを示します。operations describe コマンドを使用すると、特定のプリエンプション オペレーションに関する詳細情報を取得できます。

gcloud compute operations describe \
    systemevent-xxxxxxxx

gcloud から次のようなレスポンスが返されます。

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

API


最近のシステム オペレーションのリストを取得するには、ゾーン オペレーションの URI に GET リクエストを送信します。

GET https://compute.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/operations

レスポンスには、最近のオペレーションのリストが記載されます。

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/us-central1-f/instances/example-vm",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

プリエンプション オペレーションのみを表示するようにレスポンスの内容を絞り込むには、API リクエストに operationType="compute.instances.preempted" というフィルタを追加します。特定のインスタンスのプリエンプション オペレーションを表示するには、operationType="compute.instances.preempted" AND targetLink="https://www.googleapis.com/compute/v1/projects/[PROJECT_ID]/zones/[ZONE]/instances/[VM_NAME]" のように targetLink パラメータをフィルタに追加します。

また、VM 自体の内部から VM がプリエンプトされたかどうかを確認することもできます。これは、Compute Engine のプリエンプションのためにシャットダウン スクリプトの通常のシャットダウンとは異なるシャットダウンを処理する場合に便利です。これを行うには、メタデータ サーバーで VM のデフォルトのメタデータに含まれる preempted の値を確認します。

たとえば、VM 内から curl を使用して preempted の値を取得します。

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

この値が TRUE の場合、VM は Compute Engine によってプリエンプトされており、プリエンプトされていない場合は FALSE です。

これをシャットダウン スクリプトの外部で使用する場合は、URL に ?wait_for_change=true を追加します。これにより、HTTP GET リクエストが待機中になり、メタデータが変更されて VM がプリエンプトされたときにのみ結果が返されます。

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

プリエンプション設定のテスト

VM でシミュレート メンテナンス イベントを実行して、強制的にインスタンスをプリエンプトできます。この機能を使用して、アプリによるプリエンプティブル VM の処理方法をテストします。インスタンスでメンテナンス イベントをテストする方法については、可用性ポリシーのテストをご覧ください。

VM を停止して、VM のプリエンプションをシミュレートすることもできます。メンテナンス イベントをシミュレートする代わりに、この操作を行うことで、割り当ての上限に達するのを回避できます。

おすすめの方法

以下に、プリエンプティブル VM インスタンスを最大限に活用するために役立ついくつかのおすすめの方法を紹介します。

バルク インスタンス API の使用

単一の VM を作成する代わりに、バルク インスタンス API を使用できます。

より小さいマシンの形を選ぶ

プリエンプティブル VM のリソースは、Google Cloud の余分なバックアップ容量から取得されます。多くの場合、より小さなマシンタイプ、つまり vCPU やメモリなどのリソースが少ないマシンタイプの方が容量を取得しやすくなります。より小さなカスタム マシンタイプを選択することで、プリエンプティブル VM の容量が増加する可能性がありますが、より小さな事前定義されたマシンタイプでは、さらに増加する可能性があります。たとえば、事前定義されたマシンタイプ n2-standard-32 の容量と比較して、カスタム マシンタイプ n2-custom-24-96 の容量は増加する可能性が高いですが、事前定義されたマシンタイプ n2-standard-16 の容量はさらに増加する可能性があります。

大きなプリエンプティブル VM クラスタはオフピーク時に実行する

Google Cloud データセンターの負荷は、ロケーションや時間帯によって異なりますが、一般的には夜間と週末に最も低くなります。そのため、大きなプリエンプティブル VM クラスタを実行する時間としては夜間や週末が最適です。

耐障害性と対プリエンプション性を備えたアプリケーションを設計する

時間が異なればプリエンプションのパターンが変化するという事実に備えることが重要です。たとえば、ゾーンで部分的な停止の問題が発生している場合、復旧作業の一部として移動する必要がある標準 VM 用の余地を作るため、多数のプリエンプティブル VM がプリエンプトされる可能性があります。この短い時間のプリエンプション レートは他の日とはまったく異なったものとなります。プリエンプションが常に小さなグループで実行されることを前提としている場合は、そのようなイベントへの対処ができない場合があります。VM インスタンスを停止することによってプリエンプション イベント発生中のアプリケーションの動作をテストできます。

プリエンプトされた VM の作成を再試行する

VM インスタンスがプリエンプトされた場合、標準 VM にフォールバックする前に、新しいプリエンプティブル VM の作成を 1 回または 2 回試行します。実際の要件によっては、クラスタ内で標準 VM とプリエンプティブル VM を組み合わせて適切なペースで作業が続行されるようにすると有効な場合があります。

シャットダウン スクリプトを使用する

ジョブの進行状況を保存できるシャットダウン スクリプトを使用してシャットダウンとプリエンプションの通知を管理すると、最初からやり直す代わりに停止した時点を選択できます。

次のステップ