Dataproc ブートディスク

Dataproc クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、または Google Cloud Hyperdisk Balanced を選択します。

クラスタノード用の永続ブートディスクのタイプを選択する

Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。

コンソール

Google Cloud コンソールの Dataproc の [クラスタの作成] ページでクラスタを作成し、[ノードの構成] パネルからマネージャー（マスター）、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、バランスの永続ディスク、または Hyperdisk Balanced ブートディスクを選択できます。

gcloud CLI

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用してクラスタを作成し、マネージャー（マスター）、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、バランスの永続ブートディスク、または Hyperdisk バランスを選択できます。

Dataproc のクラスタ マネージャー（マスター）とプライマリ ワーカーノードのデフォルト永続ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプとなります。

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグに pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を渡すことができます。有効なディスクタイプの値は、どのクラスタノードタイプにも設定できます。

例: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

REST API

Dataproc のクラスタ マネージャー（マスター）とプライマリ ワーカーノードのデフォルト ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。セカンダリ ワーカーノードのデフォルトのブートディスク タイプは、プライマリ ワーカーノードのブートディスク タイプとなります。

masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。有効なブートディスク タイプ値は、任意のクラスタノード タイプに設定できます。

Hyperdisk の設定

Hyperdisk Balanced ボリュームを Dataproc クラスタノードのブートディスクとして使用してクラスタを作成する場合は、プロビジョニングされた IOPS とスループットを設定できます。

コンソール

Google Cloud コンソールの Dataproc の [クラスタの作成] ページの [ノードの構成] パネルで、マネージャー（マスター）とプライマリ ワーカーのクラスタノードのデフォルトのプライマリ ブートディスク タイプとして Hyperdisk Balanced が選択されています。IOPS とスループットを設定するか、デフォルト値を使用できます。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。

例: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マネージャー（マスター）とワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。