Dataproc 永続ブートディスク

Dataproc クラスタノードのブートディスクとして、標準、SSD、バランスの永続ディスク、または Hyperdisk Balanced を選択します。

クラスタノード用の永続ブートディスクのタイプを選択する

Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。

Console

Google Cloud コンソールの Dataproc の [クラスタの作成] ページでクラスタを作成し、[ノードの構成] パネルからマスター、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、またはバランスの永続ブートディスクを選択できます。

gcloud CLI

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用してクラスタを作成し、マスター、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、バランスの永続ブートディスク、または Hyperdisk バランスを選択できます。

Dataproc のクラスタ マスターとプライマリ ワーカーノードのデフォルト永続ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプとなります。

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグには、pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を渡すことができます。有効なディスクタイプの値は、任意のクラスタノード タイプに設定できます。

例: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...
p

REST API

Dataproc のクラスタ マスターとプライマリ ワーカーノードのデフォルト ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。セカンダリ ワーカーノードのデフォルトのブートディスク タイプは、プライマリ ワーカーノードのブートディスク タイプです。

masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standard、pd-ssd、pd-balanced、または hyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。有効なブートディスク タイプ値は、任意のクラスタノード タイプに設定できます。

Hyperdisk の設定

クラスタを作成するときに、Dataproc クラスタノードのブートディスクとして hyperdisk-balanced を選択した場合は、gcloud CLI または Dataproc API を使用して、プロビジョニングされた IOPS とプロビジョニングされたスループットの設定を構成できます。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、Hyperdisk バランスのブートディスクを使用するクラスタノードのプロビジョニングされた IOPS とプロビジョニングされたスループットを設定します。

例: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

マスター構成とワーカー構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して、Hyperdisk ブートディスクを使用するクラスタノードのプロビジョニングされた IOPS とプロビジョニングされたスループットを設定します。