Dataproc ブートディスク

Dataproc クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、または Google Cloud Hyperdisk Balanced を選択します。

クラスタノード用の永続ブートディスクのタイプを選択する

Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。

コンソール

Google Cloud コンソールの Dataproc の [クラスタの作成] ページでクラスタを作成し、[ノードの構成] パネルからマネージャー(マスター)、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、バランスの永続ディスク、または Hyperdisk Balanced ブートディスクを選択できます。

gcloud CLI

--master-boot-disk-type--worker-boot-disk-type--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用してクラスタを作成し、マネージャー(マスター)、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に標準、SSD、バランスの永続ブートディスク、または Hyperdisk バランスを選択できます。

Dataproc のクラスタ マネージャー(マスター)とプライマリ ワーカーノードのデフォルト永続ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプとなります。

--master-boot-disk-type--worker-boot-disk-type--secondary-worker-boot-disk-type フラグに pd-standardpd-ssdpd-balancedhyperdisk-balanced の値を渡すことができます。有効なディスクタイプの値は、どのクラスタノードタイプにも設定できます。

例:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

REST API

Dataproc のクラスタ マネージャー(マスター)とプライマリ ワーカーノードのデフォルト ブートディスクのタイプは pd-standard です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは hyperdisk-balanced です。セカンダリ ワーカーノードのデフォルトのブートディスク タイプは、プライマリ ワーカーノードのブートディスク タイプとなります。

masterConfigworkerConfigsecondaryWorkerConfigInstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standardpd-ssdpd-balancedhyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。有効なブートディスク タイプ値は、任意のクラスタノード タイプに設定できます。

Hyperdisk の設定

Hyperdisk Balanced ボリュームを Dataproc クラスタノードのブートディスクとして使用してクラスタを作成する場合は、プロビジョニングされた IOPS とスループットを設定できます。

コンソール

Google Cloud コンソールの Dataproc の [クラスタの作成] ページの [ノードの構成] パネルで、マネージャー(マスター)とプライマリ ワーカーのクラスタノードのデフォルトのプライマリ ブートディスク タイプとして Hyperdisk Balanced が選択されています。IOPS とスループットを設定するか、デフォルト値を使用できます。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops--worker-boot-disk-provisioned-iops--master-boot-disk-provisioned-throughput--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。

例:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マネージャー(マスター)とワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。