Dataproc ローカル SSD

ブートディスクを補うために、クラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードにローカル ソリッド ステート ドライブ（ローカル SSD）をアタッチできます。ローカル SSD を使用すると、永続ディスクよりも読み取りと書き込みの処理時間を短縮できます。各ローカル SSD のサイズは 375 GB に固定されていますが、複数のローカル SSD を接続して SSD ストレージを増やすことができます（ローカル SSD の追加を参照）。それぞれのローカル SSD は、Dataproc クラスタノード内の /mnt/<id> にマウントされます。ローカル SSD がクラスタに提供されると、HDFS とスクラッチ データ（シャッフル出力など）の両方で、ブート永続ディスクの代わりにローカル SSD が使用されます。

ローカル SSD の使用

gcloud コマンド

ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ（プリエンプティブル）ワーカーノードに接続するには、それぞれ --num-master-local-ssds、--num-workers-local-ssds、--num-secondary-worker-local-ssds フラグを指定した gcloud dataproc clusters create コマンドを使用します。

例:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    ... other args ...

REST API

ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ（プリエンプティブル）ワーカーノードに接続するには、cluster.create API リクエストで masterConfig、workerConfig、secondaryWorkerConfig InstanceGroupConfig の numLocalSsds フィールドを設定します。

コンソール

クラスタを作成し、Google Cloud Console で Dataproc の [クラスタの作成] ページからローカル SSD をプライマリ ワーカー ノードに接続します。