ブートディスクを補うために、クラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードにローカル ソリッド ステート ドライブ(ローカル SSD)をアタッチできます。ローカル SSD を使用すると、永続ディスクよりも読み取りと書き込みの処理時間を短縮できます。各ローカル SSD のサイズは 375 GB に固定されていますが、複数のローカル SSD を接続して SSD ストレージを増やすことができます(ローカル SSD の追加を参照)。それぞれのローカル SSD は、Dataproc クラスタノード内の /mnt/<id>
にマウントされます。ローカル SSD がクラスタに提供されると、HDFS とスクラッチ データ(シャッフル出力など)の両方で、ブート永続ディスクの代わりにローカル SSD が使用されます。
ローカル SSD の使用
gcloud コマンド
ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ(プリエンプティブル)ワーカーノードに接続するには、それぞれ --num-master-local-ssds
、--num-workers-local-ssds
、--num-secondary-worker-local-ssds
フラグを指定した gcloud dataproc clusters create コマンドを使用します。
例:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ ... other args ...
REST API
ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ(プリエンプティブル)ワーカーノードに接続するには、cluster.create API リクエストで masterConfig
、workerConfig
、secondaryWorkerConfig
InstanceGroupConfig の numLocalSsds フィールドを設定します。
Console
Google Cloud Console で Dataproc の [クラスタの作成] ページの [ノードの構成] パネルでクラスタを作成し、マスター、プライマリ、セカンダリ ワーカーノードにローカル SSD を接続します。