クラスタプロパティ

Apache Hadoop YARN、HDFS、Spark、関連プロパティ

Dataproc クラスタにインストールされるオープンソースコンポーネントには、多くの構成ファイルが含まれます。たとえば、Apache Spark と Apache Hadoop には XML と書式なしテキストの構成ファイルがいくつか含まれています。gcloud dataproc clusters create コマンドの ‑‑properties フラグを使用すると、クラスタの作成時に、多くの一般的な構成ファイルを変更できます。

書式設定

gcloud dataproc clusters create --properties フラグには、次の文字列形式を指定できます。

file_prefix1:property1=value1,file_prefix2:property2=value2,...

file_prefix は、次の表に示す定義済みの構成ファイルにマッピングされ、property はファイル内のプロパティにマッピングされます。
複数のクラスタプロパティを区切るために使用されるデフォルトの区切り文字はカンマ（,）です。ただし、プロパティ値にカンマが含まれている場合は、プロパティリストの先頭に区切り文字「^delimiter^」を指定して区切り文字を変更する必要があります（gcloud トピックのエスケープをご覧ください）。
- 「#」区切り文字の使用例
```
--properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
```

例

gcloud コマンド

spark-defaults.conf ファイルの spark.master 設定を変更するには、次の gcloud dataproc clusters create --properties フラグを追加します。

--properties 'spark:spark.master=spark://example.com'

1 つ以上の構成ファイルで複数のプロパティを一度に変更する場合は、区切り文字としてカンマを使用します。各プロパティは完全な file_prefix:property=value 形式で指定する必要があります。たとえば、spark-defaults.conf ファイルの spark.master 設定と hdfs-site.xml ファイルの dfs.hosts 設定を変更するには、クラスタの作成時に次の --properties フラグを使用します。

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

REST API

spark.executor.memory を 10g に設定するには、clusters.create リクエストの SoftwareConfig セクションに次の properties 設定を挿入します。

"properties": {
  "spark:spark.executor.memory": "10g"
}

Dataproc API クラスタの REST リクエストの JSON 本文を簡単に調べて作成するには、--log-http フラグを使用して同等の gcloud コマンドを開始します。次に示すのは、gcloud dataproc clusters create コマンドのサンプルです。このコマンドは、クラスタプロパティを --properties spark:spark.executor.memory=10g フラグを使用して設定します。 stdout ログは、この結果生成される REST リクエストの本文を示します（properties スニペットを以下に示します）。

gcloud dataproc clusters create my-cluster \
    --region=region \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

出力:

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

コマンドを有効にしたくない場合は、出力に JSON 本文が表示された後にコマンドをキャンセルしてください。

Console

spark-defaults.conf ファイルの spark.master 設定を変更するには:

Cloud Console で、Dataproc の [クラスタの作成] ページを開きます。[クラスタのカスタマイズ] パネルをクリックし、[クラスタのプロパティ] セクションまでスクロールします。
[+ プロパティを追加] をクリックします。 [プレフィックス] リストで [spark] を選択し、[キー] フィールドに「spark.master」と入力し、[値] フィールドに設定を追加します。