Dataproc の Docker オプション コンポーネント

Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Docker などの追加コンポーネントをインストールできます。このページでは Docker コンポーネントについて説明します。

Dataproc コンポーネントは、各クラスタノードに Docker デーモンをインストールして、各ノードに Linux ユーザー docker と Linux グループ docker を作成し、Docker デーモンを実行します。このコンポーネントは、dockerd サービスを実行するための docker systemd サービスも作成します。Docker サービスのライフサイクルを管理するには、systemd サービスを使用する必要があります。

コンポーネントをインストールする

Dataproc クラスタの作成時にコンポーネントをインストールします。Docker コンポーネントは、Dataproc のイメージ バージョン 1.5 以降で作成されたクラスタにインストールできます。

Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。

gcloud コマンド

Docker コンポーネントを含む Dataproc クラスタを作成するには、--optional-components フラグを指定して gcloud dataproc clusters create cluster-name コマンドを使用します。

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

REST API

Docker コンポーネントは、clusters.create リクエストの一部として SoftwareConfig.Component を使用して Dataproc API で指定できます。

コンソール

  1. コンポーネントを有効にします。
    • Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスタの設定] パネルが選択されています。
    • [コンポーネント] セクションで次の設定を行います。
      • [オプション コンポーネント] で、クラスタにインストールする Docker や、他のオプション コンポーネントを選択します。

Docker on YARN を有効にする

YARN でカスタマイズした Docker イメージを使用するには、Docker on YARN で Spark ジョブのランタイム環境をカスタマイズするをご覧ください。

Docker のロギング

デフォルトでは、Dataproc Docker コンポーネントは gcplogs driver を設定して Cloud Logging にログを書き込みます。詳細については、ログの表示をご覧ください。

Docker レジストリ

Dataproc Docker コンポーネントでは、デフォルトの Docker レジストリに加えて Container Registry を使用するように Docker が構成されています。Docker は、Docker 認証ヘルパーを使用して Container Registry の認証を行います。

Kerberos クラスタで Docker コンポーネントを使用する

Docker のオプション コンポーネントは、Kerberos セキュリティを有効化して作成されたクラスタにインストールできます。