Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Docker などの追加コンポーネントをインストールできます。このページでは Docker コンポーネントについて説明します。
Dataproc コンポーネントは、各クラスタノードに Docker デーモンをインストールして各ノードに Linux ユーザー「docker」と Linux グループ「docker」を作成し、Docker デーモンを実行します。このコンポーネントは、dockerd
サービスを実行するための「docker」systemd
サービスも作成します。Docker サービスのライフサイクルを管理するには、systemd
サービスを使用する必要があります。
コンポーネントをインストールする
Dataproc クラスタの作成時にコンポーネントをインストールします。 Docker コンポーネントは、Dataproc のイメージ バージョン 1.5 以降で作成されたクラスタにインストールできます。
Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。
gcloud コマンド
Docker コンポーネントを含む Dataproc クラスタを作成するには、--optional-components
フラグを指定した gcloud dataproc clusters create cluster-name コマンドを使用します。
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Dataproc API を使用して Docker コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。
Console
- コンポーネントを有効にします。
- Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。
- [コンポーネント] セクションで次の設定を行います。
- [オプション コンポーネント] で、クラスタにインストールする Docker やその他のオプション コンポーネントを選択します。
Docker on YARN を有効にする
YARN でカスタマイズした Docker イメージを使用するには、Docker on YARN で Spark ジョブのランタイム環境をカスタマイズするをご覧ください。
Docker のロギング
デフォルトでは、Dataproc Docker コンポーネントは gcplogs driver
を設定して Cloud Logging にログを書き込みます。詳細については、ログの表示をご覧ください。
Docker レジストリ
Dataproc Docker コンポーネントでは、デフォルトの Docker レジストリに加えて Container Registry を使用するように Docker が構成されています。Docker は、Docker 認証ヘルパーを使用して Container Registry の認証を行います。
Kerberos クラスタで Docker コンポーネントを使用する
Docker のオプション コンポーネントは、Kerberos セキュリティを有効化して作成されたクラスタにインストールできます。