Sie können zusätzliche Komponenten wie Docker installieren, wenn Sie einen Dataproc-Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird die Docker-Komponente erläutert.
Die Dataproc-Komponente installiert einen Docker-Daemon auf jedem Clusterknoten und erstellt einen Linux-Nutzer „docker“ sowie eine Linux-Gruppe „docker“ auf jedem Knoten, um den Docker-Daemon auszuführen. Diese Komponente erstellt auch einen „Docker“-Dienst systemd, um den Dienst dockerd auszuführen. Verwenden Sie den Dienst systemd, um den Lebenszyklus des Docker-Dienstes zu verwalten.
Komponente installieren
Installieren Sie die Komponente, wenn Sie einen Dataproc-Cluster erstellen. Die Docker-Komponente kann auf Clustern installiert werden, die mit Dataproc -Image Version 1.5 oder höher erstellt wurden.
Informationen zu den Komponentenversionen, die im jeweiligen Dataproc-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Dataproc-Versionen.
gcloud-Befehl
Verwenden Sie zum Erstellen eines Dataproc-Clusters, der die Docker-Komponente enthält, den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Die Docker-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.
Console
- Aktivieren Sie die Komponente.
- Öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt.
- Im Bereich „Komponenten“:
- Wählen Sie unter „Optionale Komponenten“ Docker und andere optionale Komponenten aus, die auf Ihrem Cluster installiert werden sollen.
Docker unter YARN aktivieren
Weitere Informationen zur Verwendung eines benutzerdefinierten Docker-Images mit YARN finden Sie unter Spark-Job-Laufzeitumgebung mit Docker unter YARN anpassen.
Docker-Logging
Standardmäßig schreibt die Dataproc-Docker-Komponente Logs durch in Cloud Logging durch Festlegen von gcplogs driver. Weitere Informationen finden Sie unter Logs ansehen.
Docker-Registry
Die Dataproc-Docker-Komponente konfiguriert Docker zur Verwendung von Container Registry zusätzlich zu den Standard-Docker-Registries. Docker verwendet zur Authentifizierung bei Container Registry den Docker Credential Helper.
Docker-Komponente auf einem Kerberos-Cluster verwenden
Die optionale Docker-Komponente kann auf einem Cluster installiert werden, für den Kerberos-Sicherheit aktiviert ist.