Benutzerdefiniertes Dataproc-Image erstellen

Dataproc-Cluster können mit einem benutzerdefinierten Image bereitgestellt werden, das die vorinstallierten Pakete eines Nutzers enthält. In den folgenden Schritten wird erläutert, wie Sie ein benutzerdefiniertes Image erstellen und in einem Dataproc-Cluster installieren.

Gehostete benutzerdefinierte Images verwenden: Wenn Sie ein benutzerdefiniertes Image verwenden, das in einem anderen Projekt gehostet wird, muss das Dienstkonto des Dataproc-Dienst-Agents in Ihrem Projekt die Berechtigung compute.images.get für das Image im Hostprojekt haben. Dazu weisen Sie dem Dataproc-Dienst-Agent-Dienstkonto Ihres Projekts die Rolle roles/compute.imageUser für das gehostete Image zu (siehe Benutzerdefinierte Images innerhalb einer Organisation freigeben).

Hinweise:

Die Anleitung in diesem Dokument gilt nur für Linux-Betriebssysteme. Andere Betriebssysteme werden möglicherweise in zukünftigen Dataproc-Releases unterstützt.
Benutzerdefinierte Image-Builds müssen auf einem Dataproc-Basis-Image basieren (Basis-Images von Debian, Rocky Linux und Ubuntu werden unterstützt).
Benutzerdefinierte Image-Beschränkung: Neue Images, die in den Dataproc-Versionshinweisen angekündigt werden, können erst eine Woche nach ihrer Ankündigung als Basis für benutzerdefinierte Images verwendet werden.
Optionale Komponenten verwenden: Standardmäßig übernehmen benutzerdefinierte Images alle optionalen Dataproc-Komponenten (Betriebssystem-Pakete und -Konfigurationen) aus ihren Basis-Images. Sie können die standardmäßigen Betriebssystempakete und -konfigurationen anpassen. Sie müssen jedoch beim Erstellen des Clusters den optionalen Komponentennamen angeben (z. B. durch Ausführen des gcloud dataproc clusters create --optional-components=COMPONENT_NAME-Befehls: SieheOptionale Komponenten hinzufügen). Wenn der Komponentenname beim Erstellen des Clusters nicht angegeben wird, wird die Komponente gelöscht (einschließlich benutzerdefinierter Betriebssystempakete und -konfigurationen).
Damit Cluster die neuesten Dienstaktualisierungen und Fehlerkorrekturen erhalten, ist die Erstellung von Clustern mit einem benutzerdefinierten Image auf 365 Tage ab dem Erstellungsdatum des Images beschränkt (vorhandene Cluster mit benutzerdefinierten Images können auf unbestimmte Zeit ausgeführt werden). Wenn Sie Cluster mit einem benutzerdefinierten Image über einen Zeitraum von mehr als 365 Tagen erstellen möchten, ist möglicherweise eine Automatisierung erforderlich. Weitere Informationen finden Sie unter Cluster mit abgelaufenem benutzerdefiniertem Image erstellen.

Hinweise

Projekt einrichten

Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Dataproc API, Compute Engine API, and Cloud Storage APIs aktivieren.

Aktivieren Sie die APIs

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Dataproc API, Compute Engine API, and Cloud Storage APIs aktivieren.

Aktivieren Sie die APIs

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Installieren Sie Python 3.11 oder höher.
Erstellen Sie ein Anpassungsskript zur Installation benutzerdefinierter Pakete bzw. Aktualisierungskonfigurationen. Beispiel:
```
  #! /usr/bin/bash
  apt-get -y update
  apt-get install python-dev
  apt-get install python-pip
  pip install numpy
  
```

Cloud Storage-Bucket im Projekt erstellen

Wechseln Sie in der Google Cloud Console zur Cloud Storage-Seite Buckets.
Zur Seite „Buckets“
Klicken Sie auf Bucket erstellen.
Geben Sie auf der Seite Bucket erstellen die Bucket-Informationen ein. Klicken Sie auf Weiter, um mit dem nächsten Schritt fortzufahren.
- Geben Sie unter Bucket benennen einen Namen ein, der den Anforderungen für Bucket-Namen entspricht.
- Gehen Sie unter Speicherort für Daten auswählen folgendermaßen vor:
  - Wählen Sie eine Option für Standorttyp aus.
  - Wählen Sie eine Standort-Option aus.
- Wählen Sie unter Standardspeicherklasse für Ihre Daten auswählen eine Speicherklasse aus.
- Wählen Sie unter Zugriffssteuerung für Objekte auswählen eine Option für die Zugriffssteuerung aus.
- Geben Sie für Erweiterte Einstellungen (optional) eine Verschlüsselungsmethode, eine Aufbewahrungsrichtlinie oder Bucket-Labels an.
Klicken Sie auf Erstellen.

Benutzerdefiniertes Bild generieren

Zum Erstellen eines benutzerdefinierten Dataproc-Images verwenden Sie das Python-Programm generate_custom_image.py.

Funktionsweise

Das generate_custom_image.py-Programm startet eine temporäre Compute Engine-VM-Instanz mit dem angegebenen Dataproc-Basis-Image und führt dann das Anpassungsskript in der VM-Instanz aus, um benutzerdefinierte Pakete zu installieren und/oder Konfigurationen zu aktualisieren. Nach Abschluss des Anpassungsskripts beendet es die VM-Instanz und erstellt ein benutzerdefiniertes Dataproc-Image vom Laufwerk der VM-Instanz. Die temporäre VM wird gelöscht, nachdem das benutzerdefinierte Image erstellt wurde. Das benutzerdefinierte Image wird gespeichert und kann zum Erstellen von Dataproc-Clustern verwendet werden.

Das Programm generate_custom_image.py verwendet die gcloud CLI, um mehrstufige Workflows in Compute Engine auszuführen.

Code ausführen

Verzweigen oder klonen Sie die Dateien auf GitHub unter Benutzerdefinierte Dataproc-Images. Führen Sie dann das Programm generate_custom_image.py aus, damit Dataproc Ihr benutzerdefiniertes Image generiert und speichert.

python3 generate_custom_image.py \
    --image-name=CUSTOM_IMAGE_NAME \
    [--family=CUSTOM_IMAGE_FAMILY_NAME] \
    --dataproc-version=IMAGE_VERSION \
    --customization-script=LOCAL_PATH \
    --zone=ZONE \
    --gcs-bucket=gs://BUCKET_NAME \
    [--no-smoke-test]

Erforderliche Flags

--image-name: der Ausgabename für Ihr benutzerdefiniertes Image. Hinweis: Der Image-Name muss dem regulären Ausdruck [a-z](?:[-a-z0-9]{0,61}[a-z0-9]) entsprechen, z. B. keine Unterstriche oder Leerzeichen mit weniger als 64 Zeichen.
--dataproc-version: Die Dataproc-Image-Version, die Sie in Ihrem benutzerdefinierten Image verwenden möchten. Geben Sie die Version im Format „x.y.z-os“ oder „x.y.z-rc-os“ an, z. B. „2.0.69-debian10“.
Benutzerdefinierte Image-Beschränkung: Neue Images, die in den Dataproc-Versionshinweisen angekündigt werden, können erst eine Woche nach ihrer Ankündigung als Basis für benutzerdefinierte Images verwendet werden.
--customization-script: ein lokaler Pfad zu Ihrem Skript, den das Tool ausführen soll, um Ihre benutzerdefinierten Pakete zu installieren oder andere Anpassungen vorzunehmen. Beachten Sie, dass dieses Skript nur auf der temporären VM ausgeführt wird, die zum Erstellen des benutzerdefinierten Images verwendet wird. Für alle anderen Initialisierungsaktionen, die Sie beim Erstellen eines Clusters mit Ihrem benutzerdefinierten Image ausführen möchten, können Sie ein anderes Initialisierungsskript angeben.
--zone: Die Compute Engine-Zone, in der generate_custom_image.py eine temporäre VM zum Erstellen Ihres benutzerdefinierten Image erstellt.
--gcs-bucket: Ein URI im Format gs://BUCKET_NAME, der auf den Cloud Storage-Bucket verweist, den Sie unter Cloud Storage-Bucket in Ihrem Projekt erstellen erstellt haben. generate_custom_image.py schreibt Logdateien in diesen Bucket.

Optionale Flags

--family: Die Image-Familie für das Image. Image-Familien werden verwendet, um ähnliche Images zu gruppieren, und können beim Erstellen eines Clusters als Zeiger auf das neueste Image in der Familie verwendet werden. Beispiel: "custom-1-5-debian10".
--no-smoke-test: Dies ist ein optionales Flag, das das Testen des neu erstellten benutzerdefinierten Images deaktiviert. Der Smoke-Test erstellt einen Dataproc-Testcluster mit dem neu erstellten Image, führt einen kleinen Job aus und löscht den Cluster am Ende des Tests. Der Smoke-Test wird standardmäßig ausgeführt, um zu prüfen, ob das neu erstellte benutzerdefinierte Image einen funktionierenden Dataproc-Cluster erstellen kann. Das Deaktivieren dieses Schritts mit dem Flag --no-smoke-test beschleunigt die Erstellung des benutzerdefinierten Image, wird jedoch nicht empfohlen.
--subnet: Das Subnetzwerk, das zum Erstellen der VM verwendet werden soll, die das benutzerdefinierte Dataproc-Image erstellt. Wenn Ihr Projekt Teil einer freigegebenen VPC ist, müssen Sie die vollständige Subnetzwerk-URL im folgenden Format angeben: projects/HOST_PROJECT_ID/regions/REGION/subnetworks/SUBNET.

Eine Liste zusätzlicher optionaler Flags finden Sie auf GitHub unter Optionale Argumente.

Wenn generate_custom_image.py erfolgreich ist, wird das imageURI des benutzerdefinierten Images in der Ausgabe des Terminalfensters aufgeführt (die vollständige imageUri ist unten fett dargestellt):

...
managedCluster:
    clusterName: verify-image-20180614213641-8308a4cd
    config:
      gceClusterConfig:
        zoneUri: ZONE
      masterConfig:
        imageUri: https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

INFO:__main__:Successfully built Dataproc custom image: CUSTOM_IMAGE_NAME
INFO:__main__:

#####################################################################
  WARNING: DATAPROC CUSTOM IMAGE 'CUSTOM_IMAGE_NAME'
           WILL EXPIRE ON 2018-07-14 21:35:44.133000.
#####################################################################

Benutzerdefinierte Image-Versionslabels für fortgeschrittene Nutzer

Wenn Sie das standardmäßige Tool zur Erstellung von benutzerdefinierten Images von Dataproc verwenden, legt das Tool automatisch das erforderliche Label goog-dataproc-version für das erstellte benutzerdefinierte Image fest. Das Label spiegelt den Funktionsumfang und die Protokolle wider, die von Dataproc zur Verwaltung der Software im Image verwendet werden.

Fortgeschrittene Nutzer, die mithilfe eines eigenen Prozesses ein benutzerdefiniertes Dataproc-Image erstellen, müssen das Label manuell folgendermaßen zu ihrem benutzerdefinierten Image hinzufügen:

Extrahieren Sie das Label goog-dataproc-version aus dem Dataproc-Basis-Image, das zum Erstellen des benutzerdefinierten Images verwendet wurde.

gcloud compute images describe ${BASE_DATAPROC_IMAGE} \
    --project cloud-dataproc \
    --format="value(labels.goog-dataproc-version)"

Legen Sie das Label für das benutzerdefinierte Bild fest.

gcloud compute images add-labels IMAGE_NAME --labels=[KEY=VALUE,...]

Benutzerdefiniertes Image verwenden

Sie geben das benutzerdefinierte Image an, wenn Sie einen Dataproc-Cluster erstellen. Ein benutzerdefiniertes Image wird unter Cloud Compute-Images gespeichert und kann ab dem Erstellungsdatum 365 Tage lang zum Erstellen eines Dataproc-Clusters verwendet werden. Informationen zur Verwendung eines benutzerdefinierten Images nach 365 Tagen finden Sie unter Cluster mit abgelaufenem benutzerdefiniertem Image erstellen.

URI eines benutzerdefinierten Images

Sie übergeben den imageUri des benutzerdefinierten Images an den Cluster-Erstellungsvorgang. Es gibt drei Möglichkeiten, diesen URI anzugeben:

Vollständiger URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/`gs://`BUCKET_NAME`
Teil-URI: projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
Kurzform: CUSTOM_IMAGE_NAME

Benutzerdefinierte Images können auch über ihren Familien-URI angegeben werden, der immer das neueste Bild innerhalb der Image-Familie auswählt.

Vollständiger URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME/var>
Teil-URI: projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME

URI des benutzerdefinierten Images ermitteln

gcloud-Befehl

Führen Sie den folgenden gcloud-Befehl aus, um die Namen Ihrer benutzerdefinierten Images aufzulisten:

gcloud compute images list

Übergeben Sie den Namen Ihres benutzerdefinierten Images an den folgenden gcloud-Befehl, um den URI (selfLink) Ihres benutzerdefinierten Images aufzulisten:

gcloud compute images describe custom-image-name

...
name: CUSTOM_IMAGE_NAME
selfLink: https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

Console

Öffnen Sie in der Google Cloud Console die Seite Compute Engine → Images und klicken Sie auf den Image-Namen. Sie können eine Abfrage in das Textfeld "Filter images" (Images filtern) einfügen, um die Anzahl der angezeigten Images zu begrenzen.
Die Seite mit den Image-Details wird angezeigt. Klicken Sie auf Equivalent REST. (Entsprechende REST-Anfrage/-Antwort).
Die REST-Antwort listet zusätzliche Informationen über das Image auf, einschließlich selfLink, bei dem es sich um den Image-URI handelt.
```
{
  ...
  "name": "my-custom-image",
  "selfLink": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME",
  "sourceDisk": ...,
  ...
}
```

Cluster mit einem benutzerdefinierten Image erstellen

Sie können einen Cluster mit Master- und Worker-Knoten erstellen, die ein benutzerdefiniertes Image verwenden. Verwenden Sie dazu das gcloud-Befehlszeilentool, die Dataproc API oder die Google Cloud Console.

gcloud-Befehl

Sie können einen Dataproc-Cluster mit einem benutzerdefinierten Image mit dem Befehl dataproc clusters create und dem Flag --image erstellen. Beispiel:

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM_IMAGE_URI \
    --region=REGION \
    ... other flags ...

REST API

Sie können einen Cluster mit einem benutzerdefinierten Image erstellen. Geben Sie dazu den URI des benutzerdefinierten Images im Feld InstanceGroupConfig.imageUri im Objekt masterConfig, workerConfig und gegebenenfalls secondaryWorkerConfig an, das in einer API-Anfrage vom Typ cluster.create enthalten ist.

Beispiel:REST-Anfrage zum Erstellen eines Dataproc-Standardclusters (ein Master-Knoten, zwei Worker-Knoten) mit einem benutzerdefinierten Image.

POST /v1/projects/PROJECT_ID/regions/REGION/clusters/
{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "masterConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    },
    "workerConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    }
  }
}

Console

Rufen Sie in der Google Cloud Console die Dataproc-Seite Cluster erstellen auf. Der Bereich „Cluster einrichten“ ist ausgewählt.
Klicken Sie im Abschnitt „Versionsverwaltung“ auf ÄNDERN. Wählen Sie den Tab BENUTZERDEFINIERTES IMAGE aus, wählen Sie das benutzerdefinierte Image aus, das für Ihren Dataproc-Cluster verwendet werden soll, und klicken Sie dann auf AUSWÄHLEN.

Wenn Sie das Formular Create a cluster (Cluster erstellen) senden, werden die VMs des Clusters mit dem ausgewählten benutzerdefinierten Image bereitgestellt.

Attribute von Dataproc-Clustern mit einem benutzerdefinierten Image überschreiben

Mithilfe von benutzerdefinierten Images können Sie alle Clusterattribute überschreiben, die während der Clustererstellung festgelegt wurden. Wenn ein Nutzer einen Cluster mit Ihrem benutzerdefinierten Image erstellt, aber Clusterattribute festlegt, die Sie von Ihren benutzerdefinierten Images unterscheiden, haben Ihre Clustereinstellungen für benutzerdefinierte Images Vorrang.

So legen Sie Clusterattribute mit Ihrem benutzerdefinierten Image fest:

Erstellen Sie in dem Anpassungsskript Ihres benutzerdefinierten Images eine dataproc.custom.properties-Datei in /etc/google-dataproc und legen Sie dann die Attributwerte des Clusters in der Datei fest.
- Inhalt der dataproc.custom.properties-Beispieldatei:
```
dataproc.conscrypt.provider.enable=VALUE
dataproc.logging.stackdriver.enable=VALUE
```

Beispiel für ein Snippet zum Erstellen von Dateien zur Anpassung des Skripts, um zwei Clusterattribute zu überschreiben:

     cat <<EOF >/etc/google-dataproc/dataproc.custom.properties
     dataproc.conscrypt.provider.enable=true
     dataproc.logging.stackdriver.enable=false
     EOF

Cluster mit abgelaufenem benutzerdefiniertem Image erstellen

Benutzerdefinierte Images laufen standardmäßig 365 Tage nach dem Datum der Erstellung des Images ab. So erstellen Sie einen Cluster mit einem abgelaufenen benutzerdefinierten Image:

Versuchen Sie, einen Dataproc-Cluster mit einem abgelaufenen benutzerdefinierten Image oder einem benutzerdefinierten Image zu erstellen, das innerhalb von 10 Tagen abläuft.
```
gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --region=REGION \
    ... other flags ...
```
Die gcloud CLI gibt eine Fehlermeldung aus, die den Attributnamen des Clusters dataproc:dataproc.custom.image.expiration.token und den Tokenwert enthält.
```
dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE
```
Kopieren Sie den String mit dem Tokenwert in die Zwischenablage.

Verwenden Sie die gcloud CLI, um den Dataproc-Cluster noch einmal zu erstellen, und fügen Sie den oben kopierten Tokenwert als Clusterattribut hinzu.

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --properties=dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE \
    --region=REGION \
    ... other flags ...

Der Cluster mit dem benutzerdefinierten Image sollte nun erfolgreich erstellt werden.