Dataproc-Versionsverwaltung

Dataproc verwendet Images, um nützliche Google Cloud Platform-Connectors sowie Apache Spark- und Apache Hadoop-Komponenten zu einem Paket zusammenzufassen, das in einem Dataproc-Cluster bereitgestellt werden kann. Diese Images enthalten das Basis-Betriebssystem (Debian oder Ubuntu) für den Cluster sowie Kernkomponenten und optionale Komponenten, die für die Ausführung von Jobs erforderlich sind, z. B. Spark, Hadoop und Hive. Die Images werden regelmäßig mit neuen Verbesserungen und Funktionen aktualisiert. Mit der Dataproc-Versionsverwaltung können Sie beim Erstellen von Clustern Gruppen von Softwareversionen auswählen.

So funktioniert die Versionierung

Images erhalten bei ihrer Erstellung eine Image-Versionsnummer im folgenden Format:

version_major.version_minor.version_sub_minor-os_distribution

Die folgenden Betriebssystem-Distributionen werden derzeit gepflegt:

Betriebssystem-Distributionscode Betriebssystem-Distribution
debian10 Debian 10
ubuntu18 Ubuntu 18

Weitere Informationen zu zuvor unterstützten Betriebssystem-Distributionen finden Sie unter Alte Image-Versionen.

Die empfohlene Vorgehensweise besteht darin, die Image-Version major.minor für Produktionsumgebungen oder in dem Fall anzugeben, dass die Kompatibilität mit bestimmten Komponentenversionen wichtig ist. Die Sub-Minor- und Betriebssystem-Distributionen werden automatisch auf die neueste wöchentliche Version eingestellt.

Versionen auswählen

Beim Erstellen eines neuen Dataproc-Clusters wird standardmäßig die neueste verfügbare Debian-Image-Version verwendet. Sie können beim Erstellen eines Clusters eine Debian- oder Ubuntu-Image-Version auswählen. Weitere Informationen finden Sie unter Liste der Dataproc-Image-Versionen. Wenn Sie Debian-basierte Images angeben, können Sie das Suffix für den Betriebssystem-Distributionscode weglassen, indem Sie beispielsweise "1.3" angeben, um das 1.3-debian9-Image auszuwählen. Das Betriebssystemsuffix muss dagegen verwendet werden, um ein Ubuntu-basiertes Image auszuwählen, z. B. durch Angabe von "1.4-ubuntu18".

gcloud-Befehl

Wenn Sie den Befehl gcloud dataproc clusters create verwenden, können Sie mit dem Argument --image-version eine Image-Version für den neuen Cluster angeben.

Beispiel für ein Debian-Image:

gcloud dataproc clusters create cluster-name \
    --image-version=1.4 \
    --region=region

Beispiel für ein Ubuntu-Image:

gcloud dataproc clusters create cluster-name \
    --image-version=1.3-ubuntu18 \
    --region=region

Es wird empfohlen, die Sub-Minor-Version wegzulassen, damit die neueste Sub-Minor-Version verwendet wird. Bei Bedarf kann die Sub-Minor-Version jedoch angegeben werden, z. B. "1.2.67".

Sie können Ihre aktuelle Version mit dem gcloud-Befehlszeilentool prüfen.

gcloud dataproc clusters describe cluster-name \
    --region=region

REST API

Sie können das imageVersion-Feld SoftwareConfig als Teil einer cluster.create-API-Anfrage angeben.

Beispiel

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "1.3"
    }
  }
}
  

Console

Öffnen Sie die Dataproc-Seite Cluster erstellen. Der Bereich „Cluster einrichten“ ist ausgewählt. Das Feld „Image-Typ und -Version“ im Abschnitt „Versionsverwaltung“ enthält das Image, das beim Erstellen des Clusters verwendet wird. Das Releasedatum des Image wird ebenfalls angezeigt. Anfänglich wird das Standard-Image, die neueste verfügbare Debian-Version, angezeigt. Klicken Sie auf ÄNDERN, um eine Liste der verfügbaren Bilder aufzurufen. Sie können ein Standard-Image oder ein benutzerdefiniertes Image für Ihren Cluster auswählen.

Wann neue Versionen erstellt werden

Neue Hauptversionen werden regelmäßig erstellt, um mindestens eine der folgenden Komponenten einzubeziehen:

  • Hauptversionen für:
    • Spark, Hadoop und andere Big Data-Komponenten
    • Google Cloud-Connectors
  • Größere Änderungen oder Aktualisierungen an der Dataproc-Funktionalität

Neue Nebenversionen werden regelmäßig erstellt, um mindestens eine der folgenden Komponenten einzubeziehen:

  • Nebenversionen und Aktualisierungen für:
    • Spark, Hadoop und andere Big Data-Komponenten
    • Google Cloud-Connectors
  • Geringfügige Änderungen oder Aktualisierungen an der Dataproc-Funktionalität

Wenn eine Nebenversion neu erstellt wird, wird deren Debian-Image zum Standard der Hauptversion und stellt den neuesten Release der Hauptversion dar.

Neue Sub-Minor-Versionen werden regelmäßig erstellt, um eines oder mehrere der folgenden Elemente einzubinden:

  • Patches oder Korrekturen für eine Komponente im Image

Unterstützung für Image-Version und Dataproc

Haupt- und Nebenversionen werden nach ihrer Veröffentlichung für einen bestimmten Zeitraum unterstützt. In diesem Zeitraum haben Cluster, die Image-Versionen verwenden, Anspruch auf Support. Nachdem das Support-Fenster geschlossen wurde, sind Cluster, die die Image-Version verwenden, nicht mehr supportberechtigt.

Monate nach der Erstveröffentlichung der Image-Version Können Cluster mit dieser Image-Version erstellt werden? Sind Cluster, die diese Image-Version verwenden, supportberechtigt?
0 bis 12 Ja Ja
12 bis 24 Ja Nein
24+ Nein Nein

Sub-Minor-Versionen haben keine garantierten Laufzeiten und keinen garantierten Anspruch auf Support.

Alte Image-Versionen

Zuvor unterstützte Betriebssystem-Distributionen

Die folgenden Betriebssystem-Distributionen wurden zuvor unterstützt:

Betriebssystem-Distributionscode Betriebssystem-Distribution Letzter Patch (Ende des Supports)
debian9 Debian 9 10. Juli 2020
deb8 Debian 8 26. Oktober 2018

Image-Versionen ohne explizite Betriebssystem-Distribution

Vor dem 16. August 2018 wurden Image-Versionen mit Debian 8 erstellt und der Betriebssystem-Distributionscode wurde weggelassen. Sie werden in folgendem Format angegeben:

version_major.version_minor.version_sub_minor

0.1 und 0.2

Image-Versionen, die vor der allgemeinen Verfügbarkeit von Cloud Dataproc Version 1.0 als Alpha- oder Betaversionen veröffentlicht wurden, unterliegen nicht den Supportrichtlinien von Cloud Dataproc.

Wichtige Hinweise zu Versionen