Dataproc Serverless für interaktive Spark-Sitzungen und Sitzungsvorlagen erstellen

Auf dieser Seite erfahren Sie, wie Sie interaktive Sitzungen und Sitzungsvorlagen für Dataproc Serverless erstellen. Anhand einer Sitzungsvorlage können Sie mehrere interaktive Sitzungen basierend auf der Konfiguration der Sitzungsvorlage erstellen.

Dataproc Serverless-Sitzung erstellen

Sie können eine interaktive Dataproc Serverless-Sitzung mit der Google Cloud Console, der Google Cloud CLI oder der Dataproc API erstellen.

Console

So erstellen Sie eine Dataproc Serverless-Sitzung mit der Google Cloud Console:

  1. Rufen Sie in der Google Cloud Console die Seite Interaktive Sitzungen auf.

    Zu interaktiven Sitzungen

    1. Klicken Sie auf Erstellen.

  2. Geben Sie auf der Seite Interaktive Sitzung hinzufügen (Vorabversion) die Konfigurationseinstellungen für die Sitzung ein oder bestätigen Sie sie. Wichtige Hinweise:

    • Name der interaktiven Sitzung:Erforderlich. Übernehmen Sie den Standardnamen oder geben Sie einen Sitzungsnamen an.
    • Region: Erforderlich. Akzeptieren Sie die Standardregion oder geben Sie eine verfügbare Region für die Sitzung an.
    • Laufzeitkonfiguration:Optional. Die auswählbaren Sitzungslaufzeiten entsprechen den verfügbaren Laufzeitversionen von Dataproc Serverless für Spark. Sie können ein benutzerdefiniertes Container-Image für die Sitzung angeben.
    • Properties (Eigenschaften): Optional. Klicken Sie für jede Property, die Sie für die Sitzung festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Properties.
    • Spark-UI (Vorabversion): Optional. Mit der Spark-Benutzeroberfläche können Sie Details zur Sitzungsausführung erfassen und überwachen.
    • Dienstkonto:Optional. Das Dienstkonto, das für die Sitzung verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
    • Netzwerkkonfiguration:Erforderlich. Für das Subnetz der Sitzung muss der private Google-Zugriff (PGA) aktiviert sein und die Subnetzkommunikation muss auf allen Ports zulässig sein. In diesem Abschnitt sind nur Netzwerke mit Subnetzwerken in der angegebenen Sitzungsregion aufgeführt, für die PGA aktiviert ist. Weitere Informationen finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

  3. Klicken Sie auf Senden, um die Sitzung zu erstellen.

gcloud

Mit der Taste gcloud beta dataproc sessions create command SESSION_NAME können Sie eine interaktive Dataproc Serverless-Sitzung erstellen.

Hinweise zu Befehls-Flags:

REST

Sie können die Dataproc API sessions.create verwenden, um eine interaktive Dataproc Serverless-Sitzung zu erstellen.

Hinweise:

Dataproc Serverless-Sitzungsvorlage erstellen

In einer Dataproc Serverless-Sitzungsvorlage werden die Konfigurationseinstellungen für das Erstellen einer oder mehrerer interaktiver Dataproc Serverless-Sitzungen definiert.

Sie können eine Dataproc-Serverless-Sitzungsvorlage mit der Google Cloud Console, der gcloud CLI oder der Dataproc API erstellen.

Console

So erstellen Sie mit der Google Cloud Console eine Dataproc Serverless-Sitzungsvorlage:

  1. Rufen Sie in der Google Cloud Console die Seite Vorlagen für interaktive Sitzungen auf.

    Vorlagen für interaktive Sitzungen aufrufen

    1. Klicken Sie auf Erstellen.

  2. Geben Sie auf der Seite Sitzungsvorlage erstellen die Konfigurationseinstellungen für die Vorlage ein oder bestätigen Sie sie. Wichtige Hinweise:

    • Vorlagenlaufzeit-ID:Erforderlich. Übernehmen Sie die Standard-ID (den Standardnamen) oder geben Sie einen Namen für die Vorlagenlaufzeit an.
    • Region: Erforderlich. Akzeptieren Sie die Standardregion oder geben Sie eine verfügbare Region für Vorlagensitzungen an.
    • Laufzeitversion:Optional. Die auswählbaren Sitzungslaufzeiten entsprechen den Laufzeitversionen von Dataproc Serverless für Spark.
    • Template configuration type (Vorlagenkonfigurationstyp): Erforderlich. Wählen Sie einen Typ aus. Wenn Sie Jupyter auswählen, geben Sie den Anzeigenamen an und wählen Sie den Jupyter-Kerneltyp aus. Weitere Informationen finden Sie unter Jupyter-Notebook in Dataproc Serverless starten.
    • Dienstkonto:Optional. Das Dienstkonto, das zum Ausführen von Sitzungen mit Vorlagen verwendet werden soll. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
    • Benutzerdefiniertes Container-Image:Optional. Ein benutzerdefiniertes Container-Image, das für Ihre Vorlagensitzungen verwendet werden soll.
    • Properties (Eigenschaften): Optional. Klicken Sie für jede Property, die Sie für die Sitzungen mit Vorlagen festlegen möchten, auf Element hinzufügen. Weitere Informationen finden Sie unter Spark-Properties.
    • Netzwerkkonfiguration: * Erforderlich. Für das Subnetz der Sitzung muss der private Google-Zugriff (PGA) aktiviert sein und die Subnetzkommunikation muss auf allen Ports zulässig sein. In diesem Abschnitt sind nur Netzwerke mit Subnetzwerken in der Sitzungsregion Region aufgeführt, für die PGA aktiviert ist. Weitere Informationen finden Sie unter Dataproc Serverless for Spark-Netzwerkkonfiguration.

  3. Klicken Sie auf Senden, um die Sitzungsvorlage zu erstellen.

gcloud

Sie können mit der gcloud CLI keine serverlose Dataproc-Sitzungsvorlage direkt erstellen. Sie können jedoch den Befehl gcloud beta dataproc session-templates import verwenden, um eine vorhandene Sitzungsvorlage zu importieren. Sie können die importierte Vorlage bearbeiten und dann mit dem Befehl gcloud beta dataproc session-templates export exportieren.

REST

Mit der Dataproc API sessionTemplates.create können Sie eine Dataproc Serverless-Sitzungsvorlage erstellen.

Hinweise: