Aufgabe „Dataflow – Job erstellen“

Mit der Aufgabe Dataflow – Job erstellen können Sie einen Job in Cloud Dataflow erstellen, um eine Datenpipeline auszuführen, die mit einem der Apache Beam SDKs erstellt wurde.

Cloud Dataflow ist ein vollständig verwalteter Google Cloud-Dienst zum Ausführen von Stream- und Batch-Datenverarbeitungspipelines.

Hinweis

Führen Sie folgende Aufgaben in Ihrem Google Cloud-Projekt aus, bevor Sie die Aufgabe Dataflow – Job erstellen konfigurieren:

  1. Aktivieren Sie die Dataflow API (dataflow.googleapis.com).

    Aktivieren Sie die Dataflow API.

  2. Authentifizierungsprofil erstellen. Apigee Integration verwendet ein Authentifizierungsprofil, um eine Verbindung zu einem Authentifizierungsendpunkt für die Aufgabe Dataflow – Job erstellen herzustellen.

    Informationen zum Zuweisen zusätzlicher Rollen oder Berechtigungen für ein Dienstkonto finden Sie unter Zugriff auf Ressourcen erteilen, ändern und entziehen.

Dataflow konfigurieren – Aufgabe „Job erstellen“

  1. Wählen Sie in der Apigee-Benutzeroberfläche Ihre Apigee-Organisation aus.
  2. Klicken Sie auf Entwickeln > Integrationen.
  3. Wählen Sie eine vorhandene Integration aus oder erstellen Sie eine neue Integration, indem Sie auf Integration erstellen klicken.

    Wenn Sie eine neue Integration erstellen, gehen Sie so vor:

    1. Geben Sie im Dialogfeld Integration erstellen einen Namen und eine Beschreibung ein.
    2. Wählen Sie eine Region für die Integration aus der Liste der unterstützten Regionen aus.
    3. Klicken Sie auf Erstellen.

    Dadurch wird die Integration auf der Seite Integrationsdesigner geöffnet.

  4. Klicken Sie in der Navigationsleiste Integrationsdesigner auf + Aufgabe/Trigger hinzufügen > Aufgaben, um die Liste der verfügbaren Aufgaben aufzurufen.
  5. Klicken Sie auf das Element Dataflow – Job erstellen und platzieren Sie es im Integrationsdesigner.
  6. Klicken Sie im Designer auf das Element Dataflow – Job erstellen, um den Konfigurationsbereich der Aufgabe Dataflow – Job erstellen aufzurufen.
  7. Rufen Sie die Authentifizierung auf und wählen Sie ein vorhandenes Authentifizierungsprofil aus, das Sie verwenden möchten.

    Optional. Wenn Sie vor der Konfiguration der Aufgabe kein Authentifizierungsprofil erstellt haben, klicken Sie auf + Neues Authentifizierungsprofil und folgen Sie der Anleitung unter Neues Authentifizierungsprofil erstellen.

  8. Wechseln Sie zu Aufgabeneingabe und konfigurieren Sie die angezeigten Eingabefelder mit der folgenden Tabelle Aufgabeneingabeparameter.

    Änderungen an den Eingabefeldern werden automatisch gespeichert.

Aufgabeneingabeparameter

In der folgenden Tabelle werden die Eingabeparameter der Aufgabe Dataflow – Job erstellen beschrieben:

Attribut Datentyp Beschreibung
Region String Cloud Dataflow-Speicherort für den Job.
ProjectsId String Ihre Google Cloud-Projekt-ID.
Standort String Der regionale Endpunkt, der diesen Job enthält.
Anfrage JSON Siehe JSON-Struktur von Anfragen.

Aufgabenausgabe

Die Aufgabe Dataflow – Job erstellen gibt die neu erstellte Instanz des Jobs zurück.

Fehlerbehebungsstrategie

Eine Strategie zur Fehlerbehandlung für eine Aufgabe legt die Aktion fest, die ausgeführt werden soll, wenn die Aufgabe aufgrund eines temporären Fehlers fehlschlägt. Informationen zur Verwendung einer Fehlerbehandlungsstrategie und zu den verschiedenen Arten von Fehlerbehandlungsstrategien finden Sie unter Strategien zur Fehlerbehebung.

Nächste Schritte

  1. Edges und Edge-Bedingungen hinzufügen
  2. Integration testen und veröffentlichen
  3. Trigger konfigurieren
  4. Aufgabe „Datenabgleich“ hinzufügen
  5. Alle Aufgaben für Google Cloud-Dienste ansehen