Informationen zu den unterstützten Connectors für Application Integration.

Apache Kafka-Trigger

Der Apache Kafka-Trigger ist ein Trigger für Connector-Ereignisse, mit dem Sie eine Integration basierend auf den Apache Kafka-Ereignissen aufrufen können, die Sie in Ihrer Apache Kafka-Verbindung abonniert haben.

Hinweise

Wenn Sie eine neue Verbindung für den Apache Kafka-Trigger erstellen oder konfigurieren möchten, benötigen Sie die folgende IAM-Rolle (Identity and Access Management) für das Projekt:

  • Connectors-Administrator (roles/connectors.admin)

    • Informationen zum Gewähren von Rollen finden Sie unter Zugriff verwalten.

Weisen Sie dem Dienstkonto, das Sie für den Apache Kafka-Trigger verwenden möchten, die folgenden IAM-Rollen zu:

  • Aufrufer von Application Integration (roles/integrations.integrationInvoker)

    • Informationen zum Zuweisen von Rollen zu einem Dienstkonto finden Sie unter Zugriff auf Dienstkonten verwalten.

Beschränkung

Der Apache Kafka-Trigger unterliegt den folgenden Einschränkungen:

  • Unterstützt das Sicherheitsprotokoll SASL_SSL für Ereignisabos.
  • mTLS wird für Ereignisabos nicht unterstützt.

Apache Kafka-Trigger hinzufügen

Führe die folgenden Schritte aus, um deiner Integration einen Apache Kafka-Trigger hinzuzufügen:

  1. Rufen Sie in der Google Cloud Console die Seite Application Integration auf.

    Zur Seite „Application Integration“

  2. Klicken Sie im Navigationsmenü auf Integrationen.

    Die Seite Integrationsliste mit allen im Google Cloud-Projekt verfügbaren Integrationen wird angezeigt.

  3. Wähle eine vorhandene Integration aus oder klicke auf Verknüpfung erstellen, um eine neue zu erstellen.

    Wenn Sie eine neue Integration erstellen:

    1. Geben Sie im Bereich Create Integration (Integration erstellen) einen Namen und eine Beschreibung ein.
    2. Wählen Sie eine Region für die Integration aus.
    3. Wählen Sie ein Dienstkonto für die Integration aus. Sie können die Dienstkontodetails einer Integration jederzeit in der Integrationsübersicht in der Integrationssymbolleiste ändern oder aktualisieren.
    4. Klicken Sie auf Erstellen.

    Dadurch wird die Integration auf der Seite Integrationseditor geöffnet.

  4. Klicken Sie in der Navigationsleiste des Integrationseditors auf Trigger, um die Liste der verfügbaren Trigger aufzurufen.
  5. Klicken Sie auf das Apache Kafka-Triggerelement und platzieren Sie es im Integrationseditor.

    6. Zum Konfigurieren des Apache Kafka-Triggers können Sie entweder eine vorhandene Apache Kafka-Verbindung verwenden, die in Integration Connectors verfügbar ist, oder mit der Option zur Inline-Verbindungserstellung eine neue Apache Kafka-Verbindung erstellen.

Apache Kafka-Trigger mit einer vorhandenen Verbindung konfigurieren

Sie können den Apache Kafka-Trigger mithilfe einer vorhandenen Apache Kafka-Verbindung in Integration Connectors konfigurieren. Beachten Sie, dass der Apache Kafka-Trigger ein Trigger für Connector-Ereignisse ist. Daher können Sie zum Konfigurieren des Triggers nur eine Apache Kafka-Verbindung mit aktiviertem Ereignisabo verwenden.

Informationen zum Konfigurieren eines Apache Kafka-Triggers mit einer neuen Apache Kafka-Verbindung finden Sie unter Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren

Führen Sie die folgenden Schritte aus, um einen Apache Kafka-Trigger mithilfe einer vorhandenen Apache Kafka-Verbindung zu konfigurieren:

  1. Klicken Sie im Integrationseditor auf das Apache Kafka-Triggerelement, um den Bereich zur Triggerkonfiguration zu öffnen.
  2. Klicken Sie auf Trigger konfigurieren.
  3. Geben Sie auf der Seite Editor für Connector-Ereignistrigger die folgenden Konfigurationsdetails an:
    1. Region:Wählen Sie die Region Ihrer Apache Kafka-Verbindung aus.
    2. Verbindung:Wählen Sie die Apache Kafka-Verbindung aus, die Sie verwenden möchten.

      Application Integration zeigt nur die Apache Kafka-Verbindungen an, die aktiv und für die ein Ereignisabo aktiviert ist.

    3. Name des Themas: Geben Sie den Namen des Themas ein.
    4. Nutzergruppen-ID: Geben Sie optional die Verbrauchergruppen-ID ein, die den Namen der Verbrauchergruppe angibt, zu der der Kafka-Nutzer gehört.
    5. Partition: Geben Sie die Partition ein, wenn Sie eine bestimmte Partition abonnieren möchten. Partitionen sind eine Möglichkeit, ein Thema in mehrere Teile aufzuteilen und die einzelnen Teile auf einem anderen Knoten im Cluster zu speichern.
    6. Anfänglicher Offset: Wählen Sie die Strategie zum Zurücksetzen des Offsets aus:
      • Wenn Sie früheste auswählen, verarbeitet Ihre Verbindung nicht verarbeitete Nachrichten, einschließlich aller Nachrichten, die vor Ablauf der Lebensdauer der Verbrauchergruppe erstellt wurden.
      • Wenn Sie latest auswählen, verarbeitet die Verbindung Nachrichten, die nach dem Erstellen der Verbrauchergruppe generiert wurden.
    7. Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für den Apache Kafka-Trigger aus.
  4. Klicken Sie auf Fertig.

Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren

Führen Sie die folgenden Schritte aus, um den Apache Kafka-Trigger mit einer neuen Apache Kafka-Verbindung zu konfigurieren:

  1. Klicken Sie im Integrationseditor auf das Apache Kafka-Triggerelement, um den Bereich zur Triggerkonfiguration zu öffnen.
  2. Klicken Sie auf Apache Kafka-Trigger konfigurieren.
  3. Überspringen Sie das Feld Region.
  4. Klicken Sie auf Verbindung und wählen Sie aus der Liste die Option Verbindung erstellen aus. Der Bereich Create Connection (Verbindung erstellen) wird angezeigt.
  5. Wählen Sie im Schritt Location (Speicherort) den Standort für die neue Apache Kafka-Verbindung aus:
    1. Region:Wählen Sie eine Region aus der Liste aus.
    2. Klicken Sie auf Next (Weiter).
  6. Geben Sie im Schritt Verbindungsdetails Details zur neuen Apache Kafka-Verbindung an:
    1. Connector-Version:Wählen Sie eine verfügbare Version des Apache Kafka-Connectors aus der Liste aus.
    2. Connection Name (Verbindungsname): Geben Sie einen Namen für die Apache Kafka-Verbindung ein.
    3. Optional: Beschreibung : Geben Sie eine Beschreibung für die Verbindung ein.
    4. (Optional) Cloud Logging aktivieren: Klicken Sie dieses Kästchen an, um alle Logdaten der Verbindung zu speichern.
    5. Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für die Apache Kafka-Verbindung aus.
    6. Die Option Ereignisabo, Entität und Aktionen aktivieren ist standardmäßig für die Apache Kafka-Verbindung ausgewählt.
    7. Typerkennungsschema : Wählen Sie MessageOnly aus.
    8. Registry-Dienst: Der Schema Registry-Dienst, der zum Arbeiten mit Themenschemas verwendet wird.
    9. Registry-Typ: Typ des Schemas, das für ein bestimmtes Thema angegeben wurde.
    10. Registry-Version: Version des aus RegistryUrl gelesenen Schemas für das angegebene Thema.
    11. Registry-Nutzer: Der Nutzername oder der Zugriffsschlüssel, der bzw. der mit dem in RegistryUrl angegebenen Server autorisiert werden soll.
    12. Registry-Passwort: Secret Manager-Secret mit dem Passwort/geheimen Schlüsselwert, der mit dem in RegistryUrl angegebenen Server autorisiert werden soll.
    13. Konfigurieren Sie optional die Einstellungen für Verbindungsknoten:

      • Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
      • Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.

      Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, wird die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Anzahl von Knoten auf 50 festgelegt.

    14. Sie können auch auf + LABEL HINZUFÜGEN klicken, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
    15. SSL aktivieren: In diesem Feld wird festgelegt, ob SSL aktiviert ist.
    16. Klicken Sie auf Next (Weiter).
  7. Geben Sie im Abschnitt Ziele die Details zum Remote-Host (Backend-System) ein, zu dem Sie eine Verbindung herstellen möchten.
    1. Zieltyp: Wählen Sie einen Zieltyp aus.
      1. Geben Sie im Feld Hostadresse den Hostnamen oder die IP-Adresse des Ziels ein.
        1. Wenn Sie eine private Verbindung zu Ihren Back-End-Systemen herstellen möchten, gehen Sie so vor:
          1. Erstellen Sie einen PSC-Dienstanhang.
          2. Erstellen Sie einen Endpunktanhang und geben Sie dann die Details des Endpunktanhangs in das Feld Hostadresse ein.
        2. Wenn Sie eine öffentliche Verbindung zu Ihren Back-End-Systemen mit zusätzlicher Sicherheit herstellen möchten, können Sie statische ausgehende IP-Adressen für Ihre Verbindungen konfigurieren und dann Ihre Firewallregeln so konfigurieren, dass nur die bestimmten statischen IP-Adressen zugelassen werden.

      Wenn Sie weitere Ziele eingeben möchten, klicken Sie auf + ZIEL HINZUFÜGEN.

    2. Klicken Sie auf Next (Weiter).
  8. Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
    1. Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.

      Die folgenden Authentifizierungstypen werden von der Apache Kafka-Verbindung unterstützt:

      • Nutzername und Passwort
        • Nutzername: Der Apache Kafka-Nutzername für die Verbindung.
        • Passwort: Secret Manager-Secret, das das mit dem Apache Kafka-Nutzernamen verknüpfte Passwort enthält.
        • Auth Scheme (Authentifizierungsschema): Das für die Authentifizierung verwendete Schema.

          Die folgenden Authentifizierungsschemata werden von der Apache Kafka-Verbindung unterstützt:

          • Einfach
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Nicht verfügbar

        Wenn Sie die anonyme Anmeldung verwenden möchten, wählen Sie Nicht verfügbar aus.

    2. Klicken Sie auf Next (Weiter).
  9. Geben Sie die Konfiguration für unzustellbare Nachrichten ein. Wenn Sie unzustellbare Nachrichten konfigurieren, schreibt die Verbindung die nicht verarbeiteten Ereignisse in das angegebene Pub/Sub-Thema. Geben Sie die folgenden Informationen ein:
    1. Projekt-ID für unzustellbare Nachrichten : Die Google Cloud-Projekt-ID, in der Sie das Pub/Sub-Thema für unzustellbare Nachrichten konfiguriert haben.
    2. Thema für unzustellbare Nachrichten : Das Pub/Sub-Thema, in das Sie die Details des nicht verarbeiteten Ereignisses schreiben möchten.
  10. Klicken Sie auf Next (Weiter).
  11. Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
  12. Klicken Sie auf Erstellen.

Trigger-Ausgabe

Der Apache Kafka-Trigger dauert einige Minuten, um die Konfiguration des Ereignisabos abzuschließen. Sie können den Status Ihres Ereignisabos im Bereich für die Triggerkonfiguration unter Ereignisabodetails ansehen.

Der Apache Kafka-Trigger gibt den Status eines Ereignisabos mit den folgenden Status an:

  • Creating: Gibt an, dass der Trigger das Ereignisabo abonniert.
  • Active: Gibt an, dass der Trigger ein Ereignisabo abonniert hat.
  • Error: Gibt an, dass ein Problem mit dem konfigurierten Ereignisabo vorliegt.

Neben dem Abostatus des Ereignisses werden im Abschnitt Ereignisabodetails auch weitere Details wie Verbindungsregion, Verbindungsname und Name des Ereignisabos angezeigt.

Trigger-Ausgabevariable

Für jedes Ereignis generiert der Apache Kafka-Trigger eine ConnectorEventPayload-Ausgabevariable im JSON-Format, die Sie in nachgelagerten Aufgaben verwenden können. Die Ausgabevariable enthält die Nutzlast aus Ihrem Apache Kafka-Ereignis. Beispiel: 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ereignisabos ansehen

So können Sie alle Ereignisabos aufrufen und verwalten, die mit einer Verbindung in Integration Connectors verknüpft sind:

  1. Rufen Sie die Seite Integration Connectors > Verbindungen auf.

    Zur Seite „Verbindungen“

  2. Klicken Sie auf die Verbindung, deren Abos Sie sich ansehen möchten.
  3. Klicken Sie auf den Tab Ereignisabos.

    Dadurch werden alle Ereignisabos für die Verbindung angezeigt.

Apache Kafka-Trigger bearbeiten

Sie können einen Apache Kafka-Trigger bearbeiten, um die Verbindungskonfiguration und die Details des Ereignisabos zu ändern oder zu aktualisieren.

Führen Sie die folgenden Schritte aus, um einen Apache Kafka-Trigger zu bearbeiten:

  1. Klicken Sie im Integrationseditor auf das Apache Kafka-Triggerelement, um den Bereich zur Triggerkonfiguration zu öffnen.
  2. Klicken Sie auf Apache Kafka-Trigger konfigurieren.
  3. Gehen Sie auf der Seite Editor für Connector-Ereignistrigger so vor:
    1. Wenn Sie das zuvor konfigurierte Ereignisabo beibehalten möchten, klicken Sie auf Beibehalten oder auf Löschen.
    2. Aktualisieren Sie die Verbindungskonfiguration und die Details zum Ereignisabo nach Bedarf.
    3. Klicken Sie auf Fertig.

    4. Die aktualisierten Details zu Verbindung und Ereignisabo finden Sie im Triggerkonfigurationsbereich unter Ereignisabodetails.