Weitere Informationen finden Sie unter Unterstützte Connectors für Application Integration.
Apache Kafka-Trigger
Der Apache Kafka-Trigger ist ein Connector-Ereignistrigger, mit dem Sie eine Integration basierend auf den Apache Kafka-Ereignissen aufrufen können, die Sie in Ihrer Apache Kafka-Verbindung abonniert haben.
Hinweis
Wenn Sie eine neue Verbindung für den Apache Kafka-Trigger erstellen oder konfigurieren möchten, benötigen Sie die folgende IAM-Rolle (Identity and Access Management) für das Projekt:
- Connector-Administrator (
roles/connectors.admin
)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Weisen Sie dem Dienstkonto, das Sie für den Apache Kafka-Trigger verwenden möchten, die folgenden IAM-Rollen zu:
- Aufrufer von Anwendungsintegrationen (
roles/integrations.integrationInvoker
)
Informationen zum Zuweisen von Rollen zu einem Dienstkonto finden Sie unter Zugriff auf Dienstkonten verwalten.
Beschränkung
Der Apache Kafka-Trigger unterliegt den folgenden Einschränkungen:
- Unterstützt das
SASL_SSL
-Sicherheitsprotokoll für Ereignisabos. mTLS
wird für Ereignisabos nicht unterstützt.
Apache Kafka-Trigger hinzufügen
So fügen Sie Ihrer Integration einen Apache Kafka-Trigger hinzu:
- Rufen Sie in der Google Cloud Console die Seite Application Integration auf.
- Klicken Sie im Navigationsmenü auf Integrations (Integrationen).
Auf der Seite Integrationsliste werden alle im Google Cloud-Projekt verfügbaren Integrationen aufgeführt.
- Wählen Sie eine vorhandene Integration aus oder klicken Sie auf Integration erstellen, um eine neue zu erstellen.
Wenn Sie eine neue Integration erstellen, gehen Sie so vor:
- Geben Sie im Bereich Integration erstellen einen Namen und eine Beschreibung ein.
- Wählen Sie eine Region für die Integration aus.
- Wählen Sie ein Dienstkonto für die Integration aus. Sie können die Details des Dienstkontos einer Integration jederzeit im Bereich Integrationsübersicht in der Symbolleiste für Integrationen ändern oder aktualisieren.
- Klicken Sie auf Erstellen.
Dadurch wird die Integration auf der Seite Integrationseditor geöffnet.
- Klicken Sie in der Navigationsleiste des Integrationseditors auf Trigger, um die Liste der verfügbaren Trigger aufzurufen.
- Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger und platzieren Sie es dort.
Zum Konfigurieren des Apache Kafka-Triggers können Sie entweder eine vorhandene Apache Kafka-Verbindung verwenden, die in Integration Connectors verfügbar ist, oder eine neue Apache Kafka-Verbindung mithilfe der Option zum Erstellen einer Inline-Verbindung erstellen.
Apache Kafka-Trigger mit einer vorhandenen Verbindung konfigurieren
Sie können den Apache Kafka-Trigger mithilfe einer vorhandenen Apache Kafka-Verbindung in Integration Connectors konfigurieren. Der Apache Kafka-Trigger ist ein Trigger für Connector-Ereignisse. Daher können Sie zum Konfigurieren des Triggers nur eine Apache Kafka-Verbindung mit aktiviertem Ereignisabo verwenden.
Informationen zum Konfigurieren eines Apache Kafka-Triggers über eine neue Apache Kafka-Verbindung finden Sie unter Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren.
So konfigurieren Sie einen Apache Kafka-Trigger über eine vorhandene Apache Kafka-Verbindung:
- Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger, um den Bereich für die Triggerkonfiguration zu öffnen.
- Klicken Sie auf Trigger konfigurieren.
- Geben Sie auf der Seite Editor für Connector-Ereignistrigger die folgenden Konfigurationsdetails an:
- Region: Wählen Sie die Region Ihrer Apache Kafka-Verbindung aus.
- Verbindung:Wählen Sie die Apache Kafka-Verbindung aus, die Sie verwenden möchten.
Application Integration zeigt nur die Apache Kafka-Verbindungen an, die aktiv sind und für die ein Ereignisabo aktiviert ist.
- Name des Themas: Geben Sie den Namen des Themas ein.
- Nutzergruppen-ID: Geben Sie optional die Nutzergruppen-ID ein, die den Namen der Nutzergruppe angibt, zu der der Kafka-Nutzer gehört.
- Partition: Geben Sie die Partition ein, wenn Sie eine bestimmte Partition abonnieren möchten. Partitionen sind eine Möglichkeit, ein Thema in mehrere Teile zu unterteilen und jeden Teil auf einem anderen Knoten im Cluster zu speichern.
- Anfangsversatz: Wählen Sie die Strategie zum Zurücksetzen des Versatzes aus:
- Wenn Sie earliest auswählen, werden über Ihre Verbindung nicht verwendete Nachrichten verbraucht, einschließlich aller Nachrichten, die vor der Lebensdauer der Verbrauchergruppe erstellt wurden.
- Wenn Sie latest auswählen, werden über die Verbindung Nachrichten verarbeitet, die nach dem Erstellen der Verbrauchergruppe generiert werden.
- Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für den Apache Kafka-Trigger aus.
- Klicken Sie auf Fertig.
Apache Kafka-Trigger mit einer neuen Verbindung konfigurieren
So konfigurieren Sie den Apache Kafka-Trigger über eine neue Apache Kafka-Verbindung:
- Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger, um den Bereich für die Triggerkonfiguration zu öffnen.
- Klicken Sie auf Apache Kafka-Trigger konfigurieren.
- Überspringen Sie das Feld Region.
- Klicken Sie auf Connection (Verbindung) und wählen Sie die Option Create Connection (Verbindung erstellen) aus der Liste aus. Der Bereich Create Connection (Verbindung erstellen) wird angezeigt.
- Wählen Sie im Schritt Speicherort den Speicherort für die neue Apache Kafka-Verbindung aus:
- Region:Wählen Sie eine Region aus der Liste aus.
- Klicken Sie auf Weiter.
- Geben Sie im Schritt Verbindungsdetails Details zur neuen Apache Kafka-Verbindung an:
- Connector-Version: Wählen Sie eine verfügbare Version des Apache Kafka-Connectors aus der Liste aus.
- Connection Name (Verbindungsname): Geben Sie einen Namen für die Apache Kafka-Verbindung ein.
- Optional: Beschreibung: Geben Sie eine Beschreibung für die Verbindung ein.
- (Optional) Cloud Logging aktivieren: Klicken Sie dieses Kästchen an, um alle Logdaten der Verbindung zu speichern.
- Dienstkonto: Wählen Sie ein Dienstkonto mit den erforderlichen IAM-Rollen für die Apache Kafka-Verbindung aus.
- Für die Apache Kafka-Verbindung ist standardmäßig die Option Ereignisabo, Entität und Aktionen aktivieren ausgewählt.
- Typerkennungsschema: Wählen Sie
MessageOnly
aus. - Registry-Dienst: Der Schema Registry-Dienst, der zum Arbeiten mit Themenschemas verwendet wird.
- Registry-Typ: Typ des Schemas, das für ein bestimmtes Thema angegeben wurde.
-
Registry Version: Version des Schemas, das für das angegebene Thema aus
RegistryUrl
gelesen wurde. -
Registry-Nutzer: Nutzername oder Zugriffsschlüsselwert, der mit dem in
RegistryUrl
angegebenen Server autorisiert werden soll. -
Registry-Passwort: Secret Manager-Secret mit dem Passwort bzw. geheimen Schlüsselwert, der mit dem in
RegistryUrl
angegebenen Server autorisiert werden soll. - Optional: Konfigurieren Sie die Verbindungsknoteneinstellungen:
- Mindestanzahl von Knoten: Geben Sie die Mindestanzahl von Verbindungsknoten ein.
- Maximale Anzahl von Knoten: Geben Sie die maximale Anzahl von Verbindungsknoten ein.
Ein Knoten ist eine Einheit (oder ein Replikat) einer Verbindung, die Transaktionen verarbeitet. Zur Verarbeitung von mehr Transaktionen für eine Verbindung sind mehr Knoten erforderlich. Umgekehrt sind weniger Knoten erforderlich, um weniger Transaktionen zu verarbeiten. Informationen zu den Auswirkungen der Knoten auf Ihre Connector-Preise finden Sie unter Preise für Verbindungsknoten. Wenn Sie keine Werte eingeben, ist die Mindestanzahl von Knoten standardmäßig auf 2 (für eine bessere Verfügbarkeit) und die maximale Knotenzahl auf 50 gesetzt.
- Klicken Sie optional auf + LABEL HINZUFÜGEN, um der Verbindung ein Label in Form eines Schlüssel/Wert-Paars hinzuzufügen.
- SSL aktivieren: In diesem Feld wird festgelegt, ob SSL aktiviert ist.
- Klicken Sie auf Weiter.
- Geben Sie im Abschnitt Ziele die Details zum Remote-Host (Backend-System) ein, zu dem Sie eine Verbindung herstellen möchten.
- Destination Type: Wählen Sie einen Destination Type aus.
- Wählen Sie in der Liste Hostadresse aus, um den Hostnamen oder die IP-Adresse des Ziels anzugeben.
- Wenn Sie eine private Verbindung zu Ihren Backend-Systemen herstellen möchten, wählen Sie in der Liste Endpunktanhang und dann den erforderlichen Endpunktanhang aus der Liste Endpunktanhang aus.
Wenn Sie eine öffentliche Verbindung zu Ihren Back-End-Systemen mit zusätzlicher Sicherheit herstellen möchten, können Sie statische ausgehende IP-Adressen für Ihre Verbindungen konfigurieren und dann Ihre Firewallregeln konfigurieren, um nur bestimmte statische IP-Adressen zuzulassen.
Wenn Sie weitere Ziele eingeben möchten, klicken Sie auf + ZIEL HINZUFÜGEN.
- Klicken Sie auf Next (Weiter).
- Destination Type: Wählen Sie einen Destination Type aus.
-
Geben Sie im Abschnitt Authentifizierung die Authentifizierungsdetails ein.
- Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.
Die folgenden Authentifizierungstypen werden von der Apache Kafka-Verbindung unterstützt:
-
Nutzername und Passwort
- Nutzername: Der Apache Kafka-Nutzername für die Verbindung.
- Passwort: Secret Manager-Secret, das das mit dem Apache Kafka-Nutzernamen verknüpfte Passwort enthält.
- Auth-Schema: Das Schema, das für die Authentifizierung verwendet wird.
Die folgenden Authentifizierungsschemata werden von der Apache Kafka-Verbindung unterstützt:
- Normal
- SCRAM-SHA-1
- SCRAM-SHA-256
-
Nicht verfügbar
Wenn Sie die anonyme Anmeldung verwenden möchten, wählen Sie Nicht verfügbar aus.
-
Nutzername und Passwort
- Klicken Sie auf Weiter.
- Wählen Sie einen Authentifizierungstyp aus und geben Sie die relevanten Details ein.
- Geben Sie die Konfiguration für unzustellbare Nachrichten ein. Wenn Sie ein Dead-Letter-Thema konfigurieren, schreibt die Verbindung die nicht verarbeiteten Ereignisse in das angegebene Pub/Sub-Thema. Geben Sie die folgenden Informationen ein:
- Dead-Letter-Projekt-ID: Die Google Cloud-Projekt-ID, in der Sie das Dead-Letter-Pub/Sub-Thema konfiguriert haben.
- Thema für unzustellbare Nachrichten: Das Pub/Sub-Thema, in das Sie die Details des nicht verarbeiteten Ereignisses schreiben möchten.
- Klicken Sie auf Weiter.
- Überprüfen: Prüfen Sie Ihre Verbindungs- und Authentifizierungsdetails.
- Klicken Sie auf Erstellen.
Trigger-Ausgabe
Bei Verwendung des Apache Kafka-Triggers dauert es einige Minuten, bis die Konfiguration des Ereignisabonnements abgeschlossen ist. Sie können den Status Ihres Ereignisabos im Triggerkonfigurationsbereich unter Ereignisabodetails.
Der Apache Kafka-Trigger gibt den Status eines Ereignisabos anhand der folgenden Status an:
Creating
: Gibt an, dass der Trigger das Ereignisabo abonniert.Active
: Gibt an, dass für den Trigger ein Ereignisabo abonniert wurde.Error
: Gibt an, dass ein Problem mit dem konfigurierten Ereignisabo vorliegt.
Zusätzlich zum Abostatus des Ereignisses finden Sie im Bereich Details zum Ereignisabo auch zeigt weitere Details wie die Verbindungsregion, den Verbindungsnamen und den Namen des Ereignisabos an.
Trigger-Ausgabevariable
Für jedes Ereignis generiert der Apache Kafka-Trigger eine ConnectorEventPayload
-Ausgabevariable (im JSON-Format), die Sie in nachgelagerten Aufgaben verwenden können. Die Ausgabevariable enthält die Nutzlast aus Ihrem Apache Kafka-Ereignis. Beispiel:
{ "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}", "contentType": "text/plain" }
Ereignisabos ansehen
So rufen Sie alle Ereignisabos auf, die mit einer Verbindung in Integration Connectors verknüpft sind:
- Rufen Sie die Seite Integration Connectors > Verbindungen auf.
- Klicken Sie auf die Verbindung, für die Sie die Abos ansehen möchten.
- Klicken Sie auf den Tab Ereignisabos.
Dadurch werden alle Ereignisabos für die Verbindung angezeigt.
Apache Kafka-Trigger bearbeiten
Sie können einen Apache Kafka-Trigger bearbeiten, um die Verbindungskonfiguration und die Details des Ereignisabos zu ändern oder zu aktualisieren.
So bearbeiten Sie einen Apache Kafka-Trigger:
- Klicken Sie im Integrationseditor auf das Element Apache Kafka-Trigger, um den Bereich für die Triggerkonfiguration zu öffnen.
- Klicken Sie auf Apache Kafka-Trigger konfigurieren.
- Führen Sie auf der Seite Connector-Ereignistrigger-Editor die folgenden Schritte aus:
- Wenn Sie das zuvor konfigurierte Ereignisabo beibehalten möchten, klicken Sie auf Beibehalten. Andernfalls klicken Sie auf Löschen.
- Aktualisieren Sie die Verbindungskonfiguration und die Details zum Ereignisabo nach Bedarf.
- Klicken Sie auf Fertig.
Die aktualisierten Details zur Verbindung und zum Ereignisabo finden Sie im Bereich „Triggerkonfiguration“ unter Details zum Ereignisabo.
Kontingente und Limits
Weitere Informationen zu allen Kontingenten und Limits finden Sie unter Kontingente und Limits.
Nächste Schritte
- Alle Aufgaben und Trigger.
- Hier erfahren Sie, wie Sie eine Integration testen und veröffentlichen.
- Weitere Informationen zur Fehlerbehandlung.
- Weitere Informationen zu Ausführungslogs der Integration.