Was ist Pub/Sub?

Pub/Sub, was für Publisher/Subscriber steht, ermöglicht die asynchrone Kommunikation von Diensten mit Latenzen im Bereich von 100 Millisekunden.

Pub/Sub wird für Streaminganalysen und Pipelines zur Datenintegration verwendet, um Daten aufzunehmen und zu verteilen. Es ist als nachrichtenorientierte Middleware für die Dienstintegration oder als Warteschlange zur Parallelisierung von Aufgaben gleichermaßen effektiv.

Mit Pub/Sub können Sie Systeme für Ereignisersteller und Nutzer erstellen, die als Publisher und Abonnenten bezeichnet werden. Publisher kommunizieren asynchron mit Abonnenten durch Broadcast-Ereignisse und nicht durch synchrone Remote-Prozeduraufrufe (RPCs).

Publisher senden Ereignisse an den Pub/Sub-Dienst, ohne zu berücksichtigen, wie oder wann diese Ereignisse verarbeitet werden. Pub/Sub liefert dann Ereignisse an alle Dienste, die darauf reagieren müssen. Im Vergleich zu Systemen, die über RPCs kommunizieren, bei denen Publisher darauf warten müssen, dass Abonnenten die Daten erhalten, erhöht eine solche asynchrone Integration die Flexibilität und Robustheit des Systems insgesamt.

Erste Schritte mit Pub/Sub finden Sie in der Kurzanleitung zur Verwendung der Cloud Console. Eine umfassendere Einführung finden Sie unter Pub/Sub-Messaging-System erstellen.

Gängige Anwendungsfälle

  • Nutzerinteraktion und Serverereignisse aufnehmen. Wenn Sie Nutzerinteraktionsereignisse aus Endnutzeranwendungen oder Serverereignisse aus Ihrem System verwenden möchten, können Sie sie an Pub/Sub weiterleiten und dann ein Streamverarbeitungstool wie Dataflow verwenden, das sie an BigQuery, Bigtable, Cloud Storage und andere Datenbanken sendet. Mit Pub/Sub können Sie Ereignisse von vielen Clients gleichzeitig erfassen.
  • Ereignisverteilung in Echtzeit. Sowohl rohe als auch verarbeitete Ereignisse können verschiedenen Anwendungen in Ihrem Team und Ihrer Organisation zur Echtzeitverarbeitung zur Verfügung gestellt werden. Dies unterstützt einen "Unternehmensereignisbus" und ereignisgesteuerte Anwendungsdesignmuster. Pub/Sub ermöglicht die Einbindung in viele Google-Systeme, die Ereignisse nach Pub/Sub exportieren.
  • Daten zwischen Datenbanken replizieren. Pub/Sub wird häufig verwendet, um Änderungsereignisse aus Datenbanken zu verteilen. Mit diesen Ereignissen können Sie eine Ansicht des Datenbankstatus und des Statusverlaufs in BigQuery und anderen Datenspeichersystemen erstellen.
  • Parallele Verarbeitung und Workflows Durch die Verwendung von Pub/Sub-Nachrichten um Cloud Functions-Funktionen zu verbinden, können Sie eine große Anzahl von Aufgaben effizient auf mehrere Worker verteilen, z. B. zur Komprimierung von Textdateien, zum Senden von E-Mail-Benachrichtigungen, zum Bewerten von KI-Modellen oder zum Neuformatieren von Bildern.
  • Ereignisbus für Unternehmen Sie können einen unternehmensweiten Echtzeit-Datenfreigabe-Bus erstellen, der Geschäftsereignisse, Datenbankaktualisierungen und Analyseereignisse in Ihrer gesamten Organisation verteilt.
  • Datenstreaming von IoT-Geräten: Zum Beispiel kann ein fester Sensor Daten an Back-End-Server streamen, die in der Cloud gehostet werden.
  • Verteilte Cache-Speicher aktualisieren. Zum Beispiel kann eine Anwendung Entwertungsereignisse veröffentlichen, um die IDs von geänderten Objekten zu aktualisieren.
  • Load-Balancing für Zuverlässigkeit. Zum Beispiel können Instanzen eines Dienstes in Compute Engine in mehreren Zonen bereitgestellt werden, aber ein gemeinsames Thema abonnieren. Wenn der Dienst in einer Zone ausfällt, können die anderen Komponenten die Last automatisch übernehmen.

Pub/Sub oder Pub/Sub Lite

Pub/Sub besteht aus zwei Diensten:

  • Pub/Sub-Dienst: Dieser sollte für die meisten Nutzer und Anwendungen die Standardeinstellung sein. Er bietet die höchste Zuverlässigkeit und größte Anzahl an Integrationen sowie automatische Kapazitätsverwaltung.

  • Pub/Sub Lite-Dienst: Ein separater, aber ähnlicher Messaging-Dienst, der als kostengünstige Option entwickelt wurde. Er bietet zonalen Speicher und erfordert die Vorabbereitstellung und Verwaltung der Speicher- und Durchsatzkapazität.

Ziehen Sie Pub/Sub Lite nur für Anwendungen in Betracht, bei denen extrem niedrige Kosten zusätzliche operative Arbeit und geringere Verfügbarkeit rechtfertigen.

Weitere Details finden Sie unter Pub/Sub oder Pub/Sub Lite auswählen. Informationen zum Testen von Pub/Sub Lite finden Sie unter Erste Schritte mit Pub/Sub Lite.

Pub/Sub mit anderen Messaging-Technologien vergleichen

Pub/Sub kombiniert die horizontale Skalierbarkeit von Apache Kafka und Pulsar mit Features in herkömmlicher Messaging-Middleware wie Apache ActiveMQ und RabbitMQ, z. B. Warteschlangen für unzustellbare Nachrichten und Filterung.

Ein weiteres Feature, das Pub/Sub von Messaging-Middleware übernimmt, ist die Parallelität pro Nachricht (statt partitionbasiert). Pub/Sub gibt einzelne Nachrichten an Abonnentenclients weiter und verfolgt, ob eine bestimmte Nachricht erfolgreich verarbeitet wurde.

Im Gegensatz dazu verwenden andere horizontal skalierbare Nachrichtensysteme Partitionen für die horizontale Skalierung. Dadurch werden Abonnenten gezwungen, Nachrichten in jeder Partition der Reihe nach zu verarbeiten. Die Anzahl der gleichzeitigen Clients wird auf die Anzahl der Partitionen begrenzt. Die Verarbeitung pro Nachricht maximiert die Parallelität der Abonnentenanwendungen und hilft, die Unabhängigkeit von Publishern und Abonnenten zu gewährleisten.

Dienst-zu-Dienst-Kommunikation im Vergleich zu Dienst-zu-Client-Kommunikation

Pub/Sub ist für die Dienst-zu-Dienst-Kommunikation gedacht und nicht für die Kommunikation mit Endnutzer- oder IoT-Clients. Andere Muster werden von anderen Produkten besser unterstützt:

Sie können eine Kombination dieser Dienste verwenden, um folgende Muster zu erstellen: Client -> Dienste -> Datenbank. Weitere Informationen finden Sie beispielsweise in der Anleitung Pub/Sub-Nachrichten über WebSockets streamen.

Einbindungen

Pub/Sub bietet viele Integrationen in andere Google Cloud-Produkte, um ein Nachrichtensystem mit komplettem Funktionsumfang zu erstellen:

  • Streamverarbeitung und Datenintegration: Wird von Dataflow unterstützt, einschließlich Dataflow-Vorlagen und SQL. Dadurch wird die Verarbeitung und Datenintegration in BigQuery und Data Lakes in Cloud Storage ermöglicht. Dataflow-Vorlagen zum Verschieben von Daten von Pub/Sub in Cloud Storage, BigQuery und andere Produkte sind in den Pub/Sub- und Dataflow-UIs in der Cloud Console verfügbar. Die Integration in Apache Spark ist auch verfügbar, insbesondere, wenn die Verwaltung mit Dataproc erfolgt. Die visuelle Zusammensetzung von Integrations- und Verarbeitungspipelines, die auf Spark und Dataproc ausgeführt werden, kann mit Datafusion erreicht werden.
  • Monitoring, Benachrichtigungen und Logging: Unterstützt von Monitoring- und Logging-Produkten.
  • Authentifizierung und IAM: Pub/Sub basiert auf einer standardmäßigen OAuth-Authentifizierung, die von anderen Google Cloud-Produkten verwendet wird. Außerdem unterstützt es detailliertes IAM und ermöglicht die Zugriffssteuerung für einzelne Ressourcen.
  • APIs: Pub/Sub verwendet standardmäßige gRPC- und REST-Dienst-API-Technologien zusammen mit Clientbibliotheken für mehrere Sprachen.
  • Trigger, Benachrichtigungen und Webhooks: Pub/Sub ermöglicht die Zustellung von Nachrichten auf Push-Basis als HTTP POST-Anfragen an Webhooks. So können Sie die Workflow-Automatisierung mit Cloud Functions oder anderen serverlosen Produkten ganz einfach implementieren.
  • Orchestrierung: Pub/Sub kann deklarativ in mehrstufige serverlose Workflows eingebunden werden. Die Big Data-Orchestrierung und die analytische Orchestrierung erfolgen häufig mit Cloud Composer, das Pub/Sub-Trigger unterstützt.

Wichtige Konzepte

  • Thema: Eine benannte Ressource, an die Nachrichten von Publishern gesendet werden.
  • Abo: Eine benannte Ressource, die für den Nachrichtenfluss von einem einzelnen bestimmten Thema steht, der für die abonnierende Anwendung bereitgestellt werden soll. Weitere Informationen zu Abos und zur Semantik der Nachrichtenzustellung finden Sie im Abonnentenleitfaden.
  • Nachricht: Die Kombination von Daten und (optionalen) Attributen, die ein Publisher an ein Thema sendet und die schließlich für Abonnenten bereitgestellt wird.
  • Nachrichtenattribut: Ein Schlüssel/Wert-Paar, das ein Publisher für eine Nachricht definieren kann. Beispielsweise könnten der Schlüssel iana.org/language_tag und der Wert en zu Nachrichten hinzugefügt werden, um sie für einen englischsprachigen Abonnenten als lesbar zu markieren.
  • Publisher: Eine Anwendung, die Nachrichten erstellt und an ein oder mehrere Themen sendet.
  • Abonnent: Eine Anwendung mit einem Abo für ein oder mehrere Themen, um Nachrichten hiervon zu erhalten.
  • Bestätigung (oder "Bestätigen"): Ein Signal, das von einem Abonnenten an Pub/Sub gesendet wird, nachdem eine Nachricht erfolgreich empfangen wurde. Bestätigte Nachrichten werden aus der Nachrichtenwarteschlange des Abos entfernt.
  • Push und Pull: Die beiden Methoden zur Nachrichtenzustellung. Ein Abonnent erhält Nachrichten entweder dadurch, dass Pub/Sub sie an den gewählten Endpunkt des Abonnenten weiterleitet ("Push"), oder dadurch, dass der Abonnent sie vom Dienst abruft ("Pull").

Publisher-Abonnenten-Beziehungen können 1:n-Beziehungen (Fan-Out), n:1-Beziehungen (Fan-in) und n:n-Beziehungen sein, wie im folgenden Diagramm dargestellt:

Publisher-Abonnenten-Beziehungen

Das folgende Diagramm zeigt, wie eine Nachricht von einem Publisher an einen Abonnenten übergeben wird. Beachten Sie, dass bei der Push-Zustellung die Bestätigung in der Antwort auf die Push-Anfrage implizit ist, während für die Pull-Zustellung ein separater RPC erforderlich ist.

Nachrichtenlebenszyklus

Weitere Informationen