Dieses Dokument ist nützlich, wenn Sie erwägen, von selbstverwalteten Systemen zu migrieren. Apache Kafka zu Pub/Sub Lite.
Übersicht über Pub/Sub Lite
Pub/Sub Lite ist ein umfangreicher Messaging-Dienst für und niedrige Betriebskosten. Pub/Sub Lite bietet zonal und regional Speicher zusammen mit vorab bereitgestellter Kapazität. In Pub/Sub Lite können Sie zonale oder regionale Lite-Themen auswählen. Angebot für regionale Lite-Themen SLA-Verfügbarkeit wie bei Pub/Sub-Themen. Es gibt jedoch bei der Zuverlässigkeit zwischen Pub/Sub und Pub/Sub Lite in Bezug auf Nachrichtenreplikation
Weitere Informationen zu Pub/Sub und Pub/Sub Lite Siehe Was ist Pub/Sub?
Weitere Informationen zu von Lite-unterstützten Regionen und Zonen finden Sie unter Pub/Sub Lite-Speicherorte
Terminologie in Pub/Sub Lite
Im Folgenden finden Sie einige wichtige Begriffe für Pub/Sub Lite.
Nachricht. Daten, die durch den Pub/Sub Lite-Dienst geleitet werden.
Thema: Eine benannte Ressource, die einen Feed von Nachrichten darstellt. Innerhalb von Pub/Sub Lite können Sie eine zonale oder regionale Lite-Thema Regionale Pub/Sub Lite-Themen speichern Daten in in zwei Zonen einer Region. Zonale Pub/Sub Lite-Themen Daten in nur einer Zone zu replizieren.
Reservierung. Ein benannter Pool mit Durchsatzkapazität, die von mehreren Lite-Themen in einer Region
Abo: Eine benannte Ressource, die für ein Interesse an Nachrichten von einem bestimmten Lite-Thema empfangen. Ein Abo ist ähnlich Nutzergruppe in Kafka, die nur mit einem einzigen Thema verbunden ist.
Abonnent: Ein Client von Pub/Sub Lite, der Nachrichten empfängt aus einem Lite-Thema und einem bestimmten Abo. Ein Abo mehrere Abonnenten haben. In diesem Fall werden die Nachrichten und das Load-Balancing auf den Abonnentenclients. In Kafka kann ein Abonnent wird als Verbraucher bezeichnet.
Verlag oder Webpublisher: Anwendung, die Nachrichten erstellt und (Veröffentlichungen) sendet zu einem bestimmten Lite-Thema. Ein Thema kann mehrere Publisher haben. In Kafka wird ein Verlag oder Webpublisher als Producer bezeichnet.
Unterschiede zwischen Kafka und Pub/Sub Lite
Pub/Sub Lite ist konzeptionell ähnlich wie Kafka, Es ist ein anderes System mit einer enger gefassten API, Datenaufnahme. Die Unterschiede sind zwar für Streamaufnahme und -verarbeitung gibt es einige spezifische Anwendungsfälle, sind diese Unterschiede wichtig.
Kafka als Datenbank
Pub/Sub Lite unterstützt im Gegensatz zu Kafka derzeit keine transaktionale Veröffentlichung oder Protokollverdichtung, obwohl Idempotenz unterstützt wird. Diese Kafka-Funktionen sind nützlicher, wenn Sie Kafka als Datenbank und nicht als Nachrichtensystem kommunizieren. Wenn Sie Kafka hauptsächlich als Datenbank verwenden, sollten Sie erwägen, Kafka-Cluster erstellen oder eine verwaltete Kafka-Lösung wie Confluent Cloud. Falls keine dieser Lösungen möglich ist, können Sie auch eine horizontal skalierbare Datenbank wie Cloud Spanner
Kafka-Streams
Kafka-Streams ist ein auf Kafka basierendes Datenverarbeitungssystem. Es ermöglicht zwar Einschleusung von Verbraucherclients erfordert Zugriff auf alle Administratoren Geschäftsabläufe. Kafka Streams verwendet außerdem die Attribute der transaktionalen Datenbank. von Kafka zum Speichern interner Metadaten. Mit Pub/Sub Lite kann derzeit nicht für Kafka Streams-Anwendungen verwendet werden.
Apache Beam ein ähnliches Streaming-Datenverarbeitungssystem, das in Kafka integriert ist, Pub/Sub und Pub/Sub Lite. Sie können Beam-Pipelines vollständig verwaltet mit Dataflow oder in einer vorhandenen Apache Flink und Apache Spark-Cluster.
Überwachen
Kafka-Clients können serverseitige Messwerte lesen. In Pub/Sub Lite werden die für das Publisher- und Abonnentenverhalten relevanten über Cloud Monitoring ohne zusätzliche Konfiguration.
Kapazitätsverwaltung
Die Kapazität eines Kafka-Themas wird durch die Kapazität des Clusters bestimmt. Replikation, Schlüsselverdichtung und Batcheinstellungen bestimmen die erforderliche Kapazität um ein beliebiges Thema im Kafka-Cluster zu bedienen. Der Durchsatz eines Kafka Thema ist durch die Kapazität der Rechner begrenzt, auf denen die Broker genutzt werden ausgeführt werden. Im Gegensatz dazu müssen Sie sowohl Speicher als auch Durchsatz definieren Kapazität für ein Pub/Sub Lite-Thema. Die Speicherkapazität von Pub/Sub Lite ist konfigurierbare Eigenschaft des Themas Die Durchsatzkapazität basiert auf dem die Kapazität der konfigurierten reservation, sowie inhärente oder konfigurierte Limits pro Partition.
Authentifizierung und Sicherheit
Apache Kafka unterstützt mehrere offene Authentifizierungs- und Verschlüsselungsmechanismen. Mit Pub/Sub Lite basiert die Authentifizierung auf dem IAM-System. Sicherheit wird durch Verschlüsselung ruhender Daten gewährleistet und unterwegs sind. Weitere Informationen zur Pub/Sub Lite-Authentifizierung finden Sie in der Abschnitt „Migrationsworkflow“ weiter unten in diesem Dokument.
Kafka-Properties Pub/Sub Lite-Properties zuordnen
Kafka bietet viele Konfigurationsoptionen, die die Themenstruktur steuern, und Broker-Properties sein. Einige gängige Methoden, die für die Datenaufnahme nützlich sind werden in diesem Abschnitt behandelt. Pub/Sub Lite Da Pub/Sub Lite ein verwalteten Systemen verwenden, müssen Sie nicht viele Zwischenhändlereigenschaften.
Attribute für die Themenkonfiguration
Kafka-Property | Pub/Sub Lite-Property | Beschreibung |
retention.bytes | Speicher pro Partition | Alle Partitionen in einem Lite-Thema haben die gleiche konfigurierte Speicherkapazität. Die Gesamtspeicherkapazität eines Lite-Themas entspricht der Summe der Speicherkapazität aller Partitionen im Thema. |
retention.ms | Aufbewahrungsdauer für Nachrichten | Der maximale Zeitraum, für den ein Lite-Thema Nachrichten speichert. Wenn Sie keine Aufbewahrungsdauer für Nachrichten festlegen, werden Nachrichten vom Lite-Thema gespeichert, bis die Speicherkapazität überschritten wird. |
flush.ms, acks | Nicht konfigurierbar in Pub/Sub Lite | Veröffentlichungen werden erst bestätigt, wenn sie garantiert im replizierten Speicher beibehalten werden. |
max.message.bytes | Nicht konfigurierbar in Pub/Sub Lite | 3,5 MiB ist die maximale Nachrichtengröße, die an Pub/Sub Lite gesendet werden kann. Die Größe der Nachricht wird reproduzierbar berechnet. |
message.timestamp.type | Nicht konfigurierbar in Pub/Sub Lite | Bei Verwendung der Nutzerimplementierung wird der Ereigniszeitstempel (falls vorhanden) ausgewählt oder stattdessen der Veröffentlichungszeitstempel verwendet. Bei Verwendung von Beam sind sowohl Veröffentlichungs- als auch Ereigniszeitstempel verfügbar. |
Weitere Informationen zu den Attributen der Lite-Themen Siehe Eigenschaften eines Lite-Themas.
Producer-Konfigurationsattribute
Pub/Sub Lite unterstützt die Producer-Wire-Protokoll. Einige Attribute ändern das Verhalten der Cloud-Clientbibliotheken des Erstellers. Einige häufig auftretende Probleme werden in der folgenden Tabelle erläutert.
Kafka-Property | Pub/Sub Lite-Property | Beschreibung |
auto.create.topics.enable | Nicht konfigurierbar in Pub/Sub Lite | Erstellen Sie ein Thema und ein Abo, das in etwa einer Nutzergruppe für ein einzelnes Thema in Pub/Sub Lite entspricht. Sie können die Console, die gcloud CLI, API oder die Cloud-Clientbibliotheken verwenden. |
key.serializer und value.serializer | Nicht konfigurierbar in Pub/Sub Lite | Erforderlich, wenn Kafka Producer oder eine gleichwertige Bibliothek über das Wire Protocol kommuniziert. |
batch.size | In Pub/Sub Lite unterstützt | Die Batchverarbeitung wird unterstützt. Der empfohlene Wert für diesen Wert ist 10 MiB für eine optimale Leistung. |
linger.ms | In Pub/Sub Lite unterstützt | Die Batchverarbeitung wird unterstützt. Der empfohlene Wert für diesen Wert ist 50 ms für eine optimale Leistung. |
max.request.size | In Pub/Sub Lite unterstützt | Der Server legt ein Limit von 20 MiB pro Batch fest. Legen Sie für diesen Wert in Ihrem Kafka-Client einen Wert unter 20 MiB fest. |
enable.idempotence | In Pub/Sub Lite unterstützt | |
compression.type | In Pub/Sub Lite nicht unterstützt | Sie müssen diesen Wert explizit auf none festlegen.
|
Eigenschaften der Nutzerkonfiguration
Pub/Sub Lite unterstützt die Consumer Wire Protocol. Einige Attribute ändern das Verhalten der Cloud-Clientbibliotheken für private Nutzer. Einige häufig auftretende Probleme werden in der folgenden Tabelle erläutert.
Kafka-Property | Beschreibung |
key.deserializer und value.deserializer | Erforderlich, wenn der Kafka-Nutzer oder eine vergleichbare Bibliothek über das Wire Protocol kommuniziert. |
auto.offset.reset | Diese Konfiguration wird nicht unterstützt oder benötigt. Abos haben nach ihrer Erstellung garantiert einen festgelegten Versatzort. |
message.timestamp.type | Der Veröffentlichungszeitstempel ist immer in Pub/Sub Lite verfügbar und nimmt für jede Partition garantiert nicht ab. Ereigniszeitstempel können vorhanden sein oder nicht, je nachdem, ob sie bei der Veröffentlichung der Nachricht angehängt wurden oder nicht. Bei Verwendung von Dataflow stehen sowohl Veröffentlichungs- als auch Ereigniszeitstempel gleichzeitig zur Verfügung. |
max.partition.fetch.bytes, max.poll.records | Legt ein weiches Limit für die Anzahl der Datensätze und Bytes fest, die von Umfrage-Aufrufen zurückgegeben werden, sowie für die Anzahl der Bytes, die von internen Abrufanfragen zurückgegeben werden. Der Standardwert für „max.partition.fetch.bytes“ von 1 MiB kann den Durchsatz Ihres Clients einschränken. Erwägen Sie, diesen Wert zu erhöhen. |
Kafka- und Pub/Sub Lite-Features im Vergleich
In der folgenden Tabelle werden Apache Kafka-Features mit Pub/Sub Lite-Features verglichen:
Feature | Kafka | Pub/Sub Lite |
Nachrichtenreihenfolge | Ja | Ja |
Nachrichten deduplizieren | Ja | Ja mit Dataflow |
Push-Abos | Nein | Ja mit Pub/Sub-Export |
Transaktionen | Ja | Nein |
Nachrichtenspeicher | Begrenzt durch verfügbaren Maschinenspeicher | Unbegrenzt |
Nachricht noch einmal abspielen | Ja | Ja |
Logging und Monitoring | Selbstverwaltet | Automatisiert mit Cloud Monitoring |
Streamverarbeitung | Ja mit Kafka Streams, Apache Beam oder Dataproc. | Ja mit Beam oder Dataproc. |
In der folgenden Tabelle wird verglichen, welche Funktionen von Kafka selbst gehostet werden und welche von Google mit Pub/Sub Lite verwaltet werden:
Feature | Kafka | Pub/Sub Lite |
Verfügbarkeit | Stellen Sie Kafka manuell an zusätzlichen Standorten bereit. | Weltweit bereitgestellt. Siehe Standorte. |
Notfallwiederherstellung | Entwerfen und verwalten Sie Ihre eigene Sicherung und Replikation. | Von Google verwaltet. |
Infrastrukturverwaltung | Virtuelle Maschinen (VMs) oder Maschinen manuell bereitstellen und betreiben. Sorgen Sie für einheitliche Versionsverwaltung und Patches. | Von Google verwaltet. |
Kapazitätsplanung | Planen Sie den Speicher- und Rechenbedarf im Voraus manuell. | Von Google verwaltet. Sie können die Rechenleistung und den Speicher jederzeit erweitern. |
Support | – | Support rund um die Uhr. |
Kostenvergleich von Kafka und Pub/Sub Lite
Kosten in Pub/Sub Lite schätzen und verwalten anders als in Kafka. Die Kosten für einen lokalen oder lokalen Kafka-Cluster Cloud umfassen die Kosten für Maschinen, Laufwerke, Netzwerke, eingehende und ausgehende Nachrichten. Nachrichten. Er umfasst auch die Gemeinkosten für die Verwaltung und Wartung und die zugehörige Infrastruktur. Bei der Verwaltung eines Kafka-Clusters Sie müssen die Maschinen manuell upgraden, die Clusterkapazität planen und Implementierung einer Notfallwiederherstellung, die umfassende Planung und Tests umfasst. Sie müssen all diese verschiedenen Kosten aggregieren, um den tatsächlichen Gesamtbetriebskosten (TCO).
Pub/Sub Lite-Preise enthalten die Reservierungskosten (veröffentlichte Byte, abonnierte Byte, vom Kafka-Proxy verarbeitete Byte) und den Kosten des bereitgestellten Speichers. Sie zahlen genau für die Ressourcen, Reservierung zusätzlich zu den Gebühren für ausgehende Nachrichten eingehen. Sie können die Preisrechner für eine Kostenschätzung.
Migrationsworkflow
So migrieren Sie ein Thema von einem Kafka-Cluster zu Pub/Sub Lite verwenden möchten, verwenden Sie die folgende Anleitung.
Pub/Sub Lite-Ressourcen konfigurieren
Pub/Sub Lite erstellen reservation für den erwarteten Durchsatz für alle Themen, die Sie migrieren.
Pub/Sub Lite verwenden Preisrechner zur Berechnung der Gesamtsumme Durchsatzmesswerte Ihrer vorhandenen Kafka-Themen. Weitere Informationen zum Erstellen von Reservierungen, Weitere Informationen finden Sie unter Lite-Reservierungen erstellen und verwalten.
Ein Pub/Sub Lite-Thema für jedes entsprechende Thema erstellen in Kafka.
Weitere Informationen zum Erstellen von Lite-Themen Weitere Informationen finden Sie unter Lite-Themen erstellen und verwalten.
Erstellen Sie für jedes entsprechende Nutzergruppe und Thema im Kafka-Cluster.
Beispiel: Für eine Nutzergruppe namens
consumers
, die Daten austopic-a
undtopic-b
, du musst ein Abo erstellenconsumers-a
ist mittopic-a
verknüpft und ein Abonnementconsumers-b
, das mittopic-b
verknüpft ist. Weitere Informationen zum Erstellen von Abos Weitere Informationen finden Sie unter Lite-Abos erstellen und verwalten.
Bei Pub/Sub Lite authentifizieren
Wählen Sie je nach Typ Ihres Kafka-Clients eine der folgenden Methoden aus:
Java-basierte Kafka-Clients mit Version 3.1.0 oder höher und Neuerstellung
Java-basierte Kafka-Clients mit Version 3.1.0 oder höher, die nicht neu erstellt werden müssen
Java-basierte Kafka-Clients ab Version 3.1.0 mit Neuerstellung
Für Java-basierte Kafka-Clients ab Version 3.1.0, die neu erstellt werden können auf der Instanz, auf der Sie den Kafka-Client ausführen:
Installieren Sie das Paket
com.google.cloud:pubsublite-kafka-auth
:Die erforderlichen Parameter für die Authentifizierung bei Pub/Sub Lite mithilfe von
com.google.cloud.pubsublite.kafka.ClientParameters.getParams
Die Methode
getParams()
(siehe Codebeispiel ) wird Folgendes initialisiert: JAAS und SASL Konfigurationen als Parameter für die Authentifizierung Pub/Sub Lite:security.protocol=SASL_SSL sasl.mechanism=OAUTHBEARER sasl.oauthbearer.token.endpoint.url=http://localhost:14293 sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.secured.OAuthBearerLoginCallbackHandler
Java-basierte Kafka-Clients mit Version 3.1.0 oder höher, die nicht neu erstellt werden müssen
Für Kafka-Clients, die KIP-768 unterstützen, OAUTHBEARER-Authentifizierung ausschließlich für die Konfiguration, die ein Python-Sidecar-Skript verwendet. Zu diesen Versionen gehören die Ausgabe von Januar 2022 Java Version 3.1.0 oder höher.
Führen Sie die folgenden Schritte für die Instanz aus, auf der Sie Ihren Kafka-Client ausführen:
Installieren Sie Python 3.6 oder höher.
Siehe Python installieren.
Installieren Sie das Google-Authentifizierungspaket:
pip install google-auth
Diese Bibliothek vereinfacht die verschiedenen Server-zu-Server-Authentifizierungen. für den Zugriff auf Google APIs. Weitere Informationen finden Sie in der Seite „
google-auth
“.Führen Sie das Skript
kafka_gcp_credentials.py
aus.Dieses Skript startet einen lokalen HTTP-Server und ruft die Google Cloud-Standardanmeldedaten ab in der Umwelt mit
google.auth.default()
Das Hauptkonto in den abgerufenen Anmeldedaten muss die
pubsublite.locations.openKafkaStream
haben Berechtigung für das von Ihnen verwendete Google Cloud-Projekt und den Speicherort, für den Sie eine Verbindung herstellen. Pub/Sub Lite-Publisher (roles/pubsublite.publisher
) und Pub/Sub Lite-Abonnent (roles/pubsublite.subscriber
) Rollen haben Folgendes erforderliche Berechtigung. Diese Rollen zu Ihrem Hauptkonto.Die Anmeldedaten werden in der SASL-/OAUTHBEARER-Authentifizierung für den Kafka-Client.
Die folgenden Parameter sind in Ihren Properties erforderlich um sich vom Kafka-Client bei Pub/Sub Lite zu authentifizieren:
security.protocol=SASL_SSL sasl.mechanism=OAUTHBEARER sasl.oauthbearer.token.endpoint.url=localhost:14293 sasl.login.callback.handler.class=org.apache.kafka.common.security.oauthbearer.secured.OAuthBearerLoginCallbackHandler sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule \ required clientId="unused" clientSecret="unused" \ extension_pubsubProject="PROJECT_ID";
Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts, in dem Pub/Sub Lite ausgeführt wird.
Alle anderen Clients ohne Neuerstellung
Führen Sie für alle anderen Clients die folgenden Schritte aus:
Laden Sie eine JSON-Datei mit dem Dienstkontoschlüssel herunter. für das Dienstkonto, das Sie für Ihren Client verwenden möchten.
Codieren Sie die Dienstkontodatei mit base64-Codierung, um sie als Ihr Authentifizierungs-String.
Auf Linux- oder macOS-Systemen können Sie den Befehl
base64
verwenden. (häufig standardmäßig installiert) wie folgt:base64 < my_service_account.json > password.txt
Du kannst den Inhalt der Passwortdatei zur Authentifizierung verwenden mit den folgenden Parametern.
Java
security.protocol=SASL_SSL sasl.mechanism=PLAIN sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \ username="PROJECT_ID" \ password="contents of base64 encoded password file";
Ersetzen Sie PROJECT_ID durch die ID des Projekts, in dem Pub/Sub ausgeführt wird.
Librdkafka
security.protocol=SASL_SSL sasl.mechanism=PLAIN sasl.username=PROJECT_ID sasl.password=contents of base64 encoded password file
Ersetzen Sie PROJECT_ID durch die ID des Projekts, in dem Pub/Sub ausgeführt wird.
Daten mit Kafka Connect klonen
Das Pub/Sub Lite-Team verwaltet die Implementierung eines Kafka-Connect-Senke. Sie können diese Implementierung so konfigurieren, dass Daten kopiert werden, von einem Kafka-Thema in ein Pub/Sub Lite-Thema. Kafka Connect-Cluster.
Informationen zum Konfigurieren des Connectors für das Kopieren von Daten finden Sie unter Kafka-Connector für Pub/Sub-Gruppe.
Wenn Sie sicherstellen möchten, dass die Partitionsaffinität von der Migration nicht betroffen ist
Stellen Sie sicher, dass für das Kafka-Thema und das Pub/Sub Lite-Thema
Anzahl der Partitionen und die pubsublite.ordering.mode
ist auf KAFKA
festgelegt. Dadurch leitet der Connector Nachrichten an
Pub/Sub Lite-Partition mit demselben Index wie die Kafka-Partition
in dem sie ursprünglich veröffentlicht wurden.
Nutzer migrieren
Das Ressourcenmodell von Pub/Sub Lite unterscheidet sich von dem von Kafka. Vor allem
Im Gegensatz zu einer
Nutzergruppe ist ein Abo eine explizite Ressource.
die mit genau einem Thema verknüpft sind. Aufgrund dieses Unterschieds kann jede Stelle im
Kafka Consumer API, für die eine topic
übergeben werden muss, also das vollständige Abo
muss stattdessen -Pfad übergeben werden.
Zusätzlich zu den SASL-Konfigurationen für den Kafka-Client sind die folgenden Einstellungen auch erforderlich, wenn Sie die Kafka Consumer API für Folgendes verwenden: mit Pub/Sub Lite interagieren.
bootstrap.servers=REGION-kafka-pubsub.googleapis.com:443
group.id=unused
Ersetzen Sie REGION durch die Region, in der sich Ihr Pub/Sub Lite-Abo befindet.
Bevor der erste Pub/Sub Lite-Nutzerjob für einen bestimmten Abo abgeschlossen haben, können Sie ein Admin-Suchvorgang, um den anfänglichen Standort für Ihre Zielgruppe.
Wenn Sie Ihre Kunden starten, greifen sie wieder auf den aktuellen Offset in des Nachrichtenrückstands. Führen Sie sowohl die alten als auch neue Kundschaft zu identifizieren, solange sie ihr Verhalten überprüfen, und die alten Privatkunden zurückstufen.
Ersteller migrieren
Zusätzlich zu den SASL-Konfigurationen für den Kafka-Client Folgendes ist auch als Producer-Parameter erforderlich, wenn die Kafka Producer API für die Interaktion mit Pub/Sub Lite.
bootstrap.servers=REGION-kafka-pubsub.googleapis.com:443
Ersetzen Sie REGION durch die Region, in der sich Ihr Pub/Sub Lite-Thema befindet.
Nachdem Sie alle Nutzer des Themas migriert haben, die sie lesen möchten aus Pub/Sub Lite übertragen, verschieben Sie Ihren Producer-Traffic Pub/Sub Lite direkt nutzen.
Migrieren Sie die Producer-Clients schrittweise, um in den Pub/Sub Lite-Thema anstelle des Kafka-Themas.
Starten Sie die Producer-Clients neu, um neue Konfigurationen zu übernehmen.
Kafka Connect herunterfahren
Nach der Migration aller Ersteller, in die geschrieben werden soll Pub/Sub Lite direkt veröffentlicht, werden vom Connector keine Daten mehr kopiert.
Sie können die Kafka Connect-Instanz herunterfahren.
Fehlerbehebung bei Kafka-Verbindungen
Da Kafka-Clients über ein spezielles Wire-Protokoll kommunizieren, können wir nicht für alle Anfragen Fehlermeldungen ausgeben. Verlassen Sie sich auf die Fehlercodes, die in der Nachricht enthalten sind.
Sie können weitere Details zu Fehlern sehen, die im Client auftreten, indem Sie
Die Logging-Ebene für das Präfix org.apache.kafka
wird auf FINEST
festgelegt.
Niedriger Durchsatz und steigender Rückstand
Für einen niedrigen Durchsatz kann es mehrere Gründe geben und einen wachsenden Rückstand. Ein Grund kann die unzureichende Kapazität sein.
Sie können die Durchsatzkapazität auf Themenebene konfigurieren oder mit Reservierungen. Bei unzureichender Durchsatzkapazität für Abos und ist der entsprechende Durchsatz für und die Veröffentlichung gedrosselt sind.
Dieser Durchsatzfehler wird vom
Messwert topic/flow_control_status
für Verlage und Webpublisher
subscription/flow_control_status
Messwert für Abonnenten. Der Messwert bietet die folgenden Status:
NO_PARTITION_CAPACITY
: Diese Meldung gibt an, dass die Partition pro Partition Durchsatzlimit wurde erreicht.NO_RESERVATION_CAPACITY
: Diese Meldung gibt an, dass die Durchsatzlimit wurde erreicht.
Sie können die Auslastungsdiagramme für das Thema oder die Reservierung ansehen Veröffentlichungs- und Abokontingente erhalten und prüfen, ob die Auslastung bei oder in der Nähe von 100 % liegt.
Um dieses Problem zu beheben, erhöhen Sie Durchsatzkapazität des Thema oder Reservierung.
Fehlermeldung „Fehler bei der Themenautorisierung“
Für die Veröffentlichung mithilfe der Kafka API muss der Lite-Dienst-Agent die Berechtigung Berechtigungen zum Veröffentlichen im Pub/Sub Lite-Thema.
In Ihrem Client wird im Ereignis der Fehler TOPIC_AUTHORIZATION_FAILED
angezeigt.
dass Sie nicht die erforderlichen Berechtigungen zum Veröffentlichen
Pub/Sub Lite-Thema.
Prüfen Sie, ob der Lite-Dienst-Agent für das Projekt bestanden wurde, um das Problem zu beheben Auth-Konfiguration fest.
Fehlermeldung zu ungültigem Thema
Zum Abonnieren über die Kafka API muss der vollständige Abopfad übergeben werden
alle Stellen, an denen in der Kafka Consumer API eine topic
erwartet wird.
Andernfalls erhalten Sie die Fehlermeldung INVALID_TOPIC_EXCEPTION
in Ihrem Privatkundenclient.
einen gut formatierten Abopfad übergeben.
Ungültige Anfrage, wenn keine Reservierungen verwendet werden
Zur Verwendung der Kafka-Wire Protocol-Unterstützung müssen alle Themen ein zugehöriges um die Nutzung in Rechnung zu stellen.