Kafka-Ressourcen in Data Catalog verwenden (Vorschau)

Auf dieser Seite wird gezeigt, wie Sie Data Catalog-Einträge erstellen, die Apache Kafka-Ressourcen darstellen. Dadurch können Sie neben anderen Datenressourcen Tags taggen und suchen.

Vorbereitung

  1. Kafka-Einträge müssen einer Eintragsgruppe hinzugefügt werden. Sie müssen daher zuerst eine Eintragsgruppe erstellen. Informationen zum Erstellen von Eintragsgruppen finden Sie unter Benutzerdefinierte Einträge erstellen.

Einträge für Kafka-Cluster erstellen

Erstellen Sie Data Catalog-Einträge für Kafka-Cluster mit dem Befehl gcloud data-catalog entries create und übergeben Sie dabei die Adresse des Bootstrap-Servers und optional eine Eigenschaftendatei.

gcloud data-catalog entries create kafka_cluster_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster-bootstrap-servers=SERVER_ADDRESS

Einträge für Kafka-Themen erstellen

Erstellen Sie mit dem Befehl gcloud data-catalog entries create Data Catalog-Einträge für Kafka-Themen und übergeben Sie den Eintrag für den Kafka-Cluster, den Sie mit dem obigen Befehl erstellt haben:

gcloud data-catalog entries create kafka_topic_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster=projects/project1/locations/LOCATION/entryGroups/ENTRY_GROUP/entries/kafka_cluster_entry \
  --kafka-topic=TOPIC_NAME \
  --physical-schema-type="avro"
  --physical-schema-file=/tmp/avro.json

Hier ein Beispiel für die Datei "avro.json":

{
  "namespace": "example.avro",
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "name", "type": "string"},
    {"name": "favorite_number",  "type": ["null", "int"]},
    {"name": "favorite_color", "type": ["null", "string"]}
  ]
}