Usa recursos de Kafka en Data Catalog (vista previa)

Esta página muestra cómo crear entradas de Data Catalog para representar los recursos de Apache Kafka, que le permiten etiquetar y buscar junto con el resto de sus recursos de datos.

Requisitos previos

  1. Las entradas de Kafka se deben agregar a un grupo de entrada, por lo que primero debe crear un grupo de entradas. Para aprender a crear grupos de entrada, consulta Crea entradas personalizadas.

Crea entradas para clústeres de Kafka

Cree entradas de Data Catalog para clústeres de Kafka con el comando gcloud data-catalog entries create, pasando la dirección del servidor de arranque y, de forma opcional, un archivo de propiedades.

gcloud data-catalog entries create kafka_cluster_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster-bootstrap-servers=SERVER_ADDRESS

Crea entradas para temas de Kafka

Crea entradas de Data Catalog para temas de Kafka con el comando gcloud data-catalog entries create y pasa la entrada del clúster de Kafka que creaste con el comando anterior:

gcloud data-catalog entries create kafka_topic_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster=projects/project1/locations/LOCATION/entryGroups/ENTRY_GROUP/entries/kafka_cluster_entry \
  --kafka-topic=TOPIC_NAME \
  --physical-schema-type="avro"
  --physical-schema-file=/tmp/avro.json

Donde el archivo Avro.json se ve de la siguiente manera:

{
  "namespace": "example.avro",
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "name", "type": "string"},
    {"name": "favorite_number",  "type": ["null", "int"]},
    {"name": "favorite_color", "type": ["null", "string"]}
  ]
}