Como usar recursos do Kafka no Data Catalog (visualização)

Esta página mostra como criar entradas do Data Catalog para representar recursos do Apache Kafka, permitindo que você marque e pesquise junto com seus outros recursos de dados.

Pré-requisitos

  1. As entradas do Kafka precisam ser adicionadas a um grupo de entrada. Portanto, primeiro é necessário criar um grupo de entrada. Para saber como criar grupos de entrada, consulte Como criar entradas personalizadas.

Como criar entradas para clusters do Kafka

Crie entradas do Data Catalog para clusters do Kafka com o comando gcloud data-catalog entries create, transmitindo o endereço do servidor de inicialização e, opcionalmente, um arquivo de propriedades.

gcloud data-catalog entries create kafka_cluster_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster-bootstrap-servers=SERVER_ADDRESS

Como criar entradas para tópicos do Kafka

Crie entradas do Data Catalog para os tópicos do Kafka com o comando gcloud data-catalog entries create, transmitindo a entrada para o cluster do Kafka criado com o comando acima:

gcloud data-catalog entries create kafka_topic_entry \
  --location=LOCATION --entry-group=ENTRY_GROUP \
  --kafka-cluster=projects/project1/locations/LOCATION/entryGroups/ENTRY_GROUP/entries/kafka_cluster_entry \
  --kafka-topic=TOPIC_NAME \
  --physical-schema-type="avro"
  --physical-schema-file=/tmp/avro.json

Veja a aparência do arquivo avro.json:

{
  "namespace": "example.avro",
  "type": "record",
  "name": "User",
  "fields": [
    {"name": "name", "type": "string"},
    {"name": "favorite_number",  "type": ["null", "int"]},
    {"name": "favorite_color", "type": ["null", "string"]}
  ]
}