Criar um tópico de importação do Amazon Managed Streaming for Apache Kafka

Um tópico de importação do Amazon Managed Streaming for Apache Kafka (Amazon MSK) permite ingerir dados continuamente do Amazon MSK como uma fonte externa e no Pub/Sub. Em seguida, você pode transmitir os dados para qualquer um dos destinos compatíveis com o Pub/Sub.

Neste documento, mostramos como criar e gerenciar tópicos de importação do Amazon MSK. Para criar um tópico padrão, consulte Criar um tópico padrão.

Para mais informações sobre os tópicos de importação, consulte Sobre os tópicos de importação.

Antes de começar

Papéis e permissões necessárias

Para receber as permissões necessárias para criar e gerenciar tópicos de importação do Amazon MSK, peça ao administrador para conceder a você o papel do IAM de Editor do Pub/Sub (roles/pubsub.editor) no seu tópico ou projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar e gerenciar tópicos de importação do Amazon MSK. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar e gerenciar tópicos de importação do Amazon MSK:

  • Crie um tópico de importação: pubsub.topics.create
  • Exclua um tema de importação: pubsub.topics.delete
  • Receba um tema de importação: pubsub.topics.get
  • Listar um tema de importação: pubsub.topics.list
  • Publicar em um tópico de importação: pubsub.topics.publish
  • Atualizar um tema de importação: pubsub.topics.update
  • Acesse a política do IAM para um tópico de importação: pubsub.topics.getIamPolicy
  • Configure a política do IAM para um tópico de importação: pubsub.topics.setIamPolicy

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

É possível configurar o controle de acesso no nível do projeto e do recurso individual.

Configurar a identidade federada para acessar o Amazon MSK

A federação de identidade da carga de trabalho permite que os serviços Google Cloud acessam cargas de trabalho executadas fora do Google Cloud. Com a federação de identidade, não é necessário manter ou transmitir credenciais para Google Cloud acessar seus recursos em outras nuvens. Em vez disso, use as identidades das cargas de trabalho para autenticar em Google Cloud e acessar recursos.

Crie uma conta de serviço em Google Cloud

Essa é uma etapa opcional. Se você já tiver uma conta de serviço, poderá usá-la neste procedimento em vez de criar uma nova. Se você estiver usando uma conta de serviço atual, acesse Gravar o ID exclusivo da conta de serviço para a próxima etapa.

Para tópicos de importação do Amazon MSK, o Pub/Sub usa a conta de serviço como a identidade para acessar recursos da AWS.

Para mais informações sobre como criar uma conta de serviço, incluindo pré-requisitos, papéis e permissões obrigatórios e diretrizes de nomenclatura, consulte Criar contas de serviço. Depois de criar uma conta de serviço, talvez seja necessário aguardar 60 segundos ou mais para usá-la. Esse comportamento ocorre porque as operações de leitura têm consistência eventual e pode levar algum tempo para a nova conta de serviço ficar visível.

Gravar o ID exclusivo da conta de serviço

Você precisa de um ID exclusivo da conta de serviço para configurar uma função no console da AWS.

  1. No console do Google Cloud, acesse a página de detalhes da Conta de serviço.

    Acessar a conta de serviço

  2. Clique na conta de serviço que você acabou de criar ou que planeja usar.

  3. Na página Detalhes da conta de serviço, registre o número do ID exclusivo.

    Você precisa do ID como parte do fluxo de trabalho para configurar uma função no console da AWS.

Adicionar o papel de criador do token da conta de serviço à conta de serviço do Pub/Sub

O papel Criador de token da conta de serviço (roles/iam.serviceAccountTokenCreator) permite que os participantes criem credenciais de curta duração para uma conta de serviço. Esses tokens ou credenciais são usados para falsificar a conta de serviço.

Para mais informações sobre representação da conta de serviço, consulte Representação da conta de serviço.

Também é possível adicionar o papel de editor do Pub/Sub (roles/pubsub.publisher) durante esse procedimento. Para mais informações sobre o papel e por que ele está sendo adicionado, consulte Adicionar o papel de editor do Pub/Sub à conta de serviço do Pub/Sub.

  1. No console do Google Cloud, abra a página IAM.

    Acessar IAM

  2. Clique na caixa de seleção Incluir concessões de papel fornecidas pelo Google.

  3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

  4. Para essa conta de serviço, clique no botão Editar principal.

  5. Se necessário, clique em Adicionar outro papel.

  6. Pesquise e clique em Papel de criador do token da conta de serviço (roles/iam.serviceAccountTokenCreator).

  7. Clique em Salvar.

Criar uma política na AWS

Você precisa de uma política na AWS para permitir que o Pub/Sub se autentique na AWS para que ele possa ingerir dados do Amazon MSK.

Para criar uma política na AWS, siga estas etapas:

  1. Faça login no console de gerenciamento da AWS e abra o console do IAM.

  2. No painel de navegação do console do IAM, clique em Gerenciamento de acesso > Políticas.

  3. Clique em Criar política.

  4. Em Clique em um serviço, clique em MSK.

  5. Em Ação permitida,clique em Ler > GetBootstrapBrokers.

    Essa ação concede permissão para receber os agentes de inicialização que o Pub/Sub usa para se conectar ao cluster do MSK.

  6. Clique em Adicionar mais permissões.

  7. Em Selecionar um serviço, clique em APIs Apache Kafka para MSK.

  8. Em Ação permitida, selecione:

    • List > DescribeTopic

      Essa ação concede permissão para que o tópico de transferência do Pub/Sub receba detalhes sobre o tópico do Amazon MSK Kafka.

    • Ler > ReadData

      Essa ação concede permissão para ler dados do tópico do Kafka do Amazon MSK.

    • Gravar > Conectar

      Essa ação concede permissão para se conectar e autenticar no cluster do Amazon MSK Kafka.

  9. Em Recursos, especifique o ARN do cluster se quiser restringir a política a clusters específicos, o que é recomendado.

  10. Clique em Adicionar mais permissões.

  11. Em Selecionar um serviço, clique em STS.

  12. Em Ação permitida, clique em Escrever > AssumeRoleWithWebIdentity.

    Essa ação concede permissão para receber um conjunto de credenciais de segurança temporárias para que o Pub/Sub se autentique no Amazon MSK usando a federação de identidade.

  13. Clique em Próxima.

  14. Digite um nome e uma descrição para a política.

  15. Clique em Criar política.

Criar uma função na AWS usando uma política de confiança personalizada

É necessário criar uma função na AWS para que o Pub/Sub possa se autenticar na AWS para consumir dados do Amazon MSK.

  1. Faça login no console de gerenciamento da AWS e abra o console do IAM.

  2. No painel de navegação do console do IAM, clique em Papéis.

  3. Clique em Criar papel.

  4. Em Selecionar entidade confiável, clique em Política de confiança personalizada.

  5. Na seção Política de confiança personalizada, insira ou cole o seguinte:

    {
  "Version": "2012-10-17",
  "Statement": [
    {
     "Effect": "Allow",
     "Principal": {
        "Federated": "accounts.google.com"
     },
     "Action": "sts:AssumeRoleWithWebIdentity",
     "Condition": {
         "StringEquals": {
           "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>"
         }
      }
    }
  ]
}

    Substitua <SERVICE_ACCOUNT_UNIQUE_ID> pelo ID exclusivo da conta de serviço que você registrou em Gravar o ID exclusivo da conta de serviço.

  6. Clique em Próxima.

  7. Em Adicionar permissões, pesquise e clique na política personalizada que você acabou de criar.

  8. Clique em Próxima.

  9. Digite um nome e uma descrição para a função.

  10. Clique em Criar papel.

Adicionar o papel de editor do Pub/Sub ao principal do Pub/Sub

Para ativar a publicação, atribua um papel de editor à conta de serviço do Pub/Sub para que ele possa publicar no tópico de importação do Amazon MSK.

Ativar a publicação em todos os tópicos

Use este método se você não tiver criado tópicos de importação do Amazon MSK.

  1. No console do Google Cloud, abra a página IAM.

    Acessar IAM

  2. Clique na caixa de seleção Incluir concessões de papel fornecidas pelo Google.

  3. Procure a conta de serviço com o formato service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com.

  4. Para essa conta de serviço, clique no botão Editar principal.

  5. Se necessário, clique em Adicionar outro papel.

  6. Pesquise e clique na função de editor do Pub/Sub (roles/pubsub.publisher).

  7. Clique em Salvar.

Ativar a publicação em um único tópico

Use esse método somente se o tópico de importação do Amazon MSK já existir.

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Execute o comando gcloud pubsub topics add-iam-policy-binding:

    gcloud pubsub topics add-iam-policy-binding TOPIC_ID \
   --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com" \
   --role="roles/pubsub.publisher"

    Substitua:

    • TOPIC_ID: o ID do tópico de importação do Amazon MSK.

    • PROJECT_NUMBER: o número do projeto. Para conferir o número do projeto, consulte Como identificar projetos.

Adicionar a função de usuário da conta de serviço à conta de serviço

O papel de usuário da conta de serviço (roles/iam.serviceAccountUser) inclui a permissão iam.serviceAccounts.actAs, que permite que um principal anexe uma conta de serviço às configurações de transferência do tópico de importação do Amazon MSK e use essa conta de serviço para identidade federada.

  1. No console do Google Cloud, abra a página IAM.

    Acessar IAM

  2. Para o principal que está emitindo as chamadas de criação ou atualização de tópicos, clique no botão Editar principal.

  3. Se necessário, clique em Adicionar outro papel.

  4. Pesquise e clique em Papel de usuário da conta de serviço (roles/iam.serviceAccountUser).

  5. Clique em Salvar.

Usar tópicos de importação do Amazon MSK

Você pode criar um novo tópico de importação ou editar um já existente.

Considerações

  • Criar o tópico e a assinatura separadamente, mesmo que em rápida sequência, pode levar à perda de dados. Há um curto período em que o tópico existe sem uma assinatura. Se algum dado for enviado para o tópico durante esse período, ele será perdido. Ao criar o tópico primeiro, criar a assinatura e, em seguida, converter o tópico em um tópico de importação, você garante que nenhuma mensagem seja perdida durante o processo de importação.

  • Se você precisar recriar o tópico do Kafka de um tópico de importação com o mesmo nome, não basta excluir e recriar o tópico do Kafka. Essa ação pode invalidar o gerenciamento de deslocamento do Pub/Sub, o que pode levar à perda de dados. Para evitar isso, siga estas etapas:

    • Exclua o tópico de importação do Pub/Sub.
    • Exclua o tópico do Kafka.
    • Crie o tópico Kafka.
    • Crie o tópico de importação do Pub/Sub.

  • Os dados de um tópico do Kafka do Amazon MSK são sempre lidos a partir do deslocamento mais antigo.

Criar tópicos de importação do Amazon MSK

Para saber mais sobre as propriedades associadas a um tópico, consulte Propriedades de um tópico.

Verifique se você concluiu os seguintes procedimentos:

Para criar um tópico de importação do Amazon MSK, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Tópicos.

    Acesse Tópicos

  2. Selecione Criar tópico.

  3. No campo ID do tópico, insira um ID para o tópico de importação do Amazon MSK. Para mais informações sobre como nomear tópicos, consulte as diretrizes de nomenclatura.

  4. Selecione Adicionar uma assinatura padrão.

  5. Selecione Ativar ingestão.

  6. Em "Origem de transferência", selecione Amazon MSK.

  7. Digite os seguintes detalhes:

    • ARN do cluster: o ARN do Amazon MSK que você está ingerindo no Pub/Sub. O formato do ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.

    • Tópico: o nome do tópico do Amazon MSK Kafka que você está ingerindo no Pub/Sub.

    • ARN do papel da AWS: o ARN do papel da AWS. O formato ARN do papel é o seguinte: arn:aws:iam:${Account}:role/${RoleName}.

    • Conta de serviço: a conta de serviço que você criou em Criar uma conta de serviço em Google Cloud.

  8. Selecione Criar tópico.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Execute o comando gcloud pubsub topics create:

    gcloud pubsub topics create TOPIC_ID \
     --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
     --aws-msk-ingestion-topic MSK_TOPIC \
     --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
     --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

    Substitua:

    • TOPIC_ID: o nome ou ID do tópico do Pub/Sub.
    • MSK_CLUSTER_ARN: o ARN do cluster do Amazon MSK que você está ingerindo no Pub/Sub. O formato ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
    • MSK_TOPIC: o nome do tópico do Kafka do Amazon MSK que você está ingerindo no Pub/Sub.
    • MSK_ROLE_ARN: o ARN do papel da AWS. O formato do ARN do papel é o seguinte: arn:aws:iam:${Account}:role/${RoleName}.
    • PUBSUB_SERVICE_ACCOUNT: a conta de serviço que você criou em Criar uma conta de serviço no Google Cloud.

Go

Antes de testar esta amostra, siga as instruções de configuração do Go no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub Go.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

func createTopicWithAWSMSKIngestion(w io.Writer, projectID, topicID, clusterARN, mskTopic, awsRoleARN, gcpSA string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"

	// // AWS MSK ingestion settings.
	// clusterARN := "cluster-arn"
	// mskTopic := "msk-topic"
	// awsRoleARN := "aws-role-arn"
	// gcpSA := "gcp-service-account"

	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	cfg := &pubsub.TopicConfig{
		IngestionDataSourceSettings: &pubsub.IngestionDataSourceSettings{
			Source: &pubsub.IngestionDataSourceAmazonMSK{
				ClusterARN:        clusterARN,
				Topic:             mskTopic,
				AWSRoleARN:        awsRoleARN,
				GCPServiceAccount: gcpSA,
			},
		},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}
	fmt.Fprintf(w, "Created topic with AWS MSK ingestion settings: %v\n", t)
	return nil
}

Java

Antes de testar esta amostra, siga as instruções de configuração do Java no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub Java.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 


import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.IngestionDataSourceSettings;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithAwsMskIngestionExample {
  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";
    // AWS MSK ingestion settings.
    String clusterArn = "cluster-arn";
    String mskTopic = "msk-topic";
    String awsRoleArn = "aws-role-arn";
    String gcpServiceAccount = "gcp-service-account";

    createTopicWithAwsMskIngestionExample(
        projectId, topicId, clusterArn, mskTopic, awsRoleArn, gcpServiceAccount);
  }

  public static void createTopicWithAwsMskIngestionExample(
      String projectId,
      String topicId,
      String clusterArn,
      String mskTopic,
      String awsRoleArn,
      String gcpServiceAccount)
      throws IOException {
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {
      TopicName topicName = TopicName.of(projectId, topicId);

      IngestionDataSourceSettings.AwsMsk awsMsk =
          IngestionDataSourceSettings.AwsMsk.newBuilder()
              .setClusterArn(clusterArn)
              .setTopic(mskTopic)
              .setAwsRoleArn(awsRoleArn)
              .setGcpServiceAccount(gcpServiceAccount)
              .build();
      IngestionDataSourceSettings ingestionDataSourceSettings =
          IngestionDataSourceSettings.newBuilder().setAwsMsk(awsMsk).build();

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  .setIngestionDataSourceSettings(ingestionDataSourceSettings)
                  .build());

      System.out.println("Created topic with AWS MSK ingestion settings: " + topic.getAllFields());
    }
  }
}

Node.js

Antes de testar esta amostra, siga as instruções de configuração do Node.js no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub Node.js.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
const {PubSub} = require('@google-cloud/pubsub');

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId,
  clusterArn,
  mskTopic,
  awsRoleArn,
  gcpServiceAccount
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Python

Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub Python.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

from google.cloud import pubsub_v1
from google.pubsub_v1.types import Topic
from google.pubsub_v1.types import IngestionDataSourceSettings

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"
# cluster_arn = "your-cluster-arn"
# msk_topic = "your-msk-topic"
# aws_role_arn = "your-aws-role-arn"
# gcp_service_account = "your-gcp-service-account"

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(
    name=topic_path,
    ingestion_data_source_settings=IngestionDataSourceSettings(
        aws_msk=IngestionDataSourceSettings.AwsMsk(
            cluster_arn=cluster_arn,
            topic=msk_topic,
            aws_role_arn=aws_role_arn,
            gcp_service_account=gcp_service_account,
        )
    ),
)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with AWS MSK Ingestion Settings")

C++

Antes de testar esta amostra, siga as instruções de configuração do C++ no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub C++.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

namespace pubsub = ::google::cloud::pubsub;
namespace pubsub_admin = ::google::cloud::pubsub_admin;
[](pubsub_admin::TopicAdminClient client, std::string project_id,
   std::string topic_id, std::string const& cluster_arn,
   std::string const& msk_topic, std::string const& aws_role_arn,
   std::string const& gcp_service_account) {
  google::pubsub::v1::Topic request;
  request.set_name(
      pubsub::Topic(std::move(project_id), std::move(topic_id)).FullName());
  auto* aws_msk =
      request.mutable_ingestion_data_source_settings()->mutable_aws_msk();
  aws_msk->set_cluster_arn(cluster_arn);
  aws_msk->set_topic(msk_topic);
  aws_msk->set_aws_role_arn(aws_role_arn);
  aws_msk->set_gcp_service_account(gcp_service_account);

  auto topic = client.CreateTopic(request);
  // Note that kAlreadyExists is a possible error when the library retries.
  if (topic.status().code() == google::cloud::StatusCode::kAlreadyExists) {
    std::cout << "The topic already exists\n";
    return;
  }
  if (!topic) throw std::move(topic).status();

  std::cout << "The topic was successfully created: " << topic->DebugString()
            << "\n";
}

Node.js (TypeScript)

Antes de testar este exemplo, siga as instruções de configuração do Node.js no Guia de início rápido do Pub/Sub: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Pub/Sub Node.js.

Para autenticar no Pub/Sub, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local. 

/**
 * TODO(developer): Uncomment these variables before running the sample.
 */
// const topicNameOrId = 'YOUR_TOPIC_NAME_OR_ID';
// const clusterArn = 'arn:aws:kafka:...';
// const mskTopic = 'YOUR_MSK_TOPIC';
// const roleArn = 'arn:aws:iam:...';
// const gcpServiceAccount = 'ingestion-account@...';

// Imports the Google Cloud client library
import {PubSub} from '@google-cloud/pubsub';

// Creates a client; cache this for further use
const pubSubClient = new PubSub();

async function createTopicWithAwsMskIngestion(
  topicNameOrId: string,
  clusterArn: string,
  mskTopic: string,
  awsRoleArn: string,
  gcpServiceAccount: string
) {
  // Creates a new topic with AWS MSK ingestion.
  await pubSubClient.createTopic({
    name: topicNameOrId,
    ingestionDataSourceSettings: {
      awsMsk: {
        clusterArn,
        topic: mskTopic,
        awsRoleArn,
        gcpServiceAccount,
      },
    },
  });
  console.log(`Topic ${topicNameOrId} created with AWS MSK ingestion.`);
}

Para mais informações sobre ARNs, consulte Nomes de recursos da Amazon (ARNs) e Identificadores do IAM.

Se você tiver problemas, consulte Solução de problemas de um tópico de importação do Amazon MSK.

Editar tópicos de importação do Amazon MSK

Para editar as configurações da fonte de dados de ingestão de um tópico de importação do Amazon MSK, siga estas etapas:

Console

  1. No console do Google Cloud, acesse a página Tópicos.

    Acesse Tópicos

  2. Clique no tópico de importação do Amazon MSK.

  3. Na página de detalhes do tópico, clique em Editar.

  4. Atualize os campos que você quer mudar.

  5. Clique em Atualizar.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Execute o comando gcloud pubsub topics update com todas as flags mencionadas no exemplo a seguir:

    gcloud pubsub topics update TOPIC_ID \
    --aws-msk-ingestion-cluster-arn MSK_CLUSTER_ARN \
    --aws-msk-ingestion-topic MSK_TOPIC \
    --aws-msk-ingestion-aws-role-arn MSK_ROLE_ARN \
    --aws-msk-ingestion-service-account PUBSUB_SERVICE_ACCOUNT

    Substitua:

    • TOPIC_ID: o nome ou ID do tópico do Pub/Sub.
    • MSK_CLUSTER_ARN: o ARN do cluster do Amazon MSK que você está ingerindo no Pub/Sub. O formato ARN é o seguinte: arn:aws:kafka:${Region}:${Account}:cluster/${ClusterName}/${ClusterId}.
    • MSK_TOPIC: o nome do tópico do Amazon MSK Kafka que você está ingerindo no Pub/Sub.
    • MSK_ROLE_ARN: o ARN do papel da AWS. O formato ARN da função é o seguinte: arn:aws:iam:${Account}:role/${RoleName}.
    • PUBSUB_SERVICE_ACCOUNT: a conta de serviço que você criou em Criar uma conta de serviço no Google Cloud.

Cotas e limites

O throughput do editor para tópicos de importação é limitado pela cota de publicação do tópico. Para mais informações, consulte Cotas e limites do Pub/Sub.

A seguir

Apache Kafka® é uma marca registrada da The Apache Software Foundation ou afiliadas nos Estados Unidos e/ou em outros países.