Assinaturas do Cloud Storage

Uma assinatura do Cloud Storage é um tipo de assinatura de exportação que grava mensagens em um bucket do Cloud Storage em que eles são recebidos. Você não precisa configurar um cliente assinante separado. Use o console do Google Cloud, a Google Cloud CLI, as bibliotecas de cliente ou a API Pub/Sub para criar, atualizar, listar, remover ou excluir um Assinatura do Cloud Storage.

Sem esse tipo de assinatura, você precisa de uma assinatura pull ou push e um assinante (como o Dataflow), que lê mensagens e as grava um bucket do Cloud Storage. O overhead da execução O job do Dataflow não é necessário quando as mensagens não exigem processamento adicional antes de armazená-los em um bucket do Cloud Storage; use uma assinatura do Cloud Storage.

No entanto, um pipeline do Dataflow ainda é recomendado para Sistemas Pub/Sub em que alguma transformação de dados é necessária antes que eles sejam armazenados em um bucket do Cloud Storage.

Para aprender a transmitir dados do Pub/Sub para Cloud Storage com transformação usando o Dataflow consulte Fazer streaming de mensagens do Pub/Sub usando o Dataflow.

Antes de começar

Antes de ler este documento, certifique-se de que você esteja familiarizado com o seguinte:

Fluxo de trabalho de assinatura do Cloud Storage

A imagem a seguir mostra o fluxo de trabalho entre uma Cloud Storage e o Cloud Storage.

Fluxo de mensagens para uma assinatura do Cloud Storage

Figura 1. Fluxo de trabalho para uma assinatura do Cloud Storage

Veja a seguir uma breve descrição do fluxo de trabalho que faz referência à Figura 1:

  1. O Pub/Sub usa a API Cloud Storage para enviar dados para o bucket do Cloud Storage. Após a conclusão de uma uma operação de gravação, a API vai retornar uma resposta OK.

  2. As mensagens são enviadas em lotes para o bucket do Cloud Storage. Um único lote corresponde a um objeto armazenado no do bucket do Cloud Storage. É possível definir as configurações de lote com base o tamanho do objeto e o tempo decorrido desde sua criação.

  3. O fluxo de trabalho para gravar um objeto em um bucket do Cloud Storage exige duas respostas OK. A primeira resposta OK é enviada quando uma mensagem é gravado com sucesso em um objeto. A segunda resposta OK é enviada quando que contém a mensagem é finalizado. Uma mensagem só fica visível depois que o objeto do Cloud Storage que o contém foi finalizada.

  4. Se houver falhas durante a operação de gravação, o A mensagem do Pub/Sub é confirmada de maneira negativa. A mensagem é reenviada. Se a operação de gravação da mensagem falhar muitas vezes e você tem um tópico de mensagens mortas configurado na assinatura, a mensagem é movida para o tópico de mensagens inativas.

Propriedades de uma assinatura do Cloud Storage

Ao criar uma assinatura do Cloud Storage, especifique algumas propriedades adicionais. Essas propriedades incluem assinaturas comuns propriedades, requisitos de nome de arquivo e formato, requisitos de armazenamento e muito mais. Para saber mais sobre essas propriedades, consulte Propriedades da assinatura do Cloud Storage.

Permissões da conta de serviço do Pub/Sub

Para criar uma assinatura do Cloud Storage, A conta de serviço do Pub/Sub precisa ter permissão para gravar no um bucket específico do Cloud Storage e ler os metadados dele.

Para mais informações, consulte Atribua papéis do Cloud Storage à conta de serviço do Pub/Sub.

Lidar com falhas de mensagens

Quando uma mensagem do Pub/Sub não pode ser gravada em um do bucket do Cloud Storage, a mensagem não poderá ser confirmada. Para encaminhar essas mensagens não entregues, configure um tópico de mensagens inativas na assinatura do Cloud Storage.

Se o Pub/Sub não puder gravar mensagens no Cloud Storage, o Pub/Sub recua a entrega de mensagens de maneira semelhante comportamento de espera por push.

Cotas

As limitações de cota se aplicam à capacidade do assinante do Cloud Storage de cada região. Para informações sobre as cotas do Cloud Storage consulte os limites de cota de assinantes de exportação em Cotas e limites do Pub/Sub.

Preços

Para informações sobre os preços do Cloud Storage consulte a página de preços do Pub/Sub.

A seguir