Cotas e limites do Pub/Sub

O Google Cloud usa cotas para restringir quantos recursos específicos do Google Cloud você pode usar. Cada cota representa um recurso contável específico, como chamadas de API para um serviço específico, o número de bytes enviados a um determinado serviço ou o número de conexões de streaming usadas simultaneamente pelo seu projeto.

Muitos serviços também têm limites que não estão relacionados ao sistema de cotas. Elas são restrições fixas, como tamanhos máximos de mensagens ou o número de recursos Pub/Sub que você pode criar em um projeto, que não podem ser aumentados ou diminuídos.

Ver e gerenciar cotas

Em um determinado projeto, é possível usar o painel de cotas do IAM e administrador para visualizar as cotas e o uso atuais. Também é possível usar o painel para fazer o seguinte:

  • reduzir os limites de cota;
  • iniciar um processo para solicitar limites de cota mais altos.

Para ver mais informações sobre monitoramento e alerta relacionados o uso de cotas, consulte a Visão geral do Monitoring.

Atribuição de uso de cota

Para a capacidade do assinante push, o uso da cota é cobrado no projeto que contém a assinatura push. Esse é o projeto que aparece no nome da assinatura.

Para todas as outras cotas, o uso é cobrado no projeto associado às credenciais especificadas na solicitação. O uso da cota não é cobrado pelo projeto que contém o recurso solicitado.

Por exemplo: se uma conta de serviço no projeto A enviar uma solicitação de publicação para um tópico no projeto B, a cota será cobrada no projeto A. Em alguns casos, pode ser necessário cobrar o uso de cota por outro projeto. Você pode usar o parâmetro de sistema X-Goog-User-Project para mudar o projeto para atribuição de cota. Para saber mais sobre X-Goog-User-Project, consulte Parâmetros do sistema.

Use a CLI gcloud para definir o projeto para atribuição de cota a uma solicitação específica. A CLI gcloud envia o cabeçalho de solicitação X-Goog-User-Project.

É necessário ter o papel roles/serviceusage.serviceUsageConsumer ou um papel personalizado com a permissão serviceusage.services.use no projeto que você usará para a atribuição de cota.

O exemplo a seguir mostra como receber uma lista de assinaturas no projeto RESOURCE_PROJECT enquanto carrega a cota de operações de administrador no projeto QUOTA_PROJECT. Execute o seguinte comando no terminal da CLI do Google Cloud:

gcloud pubsub subscriptions list --project=
RESOURCE_PROJECT --billing-project=
QUOTA_PROJECT

Substitua QUOTA_PROJECT pelo ID do projeto do Google Cloud que você quer usar para cobrança.

No Pub/Sub, o projeto faturado é sempre o que contém o recurso. Só é possível alterar o projeto para atribuição de cota.

Cotas do Pub/Sub

As cotas listadas na tabela a seguir podem ser visualizadas e editadas por projeto no painel de cotas de APIs e serviços.

As cotas regionais estão divididas em dois tipos:

  • Regiões grandes: europe-west1, us-central1, us-east1, us-west1
  • Regiões pequenas: todas as outras

Cota Limite de cota padrão Descrição
Capacidade do editor por região
  • 120.000.000 KB por minuto (2 GB/s) em regiões grandes
  • 12.000.000 KB por minuto (200 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalpublisher

O uso da cota é baseado no tamanho das PubsubMessages publicadas:

É possível incluir várias mensagens em uma única solicitação de publicação, e não há cobrança de cota extra por mensagem.

Capacidade do assinante pull por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalsubscriber

O uso da cota é baseado no tamanho das PubsubMessages retornadas:

Capacidade de reconhecimento por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalacknowledger

O uso da cota é baseado no tamanho das solicitações Acknowledge e ModifyAckDeadline:

Capacidade de assinantes de push e do BigQuery por região
  • 8.400.000 KB por minuto (140 MB/s) em regiões grandes
  • 1.200.000 KB por minuto (20 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalpushsubscriber

Para solicitações de entrega push feitas para o endpoint push, o uso da cota é baseado no tamanho das PubsubMessages enviadas a esse endpoint.

Capacidade de assinante de StreamingPull por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalstreamingpullsubscriber

O uso da cota é baseado no tamanho das PubsubMessages transmitidas para o assinante:

As bibliotecas de cliente usam operações StreamingPull sempre que possível.

Número de conexões StreamingPull abertas por região
  • 72.000 conexões abertas de cada vez em regiões grandes
  • 24.000 conexões abertas de cada vez em regiões pequenas

pubsub.googleapis.com/regionalstreamingpullconnections

O número de conexões StreamingPull abertas a qualquer momento. Consulte StreamingPull.

Operações de administrador 6.000 por minuto (100 operações/s)

pubsub.googleapis.com/administrator

Cada operação de administrador como GetTopicRequest cobra uma unidade dessa cota.

Get*, List*, Create*, Delete*, ModifyPushConfig, SetIamPolicy, GetIamPolicy, TestIamPermissions, ValidateSchema, ValidateMessage e DetachSubscription são operações de administrador.

Número de mensagens consumidas das assinaturas com a entrega apenas uma vez ativada por região
  • 10.000.000 de mensagens por minuto em regiões grandes
  • 1.000.000 de mensagens por minuto em regiões pequenas

pubsub.googleapis.com/exactlyoncedeliveredmessagecount

O uso da cota é baseado no número de PubsubMessages consumidos pelo assinante:

Número de mensagens confirmadas ou cujo prazo é estendido ao usar assinaturas com a entrega exatamente uma vez ativada por região
  • 100.000.000 de operações por minuto em regiões grandes
  • 10.000.000 de operações por minuto em regiões pequenas

pubsub.googleapis.com/exactlyonceackcount

O uso da cota é baseado no número de IDs de confirmação nas solicitações Acknowledge e ModifyAckDeadline:

Unidades de cotas de capacidade

O uso da cota de capacidade é medido em unidades de 1 KB. 1 KB é igual a 1.000 bytes. Por exemplo, em uma PublishRequest com 105 mensagens de 50 bytes cada, o tamanho dos dados do usuário será 105 * 50 bytes = 5250 bytes. Portanto, o uso da cota será max(1kB, ceil(5250 bytes/1000)) = 6kB.

Limites de recurso

Recurso Limites
Projeto 10.000 tópicos
10.000 assinaturas anexadas e desanexadas
5.000 snapshots
10.000 esquemas
Tópico 10.000 assinaturas anexadas
5.000 snapshots anexados
Se a retenção de mensagens de tópico estiver configurada, as mensagens publicadas em um tópico poderão ser retidas em arquivos permanentes. por até 31 dias a partir do momento da publicação.
Inscrição Por padrão, as mensagens não confirmadas são mantidas no armazenamento permanente por sete dias a partir do momento da publicação. Não há limite no número de mensagens retidas.
Se os assinantes não usarem uma assinatura, ela expirará. O período de expiração padrão é de 31 dias.
Schema Tamanho do esquema (campo definition): 50 KB
Solicitação de publicação 10 MB (tamanho total)
1.000 mensagens
Message Tamanho da mensagem (campo data): 10 MB
Atributos por mensagem: 100
Tamanho da chave de atributo: 256 bytes
Tamanho do valor do atributo: 1.024 bytes
Mensagens por push pendentes

3,000 * N por padrão.

30,000 * N para assinaturas que confirmam mais de 99% das mensagens e alcançam, em média, menos de 1 segundo de latência de solicitação push. l10n-attrs-original-order="of,push,request">

N é o número de regiões de publicação. Para mais informações, consulte Como usar as assinaturas push.

Streams de StreamingPull 10 MB/s por stream aberto
Mensagens Pull/StreamingPull O serviço pode impor limites ao total de mensagens StreamingPull pendentes por conexão. Caso você se depare com esses limites, aumente a taxa em que as mensagens são confirmadas e o número de conexões utilizadas.
Confirmar e modificar solicitações de AckDeadline 512 KB (tamanho total)
Ordenar chaves Se as mensagens tiverem chaves de ordem, a capacidade máxima do editor será de 1 MBps para cada chave.

Usar uma conta de serviço para cotas maiores

Se você usa a ferramenta gcloud da Google Cloud CLI com uma conta de usuário normal (ou seja, uma conta de serviço), as operações do Pub/Sub são limitadas a uma taxa adequada para operações manuais. As taxas acima desse limite resultam no erro RESOURCE_EXHAUSTED. Para solucionar o problema, verifique se você está usando as credenciais da conta de serviço. Se você quer usar credenciais da CLI gcloud para automação, ative uma conta de serviço para suas operações do Pub/Sub.

Usar endpoints regionais para encaminhar solicitações

Se você tiver mais cotas em regiões específicas, poderá encaminhar solicitações para elas usando endpoints regionais do Pub/Sub. Quando você publica mensagens em um endpoint global, o serviço do Pub/Sub pode encaminhar o tráfego para uma região que não tem cota suficiente.

Incompatibilidades de cotas

Incompatibilidades de cotas acontecem quando as mensagens publicadas ou recebidas têm menos de 1.000 bytes. Exemplo:

  • Se você publicar 10 mensagens de 500 bytes em solicitações separadas, o uso da cota do editor será de 10.000 bytes. Isso ocorre porque as mensagens com menos de 1.000 bytes são automaticamente arredondadas para o próximo incremento de 1.000 bytes.

  • Se você receber essas 10 mensagens em uma única resposta pull, o uso da cota do assinante poderá ser de apenas 5 KB, já que o tamanho real de cada mensagem é combinado para determinar a cota geral.

  • O inverso também é verdadeiro. O uso da cota do assinante poderá ser maior que o da cota do editor se você publicar várias mensagens em uma única solicitação de publicação ou receber as mensagens em solicitações push separadas.