Cotas e limites do Pub/Sub

O Google Cloud usa cotas para restringir quanto de um determinado recurso compartilhado do Google Cloud você pode usar. Cada cota representa um recurso contável específico, como chamadas de API para um determinado serviço, o número de bytes enviados para um determinado serviço ou o número de conexões de streaming usadas simultaneamente pelo seu projeto.

Muitos serviços também têm limites que não estão relacionados ao sistema de cotas. Essas são as restrições fixas, como o tamanho máximo das mensagens ou o número de recursos do Pub/Sub que podem ser criados em um projeto, que não podem ser aumentados ou diminuídos.

Ver e gerenciar cotas

Em um determinado projeto, é possível usar o painel de cotas do IAM e administrador para visualizar as cotas e o uso atuais. Você também pode usar esse painel para fazer o seguinte:

  • reduzir os limites de cota;
  • iniciar um processo para solicitar limites de cota mais altos.

Para ver mais informações sobre monitoramento e alerta relacionados o uso de cotas, consulte a Visão geral do Monitoring.

Atribuição de uso de cota

Para a capacidade do assinante push, o uso da cota é cobrado no projeto que contém a assinatura push. Esse é o projeto que aparece no nome da assinatura.

Para todas as outras cotas, o uso é cobrado no projeto associado às credenciais especificadas na solicitação. O uso de cota não é cobrado no projeto que contém o recurso solicitado.

Por exemplo: se uma conta de serviço no projeto A envia uma solicitação de publicação para um tópico no projeto B, a cota é cobrada no projeto A. Em alguns casos, talvez você queira que o uso da cota seja cobrado em outro projeto. Você pode usar o parâmetro de sistema X-Goog-User-Project para mudar o projeto para atribuição de cota. Para saber mais sobre X-Goog-User-Project, consulte Parâmetros do sistema.

É possível usar a CLI gcloud para definir o projeto para atribuição de cota a uma solicitação específica. A CLI gcloud envia o cabeçalho de solicitação X-Goog-User-Project.

É necessário ter o papel roles/serviceusage.serviceUsageConsumer ou personalizado com a permissão serviceusage.services.use no projeto que você vai usar para atribuição de cota.

O exemplo a seguir mostra como receber uma lista de assinaturas no projeto RESOURCE_PROJECT enquanto cobra a cota de Operações de administrador no projeto QUOTA_PROJECT. Execute o seguinte comando no terminal da Google Cloud CLI:

gcloud pubsub subscriptions list --project=
RESOURCE_PROJECT --billing-project=
QUOTA_PROJECT

Substitua QUOTA_PROJECT pelo ID do projeto do Google Cloud em que você quer cobrar a cota.

No Pub/Sub, o projeto faturado é sempre aquele que contém o recurso. Só é possível alterar o projeto para atribuição de cota.

Cotas do Pub/Sub

As cotas listadas na tabela a seguir podem ser visualizadas e editadas por projeto no painel de cotas de APIs e serviços.

Todas as outras cotas regionais são divididas em três tipos:

  • Regiões grandes: europe-west1, europe-west4, us-central1, us-east1, us-east4, us-west1 e us-west2
  • Regiões médias: asia-east1, asia-northeast1, asia-southeast1, europe-west2 e europe-west3
  • Regiões pequenas: todas as outras

As cotas de entrega exatamente uma vez são específicas da região. Verifique os detalhes de cada região na tabela a seguir.

Cota Limite de cota padrão Descrição
Capacidade do editor por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 48.000.000 KB por minuto (800 MB/s) em regiões médias
  • 12.000.000 KB por minuto (200 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalpublisher

O uso da cota é baseado no tamanho das PubsubMessages publicadas:

É possível incluir várias mensagens em uma única solicitação de publicação, e não há cobrança de cota extra por mensagem.

Capacidade do assinante pull por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 48.000.000 KB por minuto (800 MB/s) em regiões médias
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalsubscriber

O uso da cota é baseado no tamanho das PubsubMessages retornadas:

Capacidade de reconhecimento por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 48.000.000 KB por minuto (800 MB/s) em regiões médias
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalacknowledger

O uso da cota é baseado no tamanho das solicitações Acknowledge e ModifyAckDeadline:

Capacidade do assinante de push e do BigQuery por região
  • 8.400.000 KB por minuto (140 MB/s) em regiões grandes
  • 4.200.000 KB por minuto (70 MB/s) em regiões médias
  • 2.400.000 KB por minuto (40 MB/s) em pequenas regiões

pubsub.googleapis.com/regionalpushsubscriber

Para solicitações de entrega push feitas para o endpoint push, o uso da cota é baseado no tamanho das PubsubMessages enviadas a esse endpoint.

Capacidade de assinante de StreamingPull por região
  • 240.000.000 KB por minuto (4 GB/s) em regiões grandes
  • 48.000.000 KB por minuto (800 MB/s) em regiões médias
  • 24.000.000 KB por minuto (400 MB/s) em regiões pequenas

pubsub.googleapis.com/regionalstreamingpullsubscriber

O uso da cota é baseado no tamanho das PubsubMessages transmitidas para o assinante:

As bibliotecas de cliente usam operações StreamingPull sempre que possível.

Número de conexões StreamingPull abertas por região
  • 72.000 conexões abertas de cada vez em regiões grandes
  • 48.000 conexões abertas por vez em regiões médias
  • 24.000 conexões abertas de cada vez em regiões pequenas

pubsub.googleapis.com/regionalstreamingpullconnections

O número de conexões StreamingPull abertas a qualquer momento. Consulte StreamingPull.

Operações de administrador 6.000 por minuto (100 operações/s)

pubsub.googleapis.com/administrator

Cada operação de administrador como GetTopicRequest cobra uma unidade dessa cota.

Get*, List*, Create*, Delete*, Update*, ModifyPushConfig, SetIamPolicy, GetIamPolicy, TestIamPermissions, ValidateSchema, ValidateMessage e DetachSubscription são operações de administrador.

Número de mensagens consumidas das assinaturas com a entrega apenas uma vez ativada por região
  • 1.000.000 de mensagens por minuto em us-central1
  • 700.000 mensagens por minuto em us-east1
  • 300.000 mensagens por minuto em us-west1
  • 180.000 mensagens por minuto em outras regiões

pubsub.googleapis.com/exactlyoncedeliveredmessagecount

O uso da cota é baseado no número de PubsubMessages consumidos pelo assinante:

Número de mensagens confirmadas ou com um prazo estendido ao usar assinaturas com a entrega única ativada por região
  • 10.000.000 de mensagens por minuto na região us-central1
  • 7.000.000 de mensagens por minuto em us-east1
  • 3.000.000 de mensagens por minuto em us-west1
  • 1.800.000 mensagens por minuto em outras regiões

pubsub.googleapis.com/exactlyonceackcount

O uso da cota é baseado no número de IDs de confirmação nas solicitações Acknowledge e ModifyAckDeadline:

Unidades de cotas de capacidade

O uso da cota de capacidade é medido em unidades de 1 KB. 1 KB é igual a 1.000 bytes. Por exemplo, em uma PublishRequest com 105 mensagens de 50 bytes cada, o tamanho dos dados do usuário será 105 * 50 bytes = 5250 bytes. Portanto, o uso da cota será max(1kB, ceil(5250 bytes/1000)) = 6kB.

Limites de recurso

Recurso Limites
Projeto 10.000 tópicos
10.000 assinaturas anexadas e desanexadas
5.000 snapshots
10.000 esquemas
Tópico 10.000 assinaturas anexadas
5.000 snapshots anexados
Se a retenção de mensagens de tópico estiver configurada, as mensagens publicadas em um tópico poderão ser retidas em arquivos permanentes. por até 31 dias a partir do momento da publicação.
Inscrição Por padrão, as mensagens não confirmadas são mantidas no armazenamento permanente por sete dias a partir do momento da publicação. Não há limite no número de mensagens retidas.
Se os assinantes não usarem uma assinatura, ela expirará. O período de expiração padrão é de 31 dias.
Schema Tamanho do esquema (campo definition): 50 KB
Solicitação de publicação 10 MB (tamanho total)
1.000 mensagens
Message Tamanho da mensagem (campo data): 10 MB
Atributos por mensagem: 100
Tamanho da chave de atributo: 256 bytes
Tamanho do valor de atributo: 1.024 bytes
Streams de StreamingPull 10 MB/s por stream aberto
Mensagens Pull/StreamingPull O serviço pode impor limites ao total de mensagens StreamingPull pendentes por conexão. Caso você se depare com esses limites, aumente a taxa em que as mensagens são confirmadas e o número de conexões utilizadas.
Confirmar e modificar solicitações AckDeadline 512 KB (tamanho total)
Chaves de ordem Se as mensagens tiverem chaves de ordenação, a capacidade máxima do editor será de 1 MBps para cada chave.

Usar uma conta de serviço para cotas maiores

Se você usa a ferramenta gcloud do Google Cloud CLI com uma conta de usuário normal, isto é, uma conta que não é de serviço, as operações do Pub/Sub são limitadas a uma taxa adequada para operações manuais. As taxas acima desse limite resultam no erro RESOURCE_EXHAUSTED. Para solucionar o problema, verifique se você está usando as credenciais da conta de serviço. Se você quiser usar credenciais da CLI gcloud para automação, ative uma conta de serviço nas operações do Pub/Sub.

Use endpoints regionais para encaminhar solicitações

Se você tiver mais cotas em regiões específicas, poderá encaminhar solicitações para elas usando endpoints regionais do Pub/Sub. Quando você publica mensagens em um endpoint global, o serviço do Pub/Sub pode encaminhar o tráfego para uma região que não tem cota suficiente.

Incompatibilidades de cotas

Incompatibilidades de cotas acontecem quando as mensagens publicadas ou recebidas têm menos de 1.000 bytes. Exemplo:

  • Se você publicar 10 mensagens de 500 bytes em solicitações separadas, o uso da cota do editor será de 10.000 bytes. Isso ocorre porque as mensagens com menos de 1.000 bytes são automaticamente arredondadas para o próximo incremento de 1.000 bytes.

  • Se você receber essas 10 mensagens em uma única resposta pull, o uso da cota do assinante poderá ser de apenas 5 KB, já que o tamanho real de cada mensagem é combinado para determinar a cota geral.

  • O inverso também é verdadeiro. O uso da cota do assinante poderá ser maior que o da cota do editor se você publicar várias mensagens em uma única solicitação de publicação ou receber as mensagens em solicitações push separadas.