Cotas e limites

Neste documento, listamos as cotas que se aplicam ao Dataplex.

O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.

O sistema de cotas do Cloud faz o seguinte:

  • Monitora o consumo de produtos e serviços do Google Cloud.
  • Restringe o consumo desses recursos.
  • Oferece uma maneira de solicitar alterações no valor da cota

Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.

As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.

Também há limites do sistema para os recursos do Dataplex. Não é possível alterar os limites do sistema.

O Dataplex aplica cotas no número de solicitações de API durante uma período específico e o número de recursos que podem ser criados em uma projeto. As cotas protegem você de picos de uso imprevistos e sobrecarga serviços. Saiba mais sobre por que as cotas são aplicadas.

À medida que você usa o Dataplex, suas necessidades de cota podem aumentar. Se a cota estiver abaixo das suas necessidades ou se você espera um aumento no uso, solicite um aumento de cota proativamente.

Cotas para solicitações

A API Dataplex aplica cotas ao recurso do Dataplex Catalog de gerenciamento e pesquisa em níveis diferentes, independentemente das origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, a Google Cloud CLI e o console do Google Cloud.

As cotas a seguir se aplicam às solicitações do Dataplex:

Cota Padrão
Solicitações de leitura de entradas e aspectos por projeto, por região e por minuto 6.000
Solicitações de gravação de entradas e aspectos por projeto, por região e por minuto 1500
Solicitações de leitura de tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto 100
Ler solicitações de tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto 200
Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário, por minuto 10
Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto 20
Solicitações de pesquisa por projeto, por usuário e por minuto 900
Solicitações de pesquisa por projeto e por minuto 1200
Solicitações de pesquisa por organização por minuto 2400
Solicitações de pesquisa por organização por dia 345600
Solicitações de leitura para jobs de metadados por projeto, por região e por minuto 400
Solicitações de leitura de jobs de metadados por projeto, usuário e região por minuto 200
Solicitações de gravação para jobs de metadados por projeto, região e minuto 20
Solicitações de gravação para jobs de metadados por projeto, usuário e região por minuto 10

Para cada solicitação do Dataplex listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto e usuário.

Cota Exemplos
Solicitações de leitura para gerenciamento de recursos Acessar um lake, listar as zonas
Solicitações de gravação para gerenciamento de recursos Criar um lake e excluir um recurso
Receber solicitações de metadados Acessar uma entidade, receber uma partição
Listar solicitações de metadados Listar entidades, listar partições
Solicitações de gravação de metadados Atualizar uma entidade e excluir uma partição
Ler solicitações de recursos de tarefas e jobs Receber uma tarefa, listar jobs
Solicitações de gravação para recursos de tarefas e jobs Criar uma tarefa e cancelar um job
Definir solicitações de política do IAM Definir uma política do IAM.

Cotas para recursos

A cota de recursos é aplicada no nível por projeto para os seguintes tipos de recursos: lake, zona, ativo, tarefa sob demanda, tarefa recorrente. Verifique seu uso atual da cota do Dataplex na página Cotas no console do Google Cloud.

Solicitar aumento de cota

  1. No console do Google Cloud, acesse a página Cotas.

    Acessar "Cotas"

    A página mostra uma lista de cotas.

  2. Selecione as cotas que você quer modificar e clique em Editar cotas.

  3. Insira a nova cota selecionada.

  4. Clique em Enviar solicitação.

Para ajustar a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar um ajuste de cota.

Dependências de cota

Seu uso do Dataplex pode envolver outros produtos do Google Cloud. Por exemplo, a descoberta de dados exige a invocação das APIs do Cloud Storage e/ou do BigQuery para interagir com os recursos subjacentes. Esses produtos têm cotas de nível de projeto, o que inclui cotas que se aplicam a o uso do Dataplex.

Páginas de cota de outros produtos que você pode usar com o Dataplex:

Esta não é uma lista completa.

Limites

Os limites a seguir se aplicam ao Dataplex Catalog e à pesquisa:

Limite Valor
Tamanho de uma solicitação de entrada e aspecto 2 MB
Tamanho de um ID de entrada 4.000 caracteres
Comprimento de um nome totalmente qualificado em uma entrada 4.000 caracteres
Tamanho do nome de exibição da origem em uma entrada 500 caracteres
Tamanho da descrição da fonte de entrada em uma entrada 2.000 caracteres
Comprimento do recurso de origem da entrada 4.000 caracteres
Comprimento do sistema de origem da entrada em uma entrada 64 caracteres
Tamanho da plataforma de origem de entrada em uma entrada 64 caracteres
Comprimento dos rótulos de origem da entrada 128 caracteres para cada chave e valor
Tamanho do conteúdo JSON em um aspecto 120 KB
Tamanho total de uma entrada 5 MB
Número máximo de aspectos em uma entrada 10.000
Comprimento do nome de exibição do tipo de entrada, tipo de aspecto e grupo de entrada 256
Tamanho da descrição do tipo de entrada, tipo de aspecto e grupo de entrada 1024
Número máximo de tipos de aspecto obrigatórios em um tipo de entrada 20
Número máximo de valores de tipo enumerado em um modelo de tipo de aspecto 1024
Número máximo de itens nos resultados da pesquisa do Dataplex 500