Neste documento, listamos as cotas que se aplicam ao Dataplex.
O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud.
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites em recursos do Dataplex. Esses limites não estão relacionados ao sistema de cotas. Não é possível mudar os limites, a menos que seja indicado o contrário.
O Dataplex aplica cotas ao número de solicitações de API durante um período específico e ao número de recursos que podem ser criados em um projeto. As cotas protegem você contra picos de uso imprevistos e serviços sobrecarregados. Saiba mais sobre por que as cotas são aplicadas.
Quanto mais você usar o Dataplex, suas necessidades de cota podem aumentar. Se a cota for muito baixa para atender às suas necessidades ou se você espera uma de uso, você poderá solicitar um aumento de cota.
Cotas para solicitações
A API Dataplex aplica cotas para o gerenciamento de recursos do Dataplex Catalog e solicitações de pesquisa em diferentes níveis, independentemente da origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, Google Cloud CLI e console do Google Cloud.
As cotas a seguir se aplicam às solicitações do Dataplex:
Cota | Padrão |
---|---|
Solicitações de leitura de entradas e aspectos por projeto, região e minuto | 6.000 |
Solicitações de gravação de entradas e aspectos por projeto, região e minuto | 1500 |
Ler solicitações de tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário, por minuto | 100 |
Ler solicitações de tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto | 200 |
Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário, por minuto | 10 |
Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto | 20 |
Solicitações de pesquisa por projeto, usuário e minuto | 900 |
Solicitações de pesquisa por projeto a cada minuto | 1200 |
Solicitações de pesquisa por organização por minuto | 2400 |
Solicitações de pesquisa por organização por dia | 345600 |
Para cada solicitação do Dataplex listada na tabela a seguir, a cota é aplicada no nível por projeto e por projeto por usuário.
Cota | Exemplos |
---|---|
Solicitações de leitura para gerenciamento de recursos | Acessar um lake e listar as zonas |
Solicitações de gravação para gerenciamento de recursos | Criar um lake e excluir um recurso |
Receber solicitações de metadados | Acessar uma entidade, receber uma partição |
Listar solicitações de metadados | Listar entidades e partições |
Solicitações de gravação de metadados | Atualizar uma entidade e excluir uma partição |
Ler solicitações de recursos de tarefas e jobs | Receber uma tarefa, listar jobs |
Solicitações de gravação para recursos de tarefas e jobs | Criar uma tarefa, cancelar um job |
Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas de recursos
A cota de recursos é aplicada no nível por projeto para os seguintes tipos de recursos: lake, zona, ativo, tarefa sob demanda, tarefa recorrente. Verifique seu uso atual da cota do Dataplex na página Cotas do console do Google Cloud.
Solicitar aumento de cota
No console do Google Cloud, acesse a página Cotas.
A página mostra uma lista de cotas.
Selecione as cotas que você quer modificar e clique em Editar cotas.
Insira a nova cota selecionada.
Clique em Enviar solicitação.
Para aumentar ou diminuir a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar uma cota maior.
Dependências de cota
Seu uso do Dataplex pode envolver outros produtos do Google Cloud. Por exemplo, a descoberta de dados requer a invocação do Cloud Storage e/ou APIs do BigQuery para interagir com os recursos. Esses produtos têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataplex.
Páginas de cota de outros produtos que podem ser usados com o Dataplex:
Esta não é uma lista completa.
Limites
Os limites a seguir se aplicam ao catálogo e à pesquisa do Dataplex:
Limite | Valor |
---|---|
Tamanho de uma solicitação de entrada e aspecto | 2 MB |
Tamanho de um ID de entrada | 4.000 caracteres |
Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
Tamanho do nome de exibição da origem em uma entrada | 500 caracteres |
Tamanho da descrição da fonte de entrada em uma entrada | 2.000 caracteres |
Tamanho do recurso de origem de entrada em uma entrada | 4.000 caracteres |
Comprimento do sistema de origem da entrada em uma entrada | 64 caracteres |
Comprimento da plataforma de origem da entrada | 64 caracteres |
Tamanho dos rótulos da origem em uma entrada | 128 caracteres para cada chave e valor |
Tamanho do conteúdo JSON em um aspecto | 120 KB |
Tamanho total de uma entrada | 5 MB |
Número máximo de aspectos em uma entrada | 10.000 |
Tamanho do nome de exibição do tipo de entrada, do tipo de aspecto e do grupo de entrada | 256 |
Tamanho da descrição do tipo de entrada, tipo de aspecto e grupo de entrada | 1024 |
Número máximo de tipos de aspecto obrigatórios em um tipo de entrada | 20 |
Número máximo de valores de tipo de aspecto em um modelo de tipo de aspecto | 1024 |
Número máximo de itens nos resultados da pesquisa do Dataplex | 500 |