Neste documento, listamos as cotas que se aplicam ao Dataplex.
O Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários do Google Cloud, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud.
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud.
- Restringe o consumo desses recursos.
- Oferece uma maneira de solicitar alterações no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao projeto do nível Google Cloud. O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud, as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites do sistema para os recursos do Dataplex. Não é possível alterar os limites do sistema.
O Dataplex aplica cotas no número de solicitações de API durante uma período específico e o número de recursos que podem ser criados em uma projeto. As cotas protegem você de picos de uso imprevistos e sobrecarga serviços. Saiba mais sobre por que as cotas são aplicadas.
À medida que você usa o Dataplex, suas necessidades de cota podem aumentar. Se a cota estiver abaixo das suas necessidades ou se você espera um aumento no uso, solicite um aumento de cota proativamente.
Cotas para solicitações
A API Dataplex aplica cotas ao recurso do Dataplex Catalog de gerenciamento e pesquisa em níveis diferentes, independentemente das origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, a Google Cloud CLI e o console do Google Cloud.
As cotas a seguir se aplicam às solicitações do Dataplex:
| Cota | Padrão |
|---|---|
| Solicitações de leitura de entradas e aspectos por projeto, por região e por minuto | 6.000 |
| Solicitações de gravação de entradas e aspectos por projeto, por região e por minuto | 1500 |
| Solicitações de leitura de tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto | 100 |
| Ler solicitações de tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto | 200 |
| Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto, por usuário, por minuto | 10 |
| Escrever solicitações para tipos de aspecto, tipos de entrada e grupos de entrada por projeto a cada minuto | 20 |
| Solicitações de pesquisa por projeto, por usuário e por minuto | 900 |
| Solicitações de pesquisa por projeto e por minuto | 1200 |
| Solicitações de pesquisa por organização por minuto | 2400 |
| Solicitações de pesquisa por organização por dia | 345600 |
| Solicitações de leitura para jobs de metadados por projeto, por região e por minuto | 400 |
| Solicitações de leitura de jobs de metadados por projeto, usuário e região por minuto | 200 |
| Solicitações de gravação para jobs de metadados por projeto, região e minuto | 20 |
| Solicitações de gravação para jobs de metadados por projeto, usuário e região por minuto | 10 |
Para cada solicitação do Dataplex listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto e usuário.
| Cota | Exemplos |
|---|---|
| Solicitações de leitura para gerenciamento de recursos | Acessar um lake, listar as zonas |
| Solicitações de gravação para gerenciamento de recursos | Criar um lake e excluir um recurso |
| Receber solicitações de metadados | Acessar uma entidade, receber uma partição |
| Listar solicitações de metadados | Listar entidades, listar partições |
| Solicitações de gravação de metadados | Atualizar uma entidade e excluir uma partição |
| Ler solicitações de recursos de tarefas e jobs | Receber uma tarefa, listar jobs |
| Solicitações de gravação para recursos de tarefas e jobs | Criar uma tarefa e cancelar um job |
| Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas para recursos
A cota de recursos é aplicada no nível por projeto para os seguintes tipos de recursos: lake, zona, ativo, tarefa sob demanda, tarefa recorrente. Verifique seu uso atual da cota do Dataplex na página Cotas no console do Google Cloud.
Solicitar aumento de cota
No console do Google Cloud, acesse a página Cotas.
A página mostra uma lista de cotas.
Selecione as cotas que você quer modificar e clique em Editar cotas.
Insira a nova cota selecionada.
Clique em Enviar solicitação.
Para ajustar a maioria das cotas, use o console do Google Cloud. Para mais informações, consulte Solicitar um ajuste de cota.
Dependências de cota
Seu uso do Dataplex pode envolver outros produtos do Google Cloud. Por exemplo, a descoberta de dados exige a invocação das APIs do Cloud Storage e/ou do BigQuery para interagir com os recursos subjacentes. Esses produtos têm cotas de nível de projeto, o que inclui cotas que se aplicam a o uso do Dataplex.
Páginas de cota de outros produtos que você pode usar com o Dataplex:
Esta não é uma lista completa.
Limites
Os limites a seguir se aplicam ao Dataplex Catalog e à pesquisa:
| Limite | Valor |
|---|---|
| Tamanho de uma solicitação de entrada e aspecto | 2 MB |
| Tamanho de um ID de entrada | 4.000 caracteres |
| Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
| Tamanho do nome de exibição da origem em uma entrada | 500 caracteres |
| Tamanho da descrição da fonte de entrada em uma entrada | 2.000 caracteres |
| Comprimento do recurso de origem da entrada | 4.000 caracteres |
| Comprimento do sistema de origem da entrada em uma entrada | 64 caracteres |
| Tamanho da plataforma de origem de entrada em uma entrada | 64 caracteres |
| Comprimento dos rótulos de origem da entrada | 128 caracteres para cada chave e valor |
| Tamanho do conteúdo JSON em um aspecto | 120 KB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspectos em uma entrada | 10.000 |
| Comprimento do nome de exibição do tipo de entrada, tipo de aspecto e grupo de entrada | 256 |
| Tamanho da descrição do tipo de entrada, tipo de aspecto e grupo de entrada | 1024 |
| Número máximo de tipos de aspecto obrigatórios em um tipo de entrada | 20 |
| Número máximo de valores de tipo enumerado em um modelo de tipo de aspecto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Dataplex | 500 |