Neste documento, listamos as cotas que se aplicam ao Dataplex.
Google Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe quanto de um recurso do Google Cloud o projeto do Google Cloud pode usar. As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, as cotas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de Google Cloud usuários, impedindo a sobrecarga de serviços. As cotas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud
- Restringe o consumo desses recursos.
- Fornece um meio de solicitar mudanças no valor da cota
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Também há limites de sistema nos recursos do Dataplex. Não é possível alterar os limites.
O Dataplex aplica cotas ao número de solicitações de API durante um período específico e ao número de recursos que podem ser criados em um projeto. As cotas protegem você contra picos de uso imprevistos e serviços sobrecarregados. Saiba por que as cotas são aplicadas.
À medida que você usa o Dataplex, suas necessidades de cota podem aumentar. Se a cota estiver abaixo das suas necessidades ou se você espera um aumento no uso, solicite um aumento de cota.
Cotas para solicitações
A API Dataplex aplica cotas para o gerenciamento de recursos do Dataplex Catalog e solicitações de pesquisa em diferentes níveis, independentemente da origem. Isso inclui as solicitações originadas diretamente de chamadas de API, bibliotecas de cliente, Google Cloud CLI e Google Cloud .
As cotas a seguir se aplicam às solicitações do Dataplex:
| Cota | Padrão |
|---|---|
| Solicitações de leitura de entradas e aspectos por projeto, região e minuto | 6000 |
| Solicitações de gravação de entradas e aspectos por projeto, região e minuto | 1500 |
| Solicitações de leitura de tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto | 100 |
| Solicitações de leitura de tipos de aspecto, tipos de entrada e grupos de entrada por projeto e por minuto | 200 |
| Solicitações de gravação de tipos de aspecto, tipos de entrada e grupos de entrada por projeto, usuário e minuto | 10 |
| Solicitações de gravação de tipos de aspecto, tipos de entrada e grupos de entrada por projeto e minuto | 20 |
| Solicitações de pesquisa por projeto, usuário e minuto | 900 |
| Solicitações de pesquisa por projeto e por minuto | 1200 |
| Solicitações de pesquisa por organização por minuto | 2400 |
| Solicitações de pesquisa por organização por dia | 345600 |
| Solicitações de leitura de jobs de metadados por projeto, por região e por minuto | 400 |
| Solicitações de leitura de trabalhos de metadados por projeto, usuário e região por minuto | 200 |
| Solicitações de gravação de jobs de metadados por projeto, por região e por minuto | 20 |
| Solicitações de gravação para jobs de metadados por projeto, usuário e região por minuto | 10 |
Para cada solicitação do Dataplex listada na tabela a seguir, a cota é aplicada nos níveis por projeto e por projeto e usuário.
| Cota | Exemplos |
|---|---|
| Solicitações de leitura para gerenciamento de recursos | Acessar um lake e listar as zonas |
| Solicitações de gravação para gerenciamento de recursos | Criar um lake e excluir um recurso |
| Receber solicitações de metadados | Receber uma entidade, receber uma partição |
| Listar solicitações de metadados | Listar entidades e partições |
| Solicitações de gravação de metadados | Atualizar uma entidade e excluir uma partição |
| Ler solicitações de recursos de tarefas e jobs | Receber uma tarefa, listar jobs |
| Solicitações de gravação para recursos de tarefas e jobs | Criar uma tarefa e cancelar um job |
| Definir solicitações de política do IAM | Definir uma política do IAM. |
Cotas de recursos
A cota de recursos é aplicada no nível do projeto para os seguintes tipos de recursos: lake, zona, recurso, tarefa sob demanda e tarefa recorrente. Verifique seu uso atual da cota do Dataplex na página Cotas do console do Google Cloud .
Solicitar aumento de cota
No console do Google Cloud , acesse a página Cotas.
Selecione a cota que você quer modificar.
Clique em Mais ações > Editar cota.
Insira o novo valor de cota e uma descrição da solicitação.
Clique em Próxima.
Insira os dados de contato.
Clique em Enviar solicitação.
Para ajustar a maioria das cotas, use o console do Google Cloud . Para mais informações, consulte Solicitar um ajuste de cota.
Dependências de cota
Seu uso do Dataplex pode envolver outros produtos do Google Cloud . Por exemplo, a descoberta de dados exige a invocação das APIs do Cloud Storage e/ou BigQuery para interagir com os recursos subjacentes. Esses produtos têm cotas de nível de projeto, o que inclui cotas relevantes ao uso do Dataplex.
Páginas de cota de outros produtos que você pode usar com o Dataplex:
Esta não é uma lista completa.
Limites
Os limites a seguir se aplicam ao Dataplex Catalog e à pesquisa:
| Limite | Valor |
|---|---|
| Tamanho de uma solicitação de entrada e aspectos (incluindo o aspecto do esquema) | 2 MB |
| Comprimento de um ID de entrada | 4.000 caracteres |
| Comprimento de um nome totalmente qualificado em uma entrada | 4.000 caracteres |
| Tamanho do nome de exibição da origem da entrada | 500 caracteres |
| Comprimento da descrição da origem da entrada | 2.000 caracteres |
| Comprimento do recurso de origem da entrada | 4.000 caracteres |
| Comprimento do sistema de origem da entrada em uma entrada | 64 caracteres |
| Comprimento da plataforma de origem da entrada | 64 caracteres |
| Comprimento dos rótulos de origem da entrada em uma entrada | 128 caracteres para cada chave e valor |
| Tamanho do conteúdo JSON em um aspecto (exceto o aspecto do esquema) | 120 KB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspectos em uma entrada | 10.000 |
| Comprimento do nome de exibição do tipo de entrada, tipo de aspecto e grupo de entrada | 256 |
| Comprimento da descrição do tipo de entrada, do tipo de aspecto e do grupo de entrada | 1024 |
| Tamanho do nome do campo em um modelo de tipo de aspecto | 63 |
| Número máximo de tipos de aspecto obrigatórios em um tipo de entrada | 20 |
| Número máximo de valores de tipo de aspecto em um modelo de tipo de aspecto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Dataplex | 500 |