Este documento lista as quotas que se aplicam ao Dataplex Universal Catalog.
Google Cloud usa quotas para ajudar a garantir a equidade e reduzir os picos na utilização e disponibilidade de recursos. Uma quota restringe a quantidade de um Google Cloud recurso que o seu Google Cloud projeto pode usar. As quotas aplicam-se a uma variedade de tipos de recursos, incluindo componentes de hardware, software e rede. Por exemplo, as quotas podem restringir o número de chamadas API para um serviço, o número de balanceadores de carga usados em simultâneo pelo seu projeto ou o número de projetos que pode criar. As quotas protegem a comunidade de Google Cloud utilizadores, impedindo a sobrecarga dos serviços. As quotas também ajudam a gerir os seus próprios Google Cloud recursos.
O sistema de quotas da nuvem faz o seguinte:
- Monitoriza o seu consumo de Google Cloud produtos e serviços
- Restringe o seu consumo desses recursos
- Oferece uma forma de pedir alterações ao valor da quota e automatizar os ajustes de quotas
Na maioria dos casos, quando tenta consumir mais de um recurso do que a respetiva quota permite, o sistema bloqueia o acesso ao recurso e a tarefa que está a tentar realizar falha.
Geralmente, as quotas aplicam-se ao nível do Google Cloud projeto A sua utilização de um recurso num projeto não afeta a sua quota disponível noutro projeto. Num Google Cloud projeto, as quotas são partilhadas por todas as aplicações e endereços IP.
Também existem limites do sistema nos recursos do Dataplex Universal Catalog. Não é possível alterar os limites do sistema.
O Dataplex Universal Catalog aplica quotas ao número de pedidos de API durante um período específico e ao número de recursos que podem ser criados num projeto. As quotas protegem-no contra picos imprevistos na utilização e serviços sobrecarregados. Saiba mais acerca dos motivos pelos quais as quotas são aplicadas.
As suas necessidades de quota podem aumentar à medida que usa o Dataplex Universal Catalog. Se uma quota for demasiado baixa para satisfazer as suas necessidades ou esperar um aumento próximo na utilização, pode pedir proativamente um aumento da quota.
Quotas para pedidos da API Dataplex
A API Dataplex aplica quotas para pedidos de gestão e pesquisa de recursos do Dataplex Universal Catalog a diferentes níveis, independentemente da respetiva origem. Isto inclui os pedidos originados diretamente de chamadas API, bibliotecas cliente, Google Cloud CLI e Google Cloud consola.
As seguintes quotas aplicam-se a pedidos do Dataplex Universal Catalog:
| Quota | Predefinição |
|---|---|
| Pedidos de leitura de entradas e aspetos por projeto por região por minuto | 6000 |
| Pedidos de gravação de entradas e aspetos por projeto por região por minuto | 1500 |
| Pedidos de leitura de tipos de aspetos, tipos de entradas e grupos de entradas por projeto, por utilizador e por minuto | 100 |
| Ler pedidos de tipos de aspetos, tipos de entradas e grupos de entradas por projeto por minuto | 200 |
| Pedidos de gravação para tipos de aspetos, tipos de entradas e grupos de entradas por projeto, por utilizador e por minuto | 10 |
| Escrever pedidos de tipos de aspetos, tipos de entradas e grupos de entradas por projeto por minuto | 20 |
| Pedidos de pesquisa por projeto, por utilizador, por minuto | 900 |
| Pedidos de pesquisa por projeto por minuto | 1200 |
| Pedidos de pesquisa por organização por minuto | 2400 |
| Pedidos de pesquisa por organização por dia | 345600 |
| Pedidos de leitura de tarefas de metadados por projeto, por região e por minuto | 400 |
| Pedidos de leitura de tarefas de metadados por projeto, por utilizador, por região e por minuto | 200 |
| Pedidos de gravação de tarefas de metadados por projeto por região por minuto | 20 |
| Pedidos de gravação para tarefas de metadados por projeto, por utilizador, por região e por minuto | 10 |
| Quantidade de metadados exportados por tarefas de exportação de metadados, por organização e por dia | 10 GB |
|
Quantidade de metadados analisados para exportação por tarefas de exportação de metadados, por organização por dia Esta quota avalia o volume total de metadados existentes na organização, nos projetos ou nos grupos de entradas que estão no âmbito da tarefa de exportação de metadados. |
100 GB |
Para cada pedido do Dataplex Universal Catalog apresentado na tabela seguinte, a quota é aplicada ao nível de cada projeto e de cada projeto por utilizador.
| Quota | Exemplos |
|---|---|
| Leia pedidos de gestão de recursos | Obtenha um lago e liste zonas |
| Escreva pedidos de gestão de recursos | Crie um lago, elimine um recurso |
| Receba pedidos de metadados | Obtenha uma entidade, obtenha uma partição |
| Pedir lista de metadados | Listar entidades, listar partições |
| Escreva pedidos de metadados | Atualize uma entidade, elimine uma partição |
| Ler pedidos de recursos de tarefas e empregos | Receba uma tarefa, liste trabalhos |
| Escreva pedidos de recursos de tarefas e empregos | Crie uma tarefa, cancele um trabalho |
| Definir pedidos de política IAM | Defina uma Política IAM |
Quotas para pedidos da API Data Lineage
A API Data Lineage aplica quotas para o seguinte:
- Pedidos de leitura que apenas devolvem os dados
- Escrever pedidos que criam ou alteram os dados
- Crie Open Lineage
As seguintes quotas aplicam-se a pedidos de linhagem de dados:
| Quota | Valor predefinido |
|---|---|
| Pedidos de leitura por projeto por utilizador por região por minuto | 1000 |
| Pedidos de gravação por projeto, por utilizador, por região e por minuto | 6000 |
| Pedidos de Open Lineage por projeto, por utilizador, por região e por minuto | 3000 |
Quotas para recursos
A quota de recursos é aplicada ao nível do projeto para os seguintes tipos de recursos: lake, zone, asset, on-demand task e recurring task. Pode verificar a sua utilização atual da quota do Dataplex Universal Catalog na página Quotas na Google Cloud consola.
Peça um aumento da quota
Na Google Cloud consola, aceda à página Quotas.
Selecione a quota que quer modificar.
Clique em Mais ações > Editar quota.
Introduza o novo valor da quota e uma descrição do pedido.
Clicar em Seguinte.
Introduza os detalhes de contacto.
Clique em Enviar pedido.
Para ajustar a maioria das quotas, use a Google Cloud consola. Para mais informações, consulte o artigo Peça um ajuste da quota.
Dependências de quotas
A sua utilização do Dataplex Universal Catalog pode envolver outros Google Cloud produtos. Por exemplo, a deteção de dados requer a invocação das APIs Cloud Storage e/ou BigQuery para interagir com os recursos subjacentes. Estes produtos têm quotas ao nível do projeto, que incluem quotas aplicáveis à utilização do Dataplex Universal Catalog.
Páginas de quotas de outros produtos que pode usar com o Dataplex Universal Catalog:
Esta lista não é exaustiva.
Limites
Os seguintes limites aplicam-se ao Dataplex Universal Catalog:
| Limite | Valor |
|---|---|
| Tamanho de um pedido de entrada e aspetos (incluindo o aspeto do esquema) | 2 MB |
| Comprimento de um ID de entrada | 4000 carateres |
| Comprimento de um nome totalmente qualificado numa entrada | 4000 carateres |
| Comprimento do nome a apresentar da origem da entrada numa entrada | 500 carateres |
| Comprimento da descrição da origem da entrada numa entrada | 2000 carateres |
| Comprimento do recurso de origem da entrada numa entrada | 4000 carateres |
| Comprimento do sistema de origem da entrada numa entrada | 64 carateres |
| Comprimento da plataforma de origem da entrada numa entrada | 64 carateres |
| Comprimento das etiquetas de origem da entrada numa entrada | 128 carateres para cada chave e valor |
| Tamanho do conteúdo JSON num aspeto (exceto o aspeto do esquema) | 120 KB |
| Tamanho total de uma entrada | 5 MB |
| Número máximo de aspetos numa entrada | 10 000 |
| Comprimento do nome a apresentar do tipo de entrada, do tipo de aspeto e do grupo de entradas | 256 |
| Comprimento da descrição do tipo de entrada, do tipo de aspeto e do grupo de entradas | 1024 |
| Comprimento do nome do campo num modelo de tipo de aspeto | 63 |
| Número máximo de tipos de aspetos obrigatórios num tipo de entrada | 20 |
| Número máximo de valores enum num modelo de tipo de aspeto | 1024 |
| Número máximo de itens nos resultados da pesquisa do Dataplex Universal Catalog | 500 |