O Dataplex Universal Catalog evoluiu para o Knowledge Catalog. As SKUs de preço vão continuar com o nome Dataplex. Os preços do Dataplex são baseados no uso de pagamento por uso. O Dataplex cobra com base nas seguintes SKUs:

• Processamento do Dataplex Universal Catalog (padrão e premium)
• Armazenamento de metadados

A seguir, apresentamos uma visão geral de alto nível de como cada recurso principal do Dataplex Universal Catalog é cobrado:

O processamento padrão e premium do Dataplex Universal Catalog é medido pela Unidade de Computação de Dados (DCU). A DCU-hora é uma unidade de faturamento abstrata do Dataplex Universal Catalog, e a medição real depende dos recursos individuais que você usa.

Nível sem custo financeiro do Dataplex Universal Catalog para o Knowledge Catalog

Como parte do Nível sem custo financeiro do Google Cloud, o Knowledge Catalog oferece alguns recursos sem custo financeiro até um limite específico. Esses limites de uso sem custo financeiro estão disponíveis durante e após o período de avaliação sem custo financeiro. Se você exceder esses limites de uso e não estiver mais no período de avaliação sem custo financeiro, a cobrança será feita de acordo com os preços descritos nas seções acima.

Observação:o nível sem custo financeiro do Knowledge Catalog está disponível apenas para o SKU de processamento padrão do Dataplex Universal Catalog e não está disponível para o SKU de processamento premium do Dataplex Universal Catalog.

As cobranças de DCU para cada recurso são calculadas da seguinte forma:

1. Verificações de qualidade de dados automática:

• O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis dos dados e no cálculo das métricas de qualidade dos dados. A cobrança é feita por segundo, com um mínimo de um minuto.
• A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificada, da configuração da regra de qualidade dos dados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
• Para verificações de detecção de anomalias de qualidade de dados, as cobranças de DCU não se aplicam. Em vez disso, são aplicados os preços padrão do BigQuery para computação, armazenamento e treinamento, processamento e implantação de modelos do BQML.
• Usar uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são cobrados diretamente no seu projeto do BigQuery, ignorando os SKUs padrão do Dataplex Premium.

2. Há várias opções para reduzir o custo das verificações de qualidade de dados automáticas:

• Amostragem
• Verificações incrementais
• Para separar as cobranças de qualidade de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.

3. Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Verificações de criação de perfil de dados:

• O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis dos dados e no cálculo das métricas de qualidade dos dados. A cobrança é feita por segundo, com um mínimo de um minuto.
• A cobrança depende do número de linhas e colunas, da quantidade de dados verificados, das configurações de particionamento e clustering da tabela e da frequência da verificação.
• Usar uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são cobrados diretamente no seu projeto do BigQuery, ignorando os SKUs padrão do Dataplex Premium.

5. Há várias opções para reduzir o custo das verificações de perfil de dados:

• Amostragem
• Verificações incrementais
• Filtragem de colunas
• Filtragem de linhas
• Para separar as cobranças de criação de perfis de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.

6. Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

Você paga pela capacidade de computação consumida pelos relatórios de linhagem automática dos sistemas do Google Cloud compatíveis. O faturamento aparece no projeto em que você executou o job.

Para separar as cobranças de linhagem de dados de outras cobranças na SKU de processamento premium do Dataplex, use o rótulo goog-dataplex-workload-type com o valor LINEAGE no relatório do Cloud Billing.

• Para mais informações sobre como identificar o projeto de faturamento, consulte https://cloud.google.com/dataplex/docs/troubleshooting-lineage#project_types.
• Para mais informações sobre como acessar os relatórios do Cloud Billing no console do Google Cloud e como configurar relatórios, consulte Analisar dados de faturamento e tendências de custo com relatórios | Cloud Billing | Documentação do Google Cloud.

As seguintes atividades geram cobranças:

• Análise automática de linhagem: consome horas da unidade de computação de dados (DCU) com base na complexidade do processamento. As DCUs medem a capacidade de computação abstrata alocada para realizar a análise. O consumo é calculado com base no número de jobs, execuções de jobs e links de linhagem criados. 

Esses custos são gerados quando o sourceType Origin da API Data Lineage é definido com qualquer valor diferente de CUSTOM. Valores como BIGQUERY, DATAPROC ou COMPOSER indicam que a linhagem está sendo extraída automaticamente pelo Google Cloud dos registros e metadados do serviço. Esse processo de extração exige recursos de computação (DCUs), por isso é cobrado. Já CUSTOM indica que você realizou a análise por conta própria e está apenas armazenando o resultado, o que é sem custo financeiro.

As seguintes atividades são sem custo financeiro:

• Relatórios de linhagem personalizados: a linhagem de relatórios de sistemas de terceiros ou integrações personalizadas (em que sourceType é CUSTOM) é sem custo financeiro. Isso inclui os seguintes métodos:
• Chamar ProcessOpenLineageRunEvent, que permite importar eventos compatíveis com o OpenLineage.
• Criar um LineageEvent usando um cliente personalizado para relatar manualmente eventos de linhagem nativos.
• Processos e execuções de relatórios: a geração de relatórios dos próprios metadados do processo é sem custo financeiro. As cobranças só se aplicam à análise automática de LineageEvents.
• Consumo de linhagem: a recuperação de linhagem (usando métodos Get ou List) e a exclusão de linhagem (usando métodos Delete) são sem custo financeiro.

Neste exemplo, você vai ativar a linhagem de dados para rastrear a linhagem do BigQuery no seu projeto. O projeto está no local us-central1, onde uma hora de DCU custa US $0,089.

A geração de linhagem de ou para uma EntityReference custa aproximadamente 0,0056 DCU-horas. Um EntityReference identifica de forma exclusiva um recurso de dados no Google Cloud, como uma tabela do BigQuery ou um bucket do Cloud Storage.

• Job diário: você executa o seguinte job do BigQuery uma vez por dia durante 30 dias:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Resultado: essa operação gera links de linhagem que conectam duas tabelas de origem a uma tabela de destino (3 entidades distintas).

• Job a cada dois dias: você executa o seguinte job a cada dois dias (15 vezes por mês):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Resultado: essa operação gera links de linhagem que conectam três tabelas de origem a uma tabela de destino (4 entidades distintas).

Cálculo de custos

Neste mês, suponha que 1 GiB de metadados de linhagem de dados foi gerado. Os custos são calculados da seguinte forma:

• Job diário: 30 dias * 3 entidades * ~0,0056 horas de DCU * US$ 0,089 ~= US $0,045
• Job a cada dois dias: 15 dias * 4 entidades * 0,0056 horas de DCU * US$ 0,089 = US $0,030
• Armazenamento: (1 GiB – 1 MiB de nível sem custo financeiro) * US$ 2,00 = US $1,998

Total: ~$0,045 + $0,030 + $1,998 = ~$2,07

As chamadas de API são sem custo financeiro quando os usuários interagem com o Knowledge Catalog, incluindo:

• Como criar e gerenciar recursos do Dataplex Universal Catalog
• Como criar e gerenciar recursos de linhagem
• Pesquisa no catálogo

Esta seção fornece exemplos de como calcular o custo do Dataplex Universal Catalog.

Pequenos aspectos

• O usuário A cria e aplica aspectos pequenos (1.024 bytes cada). Por US $10/mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 5 milhões de aspectos. Considerando um aspecto por tabela, isso equivale a um total de 5 milhões de tabelas com aspectos.
• O usuário B cria 5 milhões de aspectos de 1 KB cada no dia 10 do mês e exclui os aspectos no dia 20. O custo é de US $3,33, calculado como 5 GiB de dados divididos por um terço do mês:

Grandes aspectos

• O usuário C cria e aplica aspectos grandes (10 KB cada). Por US $10/mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde a aproximadamente 500 mil aspectos. Considerando um aspecto por tabela, isso equivale a um total de 500 mil tabelas com aspectos.
• O usuário D cria 10 mil tipos de aspectos (por exemplo, ETL, governança de dados, qualidade de dados) e aplica aspectos grandes (10 KB cada) usando cada um dos 10 tipos de aspectos. Por US $10/mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 500 mil aspectos. Considerando 10 aspectos por tabela, isso equivale a um total de 50 mil tabelas com aspectos.

Nesta seção, descrevemos os preços do Data Catalog, que está na fase de desativação (transição para o Dataplex Universal Catalog para evitar interrupções no serviço).

As cobranças do Data Catalog se aplicam ao armazenamento de metadados do Data Catalog e às chamadas de API feitas para a API Data Catalog.

As cobranças de armazenamento de metadados e chamadas de API são acumuladas diariamente. É possível ver o uso não faturado no console do Google Cloud.

Observação:os modelos de preços se aplicam a contas, não a projetos, a menos que especificado de outra forma.

As chamadas da API Data Catalog são cobradas conforme descrito na tabela a seguir:

Observação:as consultas de pesquisa realizadas na página do Data Catalog no console do Google Cloud são oferecidas sem custo financeiro.