Confira a seguir uma visão geral de alto nível de como cada recurso principal do Dataplex Universal Catalog é faturado:

Nível sem custo financeiro do Dataplex Universal Catalog para o Knowledge Catalog

Como parte do nível sem custo financeiro do Google Cloud, o Knowledge Catalog oferece alguns recursos sem custo financeiro até um limite específico. Esses limites de uso sem custo financeiro estão disponíveis durante e após o período de teste sem encargos financeiros. Se você ultrapassar esses limites de uso e não estiver mais no período de teste, será cobrado de acordo com os preços descritos nas seções acima.

Observação:o nível sem custo financeiro do Knowledge Catalog está disponível apenas para a SKU de processamento padrão do Dataplex Universal Catalog, e não para a SKU de processamento premium do Dataplex Universal Catalog.

As cobranças de DCU para cada recurso são calculadas da seguinte forma:

1. Verificações de qualidade de dados automática:

• O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis de dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
• A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificados, da configuração da regra de qualidade de dados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
• Para verificações de detecção de anomalias de qualidade de dados, as cobranças de DCU não se aplicam. Em vez disso, são aplicados os preços padrão do BigQuery para computação, armazenamento e treinamento, processamento e implantação de modelos do BQML.
• O uso de uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são faturados diretamente no seu projeto do BigQuery, ignorando as SKUs padrão do Dataplex Premium.

2. Há várias opções para reduzir o custo das verificações automáticas de qualidade de dados:

• Amostragem
• Verificações incrementais
• Para separar as cobranças de qualidade de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_QUALITY.

3. Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Verificações de perfil de dados:

• O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis de dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
• A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
• O uso de uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são faturados diretamente no seu projeto do BigQuery, ignorando as SKUs padrão do Dataplex Premium.

5. Há várias opções para reduzir o custo das verificações do perfil de dados:

• Amostragem
• Verificações incrementais
• Filtragem de colunas
• Filtragem de linhas
• Para separar as cobranças de criação de perfil de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.

6. Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

As seguintes atividades geram cobranças:

• Análise automática de linhagem: consome horas de unidade de computação de dados (DCU) com base na complexidade do processamento. As DCUs medem a capacidade de computação abstrata alocada para realizar a análise. O consumo é calculado com base no número de jobs, execuções de jobs e no número de links de linhagem criados. 

Você vai ter esses custos quando o sourceType Origin da API Data Lineage for definido como qualquer valor diferente de CUSTOM. Valores como BIGQUERY, DATAPROC ou COMPOSER indicam que a linhagem está sendo extraída automaticamente pelo Google Cloud dos registros e metadados do serviço. Esse processo de extração requer recursos de computação (DCUs), por isso é faturável. Por outro lado, CUSTOM indica que você fez a análise por conta própria e está apenas armazenando o resultado, o que é sem custo financeiro.

As seguintes atividades são sem custo financeiro:

• Relatórios de linhagem personalizados: os relatórios de linhagem de sistemas de terceiros ou integrações personalizadas (em que o sourceType é CUSTOM) são sem custo financeiro. Isso inclui os seguintes métodos:
• Chamar ProcessOpenLineageRunEvent, que permite importar eventos compatíveis com o OpenLineage.
• Criar um LineageEvent usando um cliente personalizado para relatar manualmente eventos de linhagem nativos.
• Processos e execuções de relatórios: informar os metadados do processo em si é sem custo financeiro. As cobranças se aplicam apenas à análise automática de LineageEvents.
• Consumo de linhagem: recuperar a linhagem (usando os métodos Get ou List) e excluir a linhagem (usando os métodos Delete) é sem custo financeiro.

Neste exemplo, você vai ativar a linhagem de dados para rastrear a linhagem do BigQuery no seu projeto. O projeto está no local us-central1, onde uma hora de DCU custa US $0,089.

Informar a linhagem de ou para uma EntityReference custa aproximadamente 0,0056 horas de DCU. Uma EntityReference identifica de forma exclusiva um recurso de dados no Google Cloud, como uma tabela do BigQuery ou um bucket do Cloud Storage.

• Job diário: você executa o seguinte job do BigQuery uma vez por dia durante 30 dias:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Resultado: essa operação gera links de linhagem que conectam duas tabelas de origem a uma tabela de destino (três entidades distintas).

• Job em dias alternados: você executa o seguinte job em dias alternados (15 vezes por mês):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Resultado: essa operação gera links de linhagem que conectam três tabelas de origem a uma tabela de destino (quatro entidades distintas).

Cálculo dos custos

Neste mês, suponha que 1 GiB de metadados de linhagem de dados foi gerado. Os custos são calculados da seguinte forma:

• Job diário: 30 dias * 3 entidades * ~0,0056 horas de DCU * US$ 0,089 ~= US $0,045
• Job em dias alternados: 15 dias * 4 entidades * 0,0056 DCU-horas * US$ 0,089 = US $0,030
• Armazenamento: (1 GiB - 1 MiB do nível sem custo financeiro) * US$ 2,00 = US $1,998

Total: ~$0,045 + $0,030 + $1,998 = ~$2,07

A linhagem do Looker é uma linhagem de tempo de design: o Knowledge Catalog a deriva das definições do modelo (por exemplo, visualizações e análises do LookML e as tabelas do BigQuery que elas referenciam), em vez de execuções de jobs. A linhagem em tempo de design é faturada com a mesma SKU de processamento premium do Dataplex que a análise automática de linhagem, mas o consumo de horas de DCU é calculado de forma diferente:

• As cobranças são aplicadas na primeira vez que um link ou processo de linhagem é informado e sempre que ele muda (por exemplo, quando o modelo do Looker é modificado e republicado). Não há execuções na linhagem de tempo de design, portanto, não há cobranças por evento, semelhante ao processamento de linhagem baseado em eventos descrito acima.
• Informar a linhagem de ou para um nó custa aproximadamente 0,0325 horas de DCU (aproximadamente US $0,0029 em us-central1, em que uma hora de DCU custa US $0,089).
• A recuperação e a exclusão da linhagem continuam sem custo financeiro. Os metadados de linhagem são cobrados separadamente na SKU de armazenamento de metadados.

O faturamento do processamento de linhagem em tempo de design do Looker Core começa em 1º de março de 2027. A linhagem do Looker informada antes dessa data é sem custo financeiro. Para desativar, consulte https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion com informações sobre como ativar ou desativar o processamento de linhagem do Looker Core.

As chamadas de API são sem custo financeiro quando os usuários interagem com o Knowledge Catalog, incluindo:

• Como criar e gerenciar recursos do Dataplex Universal Catalog
• Como criar e gerenciar recursos de linhagem
• Pesquisa no catálogo

Nesta seção, mostramos exemplos de como calcular o custo do Dataplex Universal Catalog.

Aspectos pequenos

• O usuário A cria e aplica aspectos pequenos (1.024 bytes cada). Por US $10 por mês, o usuário pode armazenar 5 GiB de metadados, o que corresponde aproximadamente a 5 milhões de aspectos. Supondo um aspecto por tabela, isso equivale a um total de 5 milhões de tabelas com aspectos.
• O usuário B cria 5 milhões de aspectos de 1 KB cada no dia 10 do mês e exclui os aspectos no dia 20. O custo é de US $3,33, calculado como 5 GiB de dados divididos por um terço do mês: