As cobranças de DCU para cada recurso são calculadas da seguinte forma:
- Qualidade dos dados
Verificações de qualidade de dados automática:
- O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis de dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
- A cobrança depende do número de linhas, do número de colunas, da quantidade de dados que você verificou, da configuração da regra de qualidade de dados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
- Para verificações de detecção de anomalias de qualidade de dados, as cobranças de DCU não se aplicam. Em vez disso, são aplicados os preços padrão do BigQuery para computação, armazenamento e treinamento, processamento e implantação de modelos do BQML.
- O uso de uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são faturados diretamente no seu projeto do BigQuery, ignorando as SKUs padrão do Dataplex Premium.
Há várias opções para reduzir o custo das verificações automáticas de qualidade de dados:
Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. Criação de perfil de dados
Verificações de perfil de dados:
- O consumo de horas de DCU é proporcional ao processamento envolvido na criação de perfis de dados e no cálculo das métricas de qualidade de dados. A cobrança é feita por segundo, com um mínimo de um minuto.
- A cobrança depende do número de linhas, do número de colunas, da quantidade de dados verificados, das configurações de particionamento e clustering na tabela e da frequência da verificação.
- O uso de uma identidade de execução personalizada muda a forma como você é cobrado pela verificação. Quando você especifica uma identidade de execução personalizada, os custos de computação e armazenamento associados à verificação são faturados diretamente no seu projeto do BigQuery, ignorando as SKUs padrão do Dataplex Premium.
Há várias opções para reduzir o custo das verificações do perfil de dados:
- Amostragem
- Verificações incrementais
- Filtragem de colunas
- Filtragem de linhas
- Para separar as cobranças de criação de perfil de dados de outras cobranças na SKU de processamento premium do Dataplex, no relatório de faturamento do Cloud Billing, use o rótulo goog-dataplex-workload-type com o valor DATA_PROFILE.
Para filtrar cobranças agregadas, use os seguintes rótulos disponíveis na exportação de faturamento no BigQuery:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. Linhagem de dados
Você paga por duas coisas: a computação consumida pelos relatórios automáticos de linhagem dos sistemas compatíveis do Google Cloud (cobrada pela SKU de processamento premium do Dataplex, em horas de DCU) e o armazenamento dos metadados de linhagem resultantes (processos, execuções, eventos de linhagem e links) pelo tempo que forem retidos (por padrão, 30 dias; cobrado pela SKU de armazenamento de metadados do Knowledge Catalog, por GiB-mês; consulte os preços de armazenamento de metadados). O faturamento aparece no projeto em que você executou o job.
Para separar as cobranças de linhagem de dados de outras cobranças nas SKUs de processamento premium e armazenamento de metadados do Dataplex, use o rótulo goog-dataplex-workload-type com o valor LINEAGE no relatório de faturamento do Cloud Billing.
Uso faturável e não faturável
As seguintes atividades geram cobranças:
- Análise automática de linhagem: consome horas de unidade de computação de dados (DCU) com base na complexidade do processamento. As DCUs medem a capacidade de computação abstrata alocada para realizar a análise. O consumo é calculado com base no número de jobs, execuções de jobs e no número de links de linhagem criados.
- Armazenamento de metadados de linhagem: os metadados de linhagem (processos, execuções, eventos de linhagem e links) são retidos por um período limitado (por padrão, 30 dias) e faturados de acordo com a SKU de armazenamento de metadados enquanto estiverem armazenados. As cobranças de armazenamento são interrompidas quando os metadados expiram no final do período de retenção ou quando você os exclui.
Você vai ter custos de DCU quando o sourceType Origin da API Data Lineage for definido como qualquer valor diferente de CUSTOM. Valores como BIGQUERY, DATAPROC ou COMPOSER indicam que a linhagem está sendo extraída automaticamente pelo Google Cloud dos registros e metadados do serviço. Esse processo de extração requer recursos de computação (DCUs), por isso é faturável. Por outro lado, CUSTOM indica que você realizou a análise por conta própria, portanto, não se aplica nenhuma cobrança de processamento premium (DCU). O resultado armazenado está sujeito ao preço de armazenamento de metadados, como qualquer outro metadado de linhagem.
As seguintes atividades são sem custo financeiro:
- Relatórios de linhagem personalizados: os relatórios de linhagem de sistemas de terceiros ou integrações personalizadas (em que o sourceType é CUSTOM) não têm cobrança de processamento premium. O preço do armazenamento de metadados ainda se aplica à linhagem armazenada. Isso inclui os seguintes métodos:
- Chamar ProcessOpenLineageRunEvent, que permite importar eventos compatíveis com o OpenLineage.
- Criar um LineageEvent usando um cliente personalizado para relatar manualmente eventos de linhagem nativos.
- Processos e execuções de relatórios: informar os metadados do processo é sem custo financeiro. As cobranças se aplicam apenas à análise automática de LineageEvents.
- Consumo de linhagem: a recuperação de linhagem (usando os métodos Get ou List) e a exclusão de linhagem (usando os métodos Delete) são sem custo financeiro.
Exemplo de preço
Neste exemplo, você vai ativar a linhagem de dados para rastrear a linhagem do BigQuery no seu projeto. O projeto está no local us-central1, onde uma hora de DCU custa US $0,089.
Informar a linhagem de ou para uma EntityReference custa aproximadamente 0,0056 horas de DCU. Uma EntityReference identifica de forma exclusiva um recurso de dados no Google Cloud, como uma tabela do BigQuery ou um bucket do Cloud Storage.
- Job diário: você executa o seguinte job do BigQuery uma vez por dia durante 30 dias:
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
Resultado: essa operação gera links de linhagem que conectam duas tabelas de origem a uma tabela de destino (três entidades distintas).
- Job em dias alternados: você executa o seguinte job em dias alternados (15 vezes por mês):
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
Resultado: essa operação gera links de linhagem que conectam três tabelas de origem a uma tabela de destino (quatro entidades distintas).
Cálculo dos custos
Neste mês, suponha que 1 GiB de metadados de linhagem de dados foi gerado. Os custos são calculados da seguinte forma:
- Job diário: 30 dias * 3 entidades * ~0,0056 DCU-horas * US$ 0,089 ~= US $0,045
- Job em dias alternados: 15 dias * 4 entidades * 0,0056 DCU-horas * US$ 0,089 = US $0,030
- Armazenamento: (1 GiB) * US$ 2,00 = US $1,998
Total: ~$0,045+$0,030+$1,998 = ~$2,07
Preços da linhagem no tempo de design (Looker Core)
A linhagem do Looker é uma linhagem de tempo de design: o Knowledge Catalog a deriva das definições do modelo (por exemplo, visualizações e análises do LookML e as tabelas do BigQuery que elas referenciam), em vez de execuções de jobs. A linhagem de tempo de design é faturada com a mesma SKU de processamento premium do Dataplex que a análise automática de linhagem, mas o consumo de horas de DCU é calculado de forma diferente:
- As cobranças se aplicam na primeira vez que um link ou processo de linhagem é informado e sempre que ele muda (por exemplo, quando o modelo do Looker é modificado e republicado). Não há execuções na linhagem de tempo de design, portanto, não há cobranças por evento, semelhante ao processamento de linhagem baseado em eventos descrito acima.
- Informar a linhagem de ou para um nó custa aproximadamente 0,0325 horas de DCU (aproximadamente US $0,0029 em us-central1, em que uma hora de DCU custa US $0,089).
- A recuperação e a exclusão da linhagem continuam sem custo financeiro. Os metadados de linhagem são cobrados separadamente na SKU de armazenamento de metadados.
O faturamento do processamento de linhagem em tempo de design do Looker Core começa em 1º de março de 2027. A linhagem do Looker informada antes dessa data não tem custo financeiro. Para desativar, consulte https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion com informações sobre como ativar ou desativar o processamento de linhagem do Looker Core.
