Considerações da linhagem de dados

A linhagem de dados é ativada por projeto, não por sistema. Isso significa que, depois de ativar a API Data Lineage, as informações de linhagem podem ser informadas automaticamente para vários sistemas no projeto, dependendo o controle de linhagem no nível do produto de cada sistema.

O rastreamento de linhagem automático é compatível com os seguintes sistemas:

Controles de linhagem no nível do produto em sistemas compatíveis com o Google Cloud
Sistema Controles de linhagem disponíveis
BigQuery,
Cloud Data Fusion
Não há configuração para restringir o rastreamento de linhagem apenas ao Cloud Data Fusion ou o BigQuery quando a API Data Lineage está ativada em um projeto.
Cloud Composer O Cloud Composer usa a linhagem de dados no nível do ambiente controle de integração. A linhagem de dados é ativada automaticamente para todos os novos ambientes do Cloud Composer, desde que eles atendam aos requisitos. Consulte A linhagem de dados com o Dataplex (em inglês) para saber mais informações imprecisas ou inadequadas. Nos ambientes atuais, é possível ativar ou desativar a integração da linhagem de dados nas configurações do ambiente.
Dataproc Os jobs do Dataproc Spark podem capturar eventos de linhagem e publicá-los na API Data Lineage. Consulte Integração do Dataproc com a linhagem de dados para mais informações.
Vertex AI A linhagem de dados é ativada automaticamente para artefatos e parâmetros da Vertex AI, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um pipeline inclui fatores que contribuíram para a criação, bem como artefatos e metadados derivados posteriormente. Consulte Rastrear a linhagem de artefatos de pipeline para mais informações.

Impacto no faturamento

Ao ativar a API Data Lineage em um projeto, revise o impacto em suas cobranças de faturamento, pois a API Data Lineage está ativada por projeto (consulte a seção anterior para mais detalhes).

Para multirregiões, como União Europeia (eu), Ásia (asia) e Estados Unidos (us), e para o BigQuery Omni, o processamento de linhagem é distribuído para regiões específicas, e os custos dependem das regiões em que o processamento é realizado. Consulte Exemplos de preços do catálogo de dados.

Compliance da linhagem de dados

  • A linhagem de dados registra metadados sobre a movimentação de dados, mas não captura os dados em si. Confira o modelo de informações da linhagem de dados e Referência da API Data Lineage para detalhes sobre quais campos estão incluídos nos metadados.
  • A linhagem de dados como parte do Dataplex oferece suporte ao VPC-SC.
  • O Dataplex não oferece a capacidade de usar chaves de criptografia gerenciadas pelo cliente para proteger os metadados de linhagem coletados.

Limitações da linhagem de dados

Quando você seleciona um nó no gráfico de linhagem, o painel lateral de detalhes do nó estará vazio quando:

  1. os recursos estão em outra organização;
  2. o usuário não é membro da organização que hospeda o recurso.