Este documento fornece informações sobre a conformidade e as limitações da linhagem de dados. A linhagem de dados é ativada por projeto e não por sistema. Isto significa que, depois de ativar a API Data Lineage, as informações de linhagem podem ser comunicadas automaticamente para vários sistemas no projeto, consoante o controlo de linhagem ao nível do produto de cada sistema.
O acompanhamento automático da linhagem é suportado para os seguintes sistemas:
| Sistema | Controlos de linhagem disponíveis |
|---|---|
| BigQuery, Cloud Data Fusion |
Não existe configurabilidade para restringir a monitorização da linhagem apenas ao Cloud Data Fusion ou ao BigQuery quando a API Data Lineage está ativada num projeto. |
| Cloud Composer | O Cloud Composer usa o controlo de integração da linhagem de dados ao nível do ambiente. A linhagem de dados é ativada automaticamente para todos os novos ambientes do Cloud Composer, desde que cumpram os requisitos. Consulte o artigo Linha de dados com o Dataplex Universal Catalog para mais informações. Para ambientes existentes, pode ativar ou desativar a integração da linhagem de dados nas definições do ambiente. |
| Dataflow | As tarefas do Dataflow podem captar eventos de linhagem e publicá-los na API Data Lineage. Consulte o artigo Use a linhagem de dados no Dataflow para mais informações. |
| Dataproc | As tarefas do Spark do Dataproc podem captar eventos de linhagem e publicá-los na API Data Lineage. Consulte o artigo Integração do Dataproc de linhagem de dados para mais informações. |
| Vertex AI | A linhagem de dados é ativada automaticamente para parâmetros e artefactos do Vertex AI, como modelos, conjuntos de dados, modelos de pipelines e componentes. A linhagem de um pipeline inclui fatores que contribuíram para a sua criação, bem como artefactos e metadados derivados posteriormente. Consulte o artigo Monitorize a linhagem de artefactos de pipelines para mais informações. |
Impacto na faturação
Quando ativa a API Data Lineage num projeto, reveja o impacto nos seus encargos de faturação, uma vez que a API Data Lineage é ativada por projeto (consulte a secção anterior para obter detalhes). Para mais informações sobre a forma como a linhagem de dados é cobrada, consulte os preços do Dataplex Universal Catalog.
Para o BigQuery Omni, o processamento de linhagem é distribuído por regiões específicas, e os custos dependem das regiões onde o processamento é realizado.
Conformidade da linhagem de dados
- A linhagem de dados regista metadados sobre o movimento de dados, mas não captura os dados propriamente ditos. Consulte o modelo de informações de linhagem de dados e a referência da API Data Lineage para ver detalhes sobre os campos incluídos nos metadados.
- A linhagem de dados como parte do Dataplex Universal Catalog oferece suporte para o VPC-SC.
- O catálogo universal do Dataplex não oferece a capacidade de usar chaves de encriptação geridas pelo cliente para proteger os metadados de linhagem recolhidos.
Limitações da linhagem de dados
Quando seleciona um nó no gráfico de linhagem, o painel lateral de detalhes do nó está vazio quando:
- Os recursos estão localizados noutra organização ou
- O utilizador não é membro da organização que aloja o recurso.