Este documento fornece informações sobre a conformidade e as limitações da linhagem de dados. A linhagem de dados é ativada por projeto, não por sistema. Isso significa que, depois de ativar a API Data Lineage, as informações de linhagem podem ser relatadas automaticamente para vários sistemas no projeto, dependendo do controle de linhagem no nível do produto de cada sistema.
O rastreamento de linhagem automático é compatível com os seguintes sistemas:
| Sistema | Controles de linhagem disponíveis |
|---|---|
| BigQuery, Cloud Data Fusion |
Não é possível configurar o rastreamento de linhagem para restringir apenas o Cloud Data Fusion ou o BigQuery quando a API Data Lineage está ativada em um projeto. |
| Cloud Composer | O Cloud Composer usa o controle de integração de linhagem de dados no nível do ambiente. A linhagem de dados é ativada automaticamente para todos os novos ambientes do Cloud Composer, desde que eles atendam aos requisitos. Consulte Linhagem de dados com o Dataplex para mais informações. Para ambientes atuais, é possível ativar ou desativar a integração de linhagem de dados nas configurações do ambiente. |
| Dataproc | Os jobs do Dataproc Spark podem capturar eventos de linhagem e publicá-los na API Data Lineage. Consulte Integração da linhagem de dados do Dataproc para mais informações. |
| Vertex AI | A linhagem de dados é ativada automaticamente para artefatos e parâmetros da Vertex AI, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um pipeline inclui fatores que contribuíram para a criação, bem como artefatos e metadados derivados depois. Consulte Rastrear a linhagem de artefatos de pipeline para mais informações. |
Impacto no faturamento
Ao ativar a API Data Lineage em um projeto, analise o impacto nos seus custos de faturamento, já que a API Data Lineage é ativada por projeto (consulte a seção anterior para saber mais).
Para multirregiões, como União Europeia (eu), Ásia (asia) e Estados Unidos (us), e para o BigQuery Omni, o processamento de linhagem é distribuído para regiões específicas, e os custos dependem das regiões em que o processamento é realizado. Consulte Exemplos de preços do catálogo de dados.
Compliance da linhagem de dados
- A linhagem de dados registra metadados sobre o movimento de dados, mas não captura os dados em si. Consulte o modelo de informações de linhagem de dados e a referência da API Data Lineage para saber quais campos são incluídos nos metadados.
- A linhagem de dados como parte do Dataplex oferece suporte ao VPC-SC.
- O Dataplex não oferece a capacidade de usar chaves de criptografia gerenciadas pelo cliente para proteger os metadados de linhagem coletados.
Limitações da linhagem de dados
Quando você seleciona um nó no gráfico de linhagem, o painel lateral de detalhes do nó fica vazio quando:
- os recursos estão em outra organização;
- o usuário não é membro da organização que hospeda o recurso.