La derivazione dei dati viene abilitata in base al progetto. Ciò significa che, una volta abilitata l'API Data Lineage, le informazioni di derivazione può essere automaticamente segnalata per più sistemi in base controllo della derivazione a livello di prodotto.
Il monitoraggio automatico della derivazione è supportato per i seguenti sistemi:
| Sistema | Controlli di derivazione disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non esiste una configurabilità per limitare il monitoraggio della derivazione solo a Cloud Data Fusion se l'API Data Lineage è abilitata in un progetto. |
| Cloud Composer | Cloud Composer utilizza la derivazione dei dati a livello di ambiente e il controllo dell'integrazione. La derivazione dei dati viene abilitato per tutti i nuovi ambienti Cloud Composer, a condizione che soddisfino le i tuoi requisiti. Vedi Derivazione dei dati con Dataplex per ulteriori informazioni informazioni. Per gli ambienti esistenti, puoi abilitare o disabilitare l'integrazione della derivazione dei dati nelle impostazioni dell'ambiente. |
| Dataproc | I job Spark di Dataproc possono acquisire eventi di derivazione e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Integrazione di Dataproc con la derivazione dei dati. |
| Vertex AI | La derivazione dei dati viene abilitata automaticamente per gli artefatti e i parametri di Vertex AI, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di una pipeline include fattori che hanno contribuito alla sua creazione, nonché artefatti e metadati derivati in seguito. Consulta Monitorare la derivazione degli artefatti della pipeline per saperne di più. |
Impatto sulla fatturazione
Quando abiliti l'API Data Lineage su un progetto, esamina l'impatto sugli addebiti di fatturazione perché l'API Data Lineage è abilitata in base al singolo progetto (vedi la sezione precedente per i dettagli).
In caso di più regioni, come Unione Europea (eu), Asia (asia), e Stati Uniti (us), e per BigQuery Omni, l'elaborazione della derivazione è distribuito in regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione (vedi Esempi di prezzi di Data Catalog).
Conformità della derivazione dei dati
- La derivazione dei dati registra i metadati relativi allo spostamento dei dati, non acquisisce i dati stessi. Vedi il modello di informazioni sulla derivazione dei dati e Riferimento per l'API Data Lineage per informazioni dettagliate sui campi inclusi nei metadati.
- La derivazione dei dati come parte di Dataplex offre il supporto VPC-SC.
- Dataplex attualmente non offre la possibilità di utilizzare Chiavi di crittografia gestite dal cliente per proteggere i metadati di derivazione raccolti.
Limitazioni della derivazione dei dati
Quando selezioni un nodo nel grafico della derivazione, il riquadro laterale dei dettagli del nodo. sarà vuoto quando:
- le risorse si trovano in un'altra organizzazione
- l'utente non è membro dell'organizzazione che ospita la risorsa.