La derivazione dei dati è abilitata in base al progetto. Ciò significa che, una volta abilitata l'API Data Lineage, le informazioni di derivazione possono essere segnalate automaticamente per più sistemi in base al controllo della derivazione a livello di prodotto.
Il monitoraggio automatico della derivazione è supportato per i seguenti sistemi:
| Sistema | Controlli di derivazione disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non è possibile limitare il monitoraggio della derivazione solo a Cloud Data Fusion o BigQuery quando l'API Data Lineage è abilitata in un progetto. |
| Cloud Composer | Cloud Composer utilizza il controllo dell'integrazione della derivazione dei dati a livello di ambiente. La derivazione dei dati viene abilitata automaticamente per tutti i nuovi ambienti Cloud Composer, a condizione che soddisfino i requisiti. Per saperne di più, consulta Derivazione dei dati con Dataplex. Per gli ambienti esistenti, puoi abilitare o disabilitare l'integrazione della derivazione dei dati nelle impostazioni dell'ambiente. |
| Dataproc | I job Dataproc Spark possono acquisire eventi di derivazione e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Integrazione di Dataproc della derivazione dei dati. |
| Vertex AI | La derivazione dei dati viene abilitata automaticamente per gli artefatti e i parametri di Vertex AI, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di una pipeline include i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati derivati in seguito. Per ulteriori informazioni, consulta Monitorare la derivazione degli artefatti della pipeline. |
Impatto sulla fatturazione
Quando abiliti l'API Data Lineage su un progetto, esamina l'impatto sui costi di fatturazione poiché l'API Data Lineage è abilitata in base al singolo progetto (per i dettagli, consulta la sezione precedente).
Per più regioni, come Unione Europea (UE), Asia (Asia) e Stati Uniti (USA) e per BigQuery Omni, l'elaborazione della derivazione viene distribuita in regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione (consulta gli esempi di prezzi di Data Catalog).
Conformità della derivazione dei dati
- La derivazione dei dati registra i metadati sullo spostamento dei dati, ma non acquisisce i dati stessi. Consulta il modello di informazioni sulla derivazione dei dati e il riferimento per l'API Data Lineage per maggiori dettagli su quali campi sono inclusi nei metadati.
- La derivazione dei dati come parte di Dataplex offre supporto VPC-SC.
- Al momento Dataplex non offre la possibilità di utilizzare le chiavi di crittografia gestite dal cliente per proteggere i metadati di derivazione raccolti.
Limitazioni della derivazione dei dati
Quando selezioni un nodo nel grafico di derivazione, il riquadro laterale dei dettagli del nodo sarà vuoto quando:
- le risorse si trovano in un'altra organizzazione oppure
- l'utente non è membro dell'organizzazione che ospita la risorsa.