La derivazione dei dati viene abilitata in base al progetto. Ciò significa che, una volta abilitata l'API Data Lineage, le informazioni sulla derivazione possono essere segnalate automaticamente per più sistemi a seconda del controllo della derivazione a livello di prodotto.
Il monitoraggio automatico della derivazione è supportato per i seguenti sistemi:
| Sistema | Controlli di derivazione disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non esiste alcuna configurabilità per limitare il monitoraggio della derivazione solo a Cloud Data Fusion o BigQuery quando l'API Data Lineage è abilitata in un progetto. |
| Cloud Composer | Cloud Composer utilizza il controllo di integrazione della derivazione dei dati a livello di ambiente. La derivazione dei dati viene abilitata automaticamente per tutti i nuovi ambienti Cloud Composer, a condizione che soddisfino i requisiti. Consulta Derivazione dei dati con Dataplex per ulteriori informazioni. Per gli ambienti esistenti, puoi abilitare o disabilitare l'integrazione della derivazione dei dati nelle impostazioni dell'ambiente. |
| Dataproc | I job Spark di Dataproc possono acquisire eventi di derivazione e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Integrazione di Dataproc con la derivazione dei dati. |
| Vertex AI | La derivazione dei dati viene abilitata automaticamente per gli artefatti e i parametri di Vertex AI, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di una pipeline include fattori che hanno contribuito alla sua creazione, nonché artefatti e metadati derivati in seguito. Consulta Monitorare la derivazione degli artefatti della pipeline per saperne di più. |
Impatto sulla fatturazione
Quando abiliti l'API Data Lineage in un progetto, esamina l'impatto sui tuoi addebiti di fatturazione poiché l'API Data Lineage è abilitata in base al progetto (per maggiori dettagli, consulta la sezione precedente).
Per più regioni, ad esempio Unione Europea (UE), Asia (asia) e Stati Uniti (Stati Uniti) e per BigQuery Omni, l'elaborazione della derivazione viene distribuita in regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita (consulta Esempi di prezzi di Data Catalog).
Conformità della derivazione dei dati
- La derivazione dei dati registra i metadati relativi allo spostamento dei dati, ma non acquisisce i dati stessi. Per informazioni dettagliate sui campi inclusi nei metadati, consulta Modello di informazioni sulla derivazione dei dati e Riferimento per l'API Data Lineage.
- La derivazione dei dati come parte di Dataplex offre il supporto VPC-SC.
- Dataplex attualmente non offre la possibilità di utilizzare le chiavi di crittografia gestite dal cliente per proteggere i metadati di derivazione raccolta.
Limitazioni della derivazione dei dati
Quando selezioni un nodo nel grafico della derivazione, il riquadro laterale dei dettagli del nodo sarà vuoto nei seguenti casi:
- le risorse si trovano in un'altra organizzazione
- l'utente non è membro dell'organizzazione che ospita la risorsa.