Questo documento fornisce informazioni sulla conformità e sulle limitazioni del report sul flusso di dati. La cronologia dei dati è abilitata in base al progetto, non al sistema. Ciò significa che, dopo aver attivato l'API Data Lineage, le informazioni sulla cronologia possono essere registrate automaticamente per più sistemi nel progetto, a seconda del controllo della cronologia a livello di prodotto di ciascun sistema.
Il monitoraggio della cronologia automatica è supportato per i seguenti sistemi:
| Sistema | Controlli della cronologia disponibili |
|---|---|
| BigQuery, Cloud Data Fusion |
Non è possibile configurare il monitoraggio della struttura solo per Cloud Data Fusion o BigQuery quando l'API Data Lineage è abilitata in un progetto. |
| Cloud Composer | Cloud Composer utilizza il controllo di integrazione della struttura di dati a livello di ambiente. La derivazione dei dati viene attivata automaticamente per tutti i nuovi ambienti Cloud Composer, a condizione che soddisfino i requisiti. Per ulteriori informazioni, consulta Derivazione dei dati con Dataplex. Per gli ambienti esistenti, puoi attivare o disattivare l'integrazione della cronologia dei dati nelle impostazioni dell'ambiente. |
| Dataproc | I job Spark di Dataproc possono acquisire gli eventi della cronologia e pubblicarli nell'API Data Lineage. Per ulteriori informazioni, consulta Integrazione di Dataproc per la creazione della struttura di dati. |
| Vertex AI | La consistenza dei dati viene attivata automaticamente per gli elementi e i parametri di Vertex AI, come modelli, set di dati, modelli di pipeline e componenti. La derivazione di una pipeline include i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati derivati in seguito. Per ulteriori informazioni, consulta Monitoraggio della derivazione degli artefatti della pipeline. |
Impatto sulla fatturazione
Quando attivi l'API Data Lineage in un progetto, esamina l'impatto sugli addebiti di fatturazione poiché l'API Data Lineage è attivata su base per progetto (per maggiori dettagli, consulta la sezione precedente).
Per più regioni, come l'Unione europea (eu), l'Asia (asia) e gli Stati Uniti (us), e per BigQuery Omni, l'elaborazione della cronologia viene distribuita in regioni specifiche e i costi dipendono dalle regioni in cui viene eseguita l'elaborazione (vedi Esempi di prezzi di Data Catalog).
Conformità della derivazione dei dati
- La derivazione dei dati registra i metadati relativi allo spostamento dei dati, ma non acquisisce i dati stessi. Consulta il modello di informazioni sulla struttura dei dati e il riferimento all'API Data Lineage per informazioni dettagliate sui campi inclusi nei metadati.
- La derivazione dei dati all'interno di Dataplex offre il supporto di VPC-SC.
- Dataplex non offre la possibilità di utilizzare le chiavi di crittografia gestite dal cliente per proteggere i metadati della derivazione raccolti.
Limitazioni della derivazione dei dati
Quando selezioni un nodo nel grafico della struttura, il riquadro laterale dei dettagli del nodo sarà vuoto se:
- le risorse si trovano in un'altra organizzazione oppure
- L'utente non è membro dell'organizzazione che ospita la risorsa.