Utilizzare i Controlli di servizio VPC con Cloud Data Fusion

Se prevedi di creare un'istanza Cloud Data Fusion con un indirizzo IP privato, puoi fornire ulteriore sicurezza stabilendo innanzitutto un perimetro di sicurezza per l'istanza utilizzando VPC Service Controls (VPC-SC). Il perimetro di sicurezza VPC-SC attorno all'istanza Cloud Data Fusion privata e ad altre risorse Google Cloud contribuisce a mitigare il rischio di esfiltrazione di dati. Ad esempio, con i controlli di servizio VPC, se una pipeline Cloud Data Fusion legge i dati da una risorsa supportata, come un set di dati BigQuery, all'interno del perimetro e poi tenta di scrivere l'output in una risorsa esterna al perimetro, la pipeline non andrà a buon fine.

Le risorse di Cloud Data Fusion sono esposte su due interfacce API:

  1. L'interfaccia API del datafusion.googleapis.com control plane, che consente di eseguire operazioni a livello di istanza, come la creazione e l'eliminazione di istanze.

  2. La piattaforma API del piano di dati datafusion.googleusercontent.com (interfaccia utente web di Cloud Data Fusion nella console Google Cloud), che viene eseguita su un'istanza Cloud Data Fusion per creare ed eseguire pipeline di dati.

Configura i Controlli di servizio VPC con Cloud Data Fusion limitandone la connettività a entrambe queste interfacce API.

Strategie:

  • Le pipeline di Cloud Data Fusion vengono eseguite sui cluster Dataproc. Per proteggere un cluster Dataproc con un perimetro di servizio, segui le istruzioni per la configurazione della connettività privata per consentire al cluster di funzionare all'interno del perimetro.

  • Non utilizzare plug-in che utilizzano Google Cloud API non supportate da Controlli di servizio VPC. Se utilizzi plug-in non supportati, Cloud Data Fusion bloccherà le chiamate API, con conseguente errore di anteprima ed esecuzione della pipeline.

  • Per utilizzare Cloud Data Fusion all'interno di un perimetro di servizio VPC Service Controls, aggiungi o configura diverse voci DNS per indirizzare i seguenti domini all'indirizzo IP virtuale (VIP) limitato:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limitazioni:

  • Stabilisci il perimetro di sicurezza dei Controlli di servizio VPC prima di creare l'istanza privata Cloud Data Fusion. La protezione perimetrale per le istanze create prima della configurazione dei Controlli di servizio VPC non è supportata.

  • Al momento, l'interfaccia utente del piano dati di Cloud Data Fusion non supporta la specifica dei livelli di accesso utilizzando l'accesso basato sull'identità.

Limitare le piattaforme dell'API Cloud Data Fusion

Limitazione della superficie del piano di controllo

Consulta la sezione Configurazione della connettività privata alle API e ai servizi Google per limitare la connettività all'area di lavoro del piano di controllo dell'API datafusion.googleapis.com.

Limitazione dell'area del piano dati

Per configurare la connettività privata al piano dati dell'API, configura il DNS completando i seguenti passaggi sia per i domini *.datafusion.googleusercontent.com che per *.datafusion.cloud.google.com.

  1. Crea una nuova zona privata utilizzando Cloud DNS:

    1. Tipo di zona: seleziona Privato
    2. Nome zona: datafusiongoogleusercontentcom
    3. Nome DNS: datafusion.googleusercontent.com

    4. Rete: seleziona la rete IP privata che hai scelto quando hai creato l'istanza Cloud Data Fusion.

      Come compilare i campi delle zone.

  2. Nella pagina Cloud DNS, fai clic sul nome della zona DNS datafusiongoogleusercontent per aprire la pagina Dettagli zona. Sono elencati due record: un record NS e un record SOA. Utilizza Aggiungi standard per aggiungere i seguenti due set di record alla zona DNS datafusiongoogleusercontent.

    1. Aggiungi un record CNAME: nella finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS *.datafusion.googleusercontent.com. al nome canonico datafusion.googleusercontent.com:

      • Nome DNS: "*.datafusion.googleusercontent.com"

      • Nome canonico: "datafusion.googleusercontent.com"

        Come compilare i campi delle zone.

    2. Aggiungi un record A: in una nuova finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS datafusion.googleusercontent.com. agli indirizzi IP 199.36.153.4-199.36.153.7:

      • Nome DNS: ".datafusion.googleusercontent.com"

      • Indirizzo IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Come compilare i campi delle zone.

      La pagina datafusiongoogleusercontent Dettagli zona mostra i seguenti set di record:

      Come compilare i campi delle zone.

  3. Segui i passaggi precedenti per creare una zona DNS privata e aggiungere un insieme di record per il dominio *.datafusion.cloud.google.com.

Passaggi successivi