Utilizzo dei Controlli di servizio VPC con Cloud Data Fusion

Se prevedi di creare un'istanza Cloud Data Fusion con un indirizzo IP privato, puoi fornire ulteriore sicurezza stabilendo innanzitutto un perimetro di sicurezza per l'istanza utilizzando Controlli di servizio VPC (VPC-SC). Il perimetro di sicurezza VPC-SC attorno all'istanza privata di Cloud Data Fusion e ad altre risorse Google Cloud aiuta a ridurre il rischio di esfiltrazione di dati. Ad esempio, con i Controlli di servizio VPC, se una pipeline di Cloud Data Fusion legge i dati da una risorsa supportata, ad esempio un set di dati BigQuery, situato all'interno del perimetro, quindi tenta di scrivere l'output in una risorsa esterna al perimetro, la pipeline avrà esito negativo.

Le risorse di Cloud Data Fusion sono esposte su due piattaforme API:

  1. La superficie API del piano di controllo datafusion.googleapis.com, che consente di eseguire operazioni a livello di istanza, come la creazione e l'eliminazione di istanze.

  2. La piattaforma dell'API del piano dati datafusion.googleusercontent.com (la UI web di Cloud Data Fusion nella console Google Cloud), in esecuzione su un'istanza di Cloud Data Fusion per creare ed eseguire pipeline di dati.

Puoi configurare i Controlli di servizio VPC con Cloud Data Fusion limitando la connettività a entrambe le piattaforme API.

Strategie:

  • Le pipeline di Cloud Data Fusion vengono eseguite sui cluster Dataproc. Per proteggere un cluster Dataproc con un perimetro di servizio, segui le istruzioni per configurare la connettività privata per consentire al cluster di funzionare all'interno del perimetro.

  • Non utilizzare plug-in che impiegano API Google Cloud non supportati dai Controlli di servizio VPC. Se utilizzi plug-in non supportati, Cloud Data Fusion bloccherà le chiamate API, causando un'anteprima della pipeline e un errore di esecuzione.

  • Per utilizzare Cloud Data Fusion all'interno di un perimetro di servizio dei Controlli di servizio VPC, aggiungi o configura diverse voci DNS in modo da indirizzare i seguenti domini al VIP (indirizzo IP virtuale) limitato:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

Limitazioni:

  • Stabilisci il perimetro di sicurezza dei Controlli di servizio VPC prima di creare la tua istanza privata di Cloud Data Fusion. La protezione del perimetro per le istanze create prima della configurazione dei Controlli di servizio VPC non è supportata.

  • Attualmente, l'interfaccia utente del piano dati di Cloud Data Fusion non supporta la specifica dei livelli di accesso tramite l'accesso basato sull'identità.

Limitazione delle piattaforme API Cloud Data Fusion

Limitazione della superficie del piano di controllo

Consulta Configurazione della connettività privata alle API e ai servizi Google per limitare la connettività alla superficie del piano di controllo dell'API datafusion.googleapis.com.

Limitazione della superficie del piano dati

Per impostare la connettività privata al piano dati dell'API, configura il DNS completando i seguenti passaggi per entrambi i domini *.datafusion.googleusercontent.com e *.datafusion.cloud.google.com.

  1. Crea una nuova zona privata utilizzando Cloud DNS:

    1. Tipo di zona: seleziona privata.
    2. Nome zona: datafusiongoogleusercontentcom
    3. Nome DNS: datafusion.googleusercontent.com

    4. Rete: seleziona la rete IP privata che hai scelto al momento della creazione dell'istanza di Cloud Data Fusion.

      Come compilare i campi della zona.

  2. Dalla pagina Cloud DNS, fai clic sul nome della zona DNS datafusiongoogleusercontent per aprire la pagina Dettagli zona. Vengono elencati due record: un record NS e un record SOA. Utilizza Aggiungi standard per aggiungere i seguenti due set di record alla zona DNS di datafusiongoogleusercontent.

    1. Aggiungi un record CNAME: nella finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS *.datafusion.googleusercontent.com. al nome canonico datafusion.googleusercontent.com:

      • Nome DNS: "*.datafusion.googleusercontent.com"

      • Nome canonico: "datafusion.googleusercontent.com"

        Come compilare i campi della zona.

    2. Aggiungi un record A: in una nuova finestra di dialogo Crea set di record, compila i seguenti campi per mappare il nome DNS datafusion.googleusercontent.com. agli indirizzi IP 199.36.153.4 - 199.36.153.7:

      • Nome DNS: ".datafusion.googleusercontent.com"

      • Indirizzo IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        Come compilare i campi della zona.

      La pagina datafusiongoogleusercontent Dettagli zona mostra i seguenti set di record:

      Come compilare i campi della zona.

  3. Segui i passaggi precedenti per creare una zona DNS privata e aggiungere un set di record per il dominio *.datafusion.cloud.google.com.

Passaggi successivi