Profila dei dati di BigQuery in un singolo progetto

Questa pagina descrive come configurare il rilevamento dei dati di BigQuery a livello di progetto. Se vuoi profilare un'organizzazione o una cartella, consulta Profilo dei dati di BigQuery in un'organizzazione o una cartella.

Per ulteriori informazioni sul servizio di rilevamento, consulta Profili dati.

Per avviare la profilazione dei dati, devi creare una configurazione di scansione.

Prima di iniziare

  1. Assicurati che l'API Cloud Data Loss Prevention sia abilitata nel tuo progetto:

    1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
    2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

      Vai al selettore progetti

    3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

    4. Attiva l'API richiesta.

      Abilita l'API

    5. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

      Vai al selettore progetti

    6. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

    7. Attiva l'API richiesta.

      Abilita l'API

  2. Conferma di disporre delle autorizzazioni IAM necessarie per configurare i profili dati a livello di progetto.

  3. Devi disporre di un modello di ispezione in ogni regione in cui esistono dati da profilare. Se vuoi utilizzare un singolo modello per più regioni, puoi usare un modello archiviato nella regione global. Se i criteri dell'organizzazione impediscono di creare un modello di ispezione global, devi impostare un modello di ispezione dedicato per ogni regione. Per saperne di più, consulta Considerazioni sulla residenza dei dati.

    Questa attività consente di creare un modello di ispezione solo nella regione global. Se hai bisogno di modelli di ispezione dedicati per una o più regioni, devi crearli prima di eseguire questa attività.

  4. Puoi configurare Sensitive Data Protection in modo da inviare notifiche a Pub/Sub quando si verificano determinati eventi, ad esempio quando Sensitive Data Protection profila una nuova tabella. Per utilizzare questa funzionalità, devi prima creare un argomento Pub/Sub.

Creazione di una configurazione di scansione

  1. Vai alla pagina Crea configurazione di scansione.

    Vai a Crea configurazione di scansione

  2. Vai al tuo progetto. Nella barra degli strumenti, fai clic sul selettore dei progetti e seleziona il tuo.

Le seguenti sezioni forniscono ulteriori informazioni sui passaggi nella pagina Crea configurazione di scansione. Alla fine di ogni sezione, fai clic su Continua.

Seleziona un tipo di rilevamento

Seleziona BigQuery.

Seleziona ambito

Esegui una di queste operazioni:

  • Se vuoi analizzare una singola tabella in modalità di test, seleziona Analizza una tabella (modalità di test).

    Viene visualizzato il numero di analisi delle tabelle gratuite disponibili. Le analisi delle tabelle gratuite si applicano solo alle tabelle di dimensioni inferiori o uguali a 1 TB. Per ogni tabella è possibile avere una sola configurazione dell'analisi a livello di tabella. Per maggiori informazioni, consulta Profilare una tabella in modalità di test.

    Inserisci i dettagli della tabella che vuoi profilare.

  • Se vuoi eseguire la profilazione standard a livello di progetto, seleziona Analizza l'intero progetto.

Gestisci pianificazioni

Se la frequenza di profilazione predefinita è adatta alle tue esigenze, puoi saltare questa sezione della pagina Crea configurazione di scansione. Questa sezione è utile se vuoi apportare modifiche dettagliate alla frequenza di profilazione di tutti i tuoi dati o di alcuni sottoinsiemi di dati. È utile anche se non vuoi che determinate tabelle vengano profilate o se vuoi che vengano profilate una volta e poi mai più.

In questa sezione puoi creare filtri per specificare determinati sottoinsiemi di dati di tuo interesse. Per questi sottoinsiemi, devi definire se Sensitive Data Protection deve profilare le tabelle e con quale frequenza. Qui devi specificare anche i tipi di modifiche che dovrebbero causare una nuova profilazione di una tabella. Infine, devi specificare le condizioni che ogni tabella nei sottoinsiemi deve soddisfare prima che la protezione dei dati sensibili inizi a profilare la tabella.

Per apportare modifiche dettagliate alla frequenza di profilazione, procedi nel seguente modo:

  1. Fai clic su Aggiungi pianificazione.
  2. Nella sezione Filtri, definisci uno o più filtri che specificano quali tabelle sono nell'ambito della pianificazione.

    Specifica almeno una delle seguenti opzioni:

    • Un ID progetto o un'espressione regolare che specifica uno o più progetti.
    • Un ID set di dati o un'espressione regolare che specifica uno o più set di dati.
    • Un ID tabella o un'espressione regolare che specifica una o più tabelle.

    Le espressioni regolari devono seguire la sintassi RE2.

    Ad esempio, se vuoi che tutte le tabelle di un set di dati siano incluse nel filtro, specifica l'ID di quel set di dati e lascia vuoti gli altri due campi.

    Se vuoi aggiungere altri filtri, fai clic su Aggiungi filtro e ripeti questo passaggio.

  3. Fai clic su Frequenza.

  4. Nella sezione Frequenza, specifica se Sensitive Data Protection deve profilare le tabelle definite nei filtri e, in questo caso, con quale frequenza:

    • Se non vuoi che le tabelle vengano profilate, disattiva Profila le tabelle.

    • Se vuoi che le tabelle vengano profilate almeno una volta, lascia Profila le tabelle.

      Nei campi successivi di questa sezione, puoi specificare se il sistema deve riprofilare i dati e quali eventi devono attivare una nuova operazione. Per saperne di più, consulta Frequenza di generazione del profilo dati.

      1. In Quando lo schema viene modificato, specifica la frequenza con cui Sensitive Data Protection deve controllare se le tabelle selezionate presentano modifiche allo schema dopo l'ultima profilazione. Solo le tabelle con modifiche allo schema verranno riprofilate.
      2. In Tipi di modifiche allo schema, specifica quali tipi di modifiche allo schema devono attivare un'operazione di nuova profilazione. Seleziona una delle seguenti opzioni:
        • Nuove colonne: riprofila le tabelle che hanno ottenuto nuove colonne.
        • Colonne rimosse: riprofila le tabelle in cui erano state rimosse le colonne.

        Ad esempio, supponi di avere tabelle che acquisiscono nuove colonne ogni giorno e di dover profilare i relativi contenuti ogni volta. Puoi impostare Quando lo schema cambia su Nuova profilazione ogni giorno e impostare Tipi di modifica dello schema su Nuove colonne.

      3. In Quando la tabella viene modificata, specifica la frequenza con cui Sensitive Data Protection deve controllare se le tabelle selezionate hanno subito modifiche dopo l'ultima profilazione. Solo le tabelle con modifiche verranno riprofilate. Esempi di modifiche alla tabella sono l'eliminazione di righe e le modifiche allo schema.

        Devi selezionare un valore uguale o inferiore a quello impostato nel campo Quando lo schema viene modificato.

      4. In Quando si esaminano le modifiche al modello, specifica se si vuole che i dati vengano riprofilati all'aggiornamento del modello di ispezione associato e, in tal caso, con quale frequenza.

        Una modifica al modello di ispezione viene rilevata quando si verifica una delle seguenti condizioni:

        • Il nome di un modello di ispezione cambia nella configurazione di scansione.
        • Il valore updateTime di un modello di ispezione viene modificato.

      5. Ad esempio, se imposti un modello di ispezione per la regione us-west1 e aggiorni quel modello, solo i dati nella regione us-west1 verranno riprofilati. Tuttavia, se elimini quel modello di ispezione, i dati in us-west1 non vengono riprofilati, in quanto non esiste un modello di ispezione da utilizzare per riprofilare i dati.

  5. Fai clic su Condizioni.

  6. Nella sezione Condizioni, specifica le eventuali condizioni che le tabelle, definite nei filtri, devono soddisfare prima che Sensitive Data Protection le profila. Se imposti condizioni minime e la condizione temporale, Sensitive Data Protection profila solo le tabelle che soddisfano entrambi i tipi di condizioni.

    • Condizioni minime: queste condizioni sono utili se vuoi ritardare la profilazione di una tabella finché non ha un numero sufficiente di righe o fino a quando non raggiunge una determinata età. Attiva le condizioni che vuoi applicare e specifica la durata o il numero minimo di righe.
    • Condizione temporale: questa condizione è utile se non vuoi che le tabelle precedenti non vengano profilate. Attiva la condizione dell'ora e scegli una data e un'ora. Qualsiasi tabella creata in questa data o prima di questa data viene esclusa dalla profilazione.

    Supponi di avere la seguente configurazione:

    • Condizioni minime

      • Numero minimo di righe: 10 righe
      • Durata minima: 24 ore
    • Condizione temporale

      • Timestamp: 4/5/22, 23:59

    In questo caso, Sensitive Data Protection esclude tutte le tabelle create a partire dal 4 maggio 2022 alle ore 23:59. Tra le tabelle create dopo questa data e ora, Sensitive Data Protection profila solo le tabelle che hanno 10 righe o risalgono da almeno 24 ore.

  7. Nella sezione Tabelle da profilare, seleziona una delle seguenti opzioni, a seconda dei tipi di tabelle che vuoi profilare:

    • Profila tutte le tabelle: seleziona questa opzione se vuoi che Sensitive Data Protection profila tutti i tipi di tabelle che corrispondono ai filtri e alle condizioni.

      Per i tipi di tabella non supportati, Sensitive Data Protection genera solo profili compilati parzialmente. Questi profili mostrano errori che indicano che le tabelle a cui si riferiscono non sono supportate. Seleziona questa opzione se vuoi visualizzare i profili parziali nonostante i messaggi di errore.

      Quando Sensitive Data Protection aggiunge il supporto per un nuovo tipo di tabella, riprofila completamente le tabelle di quel tipo durante l'esecuzione pianificata successiva.

    • Profila le tabelle supportate: seleziona questa opzione se vuoi che Sensitive Data Protection profila solo le tabelle supportate che corrispondono ai tuoi filtri e alle tue condizioni. Le tabelle non supportate non avranno profili parziali.

    • Tipi di tabelle specifiche per i profili: seleziona questa opzione se vuoi che Sensitive Data Protection profila solo i tipi di tabelle che seleziona. Nell'elenco visualizzato, seleziona uno o più tipi.

      Quando Sensitive Data Protection aggiunge il supporto per un nuovo tipo di tabella, non profila automaticamente le tabelle di quel tipo. Per profilare i nuovi tipi di tabella supportati, devi modificare la configurazione di scansione e selezionare i tipi.

    Se non selezioni un'opzione, Sensitive Data Protection profila solo le tabelle BigQuery e mostra gli errori per le tabelle non supportate.

    I prezzi per la profilazione dei dati variano in base ai tipi di tabelle profilate. Per ulteriori informazioni, consulta Prezzi della profilazione dei dati.

  8. Fai clic su Fine.

  9. Se vuoi aggiungere altre pianificazioni, fai clic su Aggiungi pianificazione e ripeti i passaggi precedenti.

  10. Per riordinare le pianificazioni in base alla priorità, utilizza le frecce su e giù . Ad esempio, se i filtri in due pianificazioni diverse corrispondono alla Tabella A, la pianificazione più in alto nell'elenco di priorità ha la precedenza.

    L'ultima pianificazione nell'elenco è sempre quella con l'etichetta Pianificazione predefinita. Questa pianificazione predefinita copre le tabelle nel progetto che non corrispondono a nessuna delle pianificazioni che hai creato. Questa pianificazione predefinita segue la frequenza di profilazione predefinita di sistema.

  11. Se vuoi modificare la pianificazione predefinita, fai clic su Modifica pianificazione e cambia le impostazioni in base alle esigenze.

Seleziona modello di ispezione

A seconda di come vuoi fornire una configurazione di ispezione, scegli una delle seguenti opzioni. Indipendentemente dall'opzione scelta, Sensitive Data Protection esegue la scansione dei tuoi dati nella regione in cui sono archiviati. In altre parole, i tuoi dati non lasciano la sua regione di origine.

Opzione 1: crea un modello di ispezione

Scegli questa opzione se vuoi creare un nuovo modello di ispezione nella regione global.

  1. Fai clic su Crea nuovo modello di ispezione.
  2. (Facoltativo) Per modificare la selezione predefinita degli infoType, fai clic su Gestisci infoType.

    Per ulteriori informazioni su come gestire gli infoType integrati e personalizzati in questa sezione, consulta Gestire gli infoType tramite la console Google Cloud.

    Devi selezionare almeno un infoType per continuare.

  3. (Facoltativo) Configura ulteriormente il modello di ispezione aggiungendo set di regole e impostando una soglia di confidenza. Per ulteriori informazioni, consulta Configurare il rilevamento.

    Quando Sensitive Data Protection crea la configurazione di scansione, archivia questo nuovo modello di ispezione nella regione global.

Opzione 2: utilizza un modello di ispezione esistente

Scegli questa opzione se disponi di modelli di ispezione esistenti che vuoi utilizzare.

  1. Fai clic su Seleziona modello di ispezione esistente.

  2. Inserisci il nome completo della risorsa del modello di ispezione che vuoi utilizzare. Il campo Regione viene compilato automaticamente con il nome della regione in cui è archiviato il modello di ispezione.

    Il modello di ispezione inserito deve trovarsi nella stessa regione dei dati da profilare. Per rispettare la residenza dei dati, Sensitive Data Protection non utilizza un modello di ispezione al di fuori della propria regione.

    Per trovare il nome completo della risorsa di un modello di ispezione, segui questi passaggi:

    1. Vai all'elenco dei modelli di ispezione. Questa pagina si apre in una scheda separata.

      Vai ai modelli di ispezione

    2. Passa al progetto che contiene il modello di ispezione che vuoi utilizzare.

    3. Nella scheda Modelli, fai clic sull'ID del modello che vuoi utilizzare.

    4. Nella pagina che si apre, copia il nome completo della risorsa del modello. Il nome completo della risorsa ha il seguente formato:

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Nella pagina Crea configurazione di scansione, incolla il nome completo della risorsa del modello nel campo Nome modello.

  3. Se hai dati in un'altra regione e hai un modello di ispezione che vuoi utilizzare per quella regione, segui questi passaggi:

    1. Fai clic su Aggiungi modello di ispezione.
    2. Inserisci il nome completo della risorsa del modello di ispezione.

    Ripeti questi passaggi per ogni regione in cui è disponibile un modello di ispezione dedicato.

  4. (Facoltativo) Aggiungi un modello di ispezione archiviato nella regione global. Sensitive Data Protection utilizza automaticamente quel modello per i dati nelle regioni in cui non è disponibile un modello di ispezione dedicato.

Aggiungi azioni

Nelle sezioni seguenti puoi specificare le azioni che vuoi che Sensitive Data Protection intraprenda dopo aver generato i profili di dati.

Per informazioni su come altri servizi Google Cloud potrebbero addebitarti i costi per la configurazione delle azioni, consulta la sezione Prezzi per l'esportazione dei profili di dati.

Pubblica su Security Command Center

Questa azione consente di inviare a Security Command Center i livelli di rischio e sensibilità dei dati calcolati dei profili dei dati delle tabelle.

Security Command Center è il servizio centralizzato di Google Cloud per la segnalazione di vulnerabilità e minacce. Puoi utilizzare gli insight dei profili di dati per valutare e sviluppare piani di risposta per i risultati relativi a vulnerabilità e minacce in Security Command Center.

Prima di poter utilizzare questa azione, è necessario attivare Security Command Center a livello di organizzazione. L'attivazione di Security Command Center a livello di organizzazione consente il flusso dei risultati da servizi integrati come Sensitive Data Protection. Sensitive Data Protection funziona con Security Command Center Standard e Premium.

Se Security Command Center non viene attivato a livello di organizzazione, i risultati di Sensitive Data Protection non verranno visualizzati in Security Command Center. Per maggiori informazioni, consulta Controllare il livello di attivazione di Security Command Center.

Per inviare i risultati dei tuoi profili di dati a Security Command Center, assicurati che l'opzione Pubblica su Security Command Center sia attivata.

Per maggiori informazioni, vedi Pubblicare profili di dati in Security Command Center.

Salva le copie dei profili dati su BigQuery

Se attivi Salva copie del profilo dati in BigQuery, potrai conservare una copia salvata o la cronologia di tutti i profili generati. Questo può essere utile per creare report di controllo e visualizzare profili di dati. Puoi anche caricare queste informazioni in altri sistemi.

Inoltre, questa opzione consente di vedere tutti i profili di dati in un'unica vista, indipendentemente dalla regione in cui si trovano i dati. Se disattivi questa opzione, puoi comunque visualizzare i profili di dati nella dashboard. Tuttavia, nella dashboard, selezioni una regione alla volta e visualizzi solo i profili di dati per quella regione.

Per esportare copie dei profili di dati in una tabella BigQuery, segui questi passaggi:

  1. Attiva Salva copie del profilo dati in BigQuery.

  2. Inserisci i dettagli della tabella BigQuery in cui vuoi salvare i profili dati:

    • In ID progetto, inserisci l'ID di un progetto esistente in cui vuoi esportare i profili di dati.

    • In ID set di dati, inserisci il nome di un set di dati esistente nel progetto in cui vuoi esportare i profili di dati.

    • In ID tabella, inserisci un nome per la tabella BigQuery in cui verranno esportati i profili dati. Se non hai creato questa tabella, Sensitive Data Protection la crea automaticamente per te utilizzando il nome fornito.

Sensitive Data Protection inizia a esportare i profili dal momento in cui attivi questa opzione. I profili generati prima dell'attivazione dell'esportazione non vengono salvati in BigQuery.

Pubblica in Pub/Sub

Se attivi Pubblica su Pub/Sub, puoi eseguire azioni programmatiche basate sui risultati della profilazione. Puoi utilizzare le notifiche Pub/Sub per sviluppare un flusso di lavoro per rilevare e risolvere i risultati con un rischio o una sensibilità dei dati significativo.

Per inviare notifiche a un argomento Pub/Sub, segui questi passaggi:

  1. Attiva Pubblica su Pub/Sub.

    Viene visualizzato un elenco di opzioni. Ogni opzione descrive un evento che causa l'invio di una notifica a Sensitive Data Protection a Pub/Sub.

  2. Seleziona gli eventi che devono attivare una notifica Pub/Sub.

    Se selezioni Invia una notifica Pub/Sub ogni volta che un profilo viene aggiornato, Sensitive Data Protection invia una notifica in caso di modifica alle seguenti metriche a livello di tabella:

    • Rischio dei dati
    • Riservatezza
    • InfoType previsti
    • Altri infoType
    • Pubblico
    • Crittografia
  3. Per ogni evento selezionato, segui questi passaggi:

    1. Inserisci il nome dell'argomento. Il nome deve avere il seguente formato:

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Sostituisci quanto segue:

      • PROJECT_ID: l'ID del progetto associato all'argomento Pub/Sub.
      • TOPIC_ID: l'ID dell'argomento Pub/Sub.
    2. Specifica se includere il profilo completo della tabella nella notifica o solo il nome completo della risorsa della tabella profilata.

    3. Imposta i livelli minimi di rischio e sensibilità dei dati che devono essere soddisfatti affinché la protezione dei dati sensibili possa inviare una notifica.

    4. Specifica se devono essere soddisfatte solo una o entrambe le condizioni di rischio e sensibilità dei dati. Ad esempio, se scegli AND, sia il rischio che le condizioni di sensibilità devono essere soddisfatti prima che Sensitive Data Protection invii una notifica.

Invia a Dataplex come tag

Questa azione consente di creare tag in Dataplex in base agli insight provenienti dai profili di dati. Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non vengono aggiornati non vengono inviati a Dataplex.

Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Quando abiliti questa azione, le tabelle profilate vengono codificate automaticamente in Dataplex in base agli insight raccolti dai profili di dati. Puoi quindi cercare nella tua organizzazione e nei tuoi progetti tabelle con valori di tag specifici.

Per inviare i profili dati a Dataplex, assicurati che l'opzione Invia a Dataplex come tag sia attivata.

Per saperne di più, consulta Tabelle di tag in Dataplex basate sugli insight provenienti dai profili di dati.

Imposta la posizione in cui archiviare la configurazione

Fai clic sull'elenco Località della risorsa e seleziona la regione in cui vuoi archiviare questa configurazione di scansione. Anche tutte le configurazioni di scansione create in seguito verranno archiviate in questa località.

La scelta di archiviare la configurazione di scansione non influisce sui dati da analizzare. Inoltre, non influisce sulla posizione in cui vengono archiviati i profili di dati. I dati vengono analizzati nella stessa regione in cui sono archiviati. Per ulteriori informazioni, consulta Considerazioni sulla residenza dei dati.

Rivedi e crea

  1. Se vuoi assicurarti che la profilazione non venga avviata automaticamente dopo aver creato la configurazione di scansione, seleziona Crea analisi in modalità in pausa.

    Questa opzione è utile nei seguenti casi:

    • Hai scelto di salvare i profili di dati in BigQuery e vuoi assicurarti che l'agente di servizio abbia accesso in scrittura alla tabella di output.
    • Hai configurato le notifiche Pub/Sub e vuoi concedere all'agente di servizio l'accesso in pubblicazione.
  2. Rivedi le impostazioni e fai clic su Crea.

    Sensitive Data Protection crea la configurazione della scansione e la aggiunge all'elenco delle configurazioni della scansione di rilevamento.

Per visualizzare o gestire le configurazioni di scansione, vedi Gestire le configurazioni di scansione.

Se il tuo agente di servizio dispone dei ruoli necessari per accedere e profilare i tuoi dati, Sensitive Data Protection inizia ad analizzare i dati poco dopo aver creato la configurazione di scansione o riprendere una configurazione in pausa. In caso contrario, Sensitive Data Protection mostra un errore quando visualizzi i dettagli di configurazione della scansione.

Passaggi successivi

  • Scopri come stimare il costo dei dati di profilazione in un singolo progetto.
  • Scopri come visualizzare i profili di dati.
  • Scopri come gestire le configurazioni dell'analisi.
  • Scopri come ricevere e analizzare i messaggi Pub/Sub pubblicati dal profiler dati.
  • Scopri come risolvere i problemi relativi ai profili di dati.