Profila i dati BigQuery in un unico progetto

Questa pagina descrive come configurare la scoperta dei dati BigQuery a livello di progetto. Se vuoi creare il profilo di un'organizzazione o di una cartella, consulta Creare il profilo dei dati BigQuery in un'organizzazione o in una cartella.

Per ulteriori informazioni sul servizio di rilevamento, consulta Profili di dati.

Per iniziare a creare i profili dei dati, devi creare una configurazione della scansione.

Prima di iniziare

  1. Assicurati che l'API Cloud Data Loss Prevention sia abilitata nel tuo progetto:

    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Make sure that billing is enabled for your Google Cloud project.

    4. Enable the required API.

      Enable the API

    5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    6. Make sure that billing is enabled for your Google Cloud project.

    7. Enable the required API.

      Enable the API

  2. Verifica di disporre delle autorizzazioni IAM necessarie per configurare i profili di dati a livello di progetto.

  3. Devi avere un modello di ispezione in ogni regione in cui sono presenti i dati da profilare. Se vuoi utilizzare un unico modello per più regioni, puoi utilizzare un modello archiviato nella regione global. Se i criteri organizzativi ti impediscono di creare un modello di ispezione nella regione global, devi impostare un modello di ispezione dedicato per ogni regione. Per ulteriori informazioni, consulta Considerazioni sulla residenza dei dati.

    Questa attività ti consente di creare un modello di ispezione solo nella regione global. Se hai bisogno di modelli di ispezione dedicati per una o più regioni, devi crearli prima di eseguire questa operazione.

  4. Puoi configurare Sensitive Data Protection in modo che invii notifiche a Pub/Sub quando si verificano determinati eventi, ad esempio quando Sensitive Data Protection profila una nuova tabella. Se vuoi utilizzare questa funzionalità, devi prima creare un argomento Pub/Sub.

  5. Puoi configurare Sensitive Data Protection in modo che colleghi automaticamente i tag alle tue risorse. Questa funzionalità ti consente di concedere l'accesso a queste risorse in base ai relativi livelli di sensibilità calcolati. Se vuoi utilizzare questa funzionalità, devi prima completare le attività descritte in Controllare l'accesso IAM alle risorse in base alla sensibilità dei dati.

Creazione di una configurazione di scansione

  1. Vai alla pagina Crea configurazione scansione.

    Vai a Crea configurazione di scansione

  2. Vai al progetto. Nella barra degli strumenti, fai clic sul selettore dei progetti e seleziona il tuo progetto.

Le sezioni seguenti forniscono ulteriori informazioni sui passaggi nella pagina Crea configurazione di scansione. Al termine di ogni sezione, fai clic su Continua.

Seleziona un tipo di rilevamento

Seleziona BigQuery.

Seleziona ambito

Esegui una di queste operazioni:

  • Se vuoi analizzare una singola tabella, seleziona Scandina una tabella.

    Per ogni tabella, puoi avere una sola configurazione di scansione di una singola risorsa. Per ulteriori informazioni, consulta Creare il profilo di una singola risorsa di dati.

    Inserisci i dettagli della tabella di cui vuoi creare il profilo.

  • Se vuoi eseguire il profiling standard a livello di progetto, seleziona Scandina il progetto selezionato.

Gestisci pianificazioni

Se la frequenza di analisi predefinita soddisfa le tue esigenze, puoi saltare questa sezione della pagina Crea configurazione di analisi.

Configura questa sezione per i seguenti motivi:

  • Per apportare aggiustamenti granulari alla frequenza di profilazione di tutti i dati o di determinati sottoinsiemi di dati.
  • Per specificare le tabelle di cui non vuoi creare il profilo.
  • Per specificare le tabelle di cui non vuoi eseguire il profilo più di una volta.

Per apportare modifiche precise alla frequenza di profilazione:

  1. Fai clic su Aggiungi pianificazione.
  2. Nella sezione Filtri, definisci uno o più filtri che specificano le tabelle che rientrano nell'ambito della pianificazione.

    Specifica almeno uno dei seguenti elementi:

    • Un ID progetto o un'espressione regolare che specifica uno o più progetti
    • Un ID set di dati o un'espressione regolare che specifica uno o più set di dati
    • Un ID tabella o un'espressione regolare che specifica una o più tabelle

    Le espressioni regolari devono seguire la sintassi RE2.

    Ad esempio, se vuoi che tutte le tabelle di un set di dati vengano incluse nel filtro, specifica l'ID del set di dati e lascia vuoti gli altri due campi.

    Se vuoi aggiungere altri filtri, fai clic su Aggiungi filtro e ripeti questo passaggio.

  3. Fai clic su Frequenza.

  4. Nella sezione Frequenza, specifica se Sensitive Data Protection deve profilare le tabelle definite nei filtri e, in caso affermativo, con quale frequenza:

    • Se non vuoi mai che le tabelle vengano profilate, disattiva Profila le tabelle.

    • Se vuoi che le tabelle vengano profilate almeno una volta, lascia attiva l'opzione Profila le tabelle.

      Nei campi successivi di questa sezione, specifica se il sistema deve eseguire il nuovo profilo dei dati e quali eventi devono attivare un'operazione di nuovo profilo. Per ulteriori informazioni, consulta la sezione Frequenza di generazione del profilo dei dati.

      1. Per Quando cambia lo schema, specifica la frequenza con cui Sensitive Data Protection deve verificare se le tabelle selezionate hanno subito modifiche allo schema dopo l'ultima profilazione. Verranno riprofilate solo le tabelle con modifiche allo schema.
      2. In Tipi di modifica dello schema, specifica i tipi di modifiche allo schema che devono attivare un'operazione di riprofilazione. Seleziona una delle seguenti opzioni:
        • Nuove colonne: riprofila le tabelle che hanno acquisito nuove colonne.
        • Colonne rimosse: esegui nuovamente il profilo delle tabelle di cui sono state rimosse le colonne.

        Ad esempio, supponi di avere tabelle che acquisiscono nuove colonne ogni giorno e devi profilare i relativi contenuti ogni volta. Puoi impostare Quando cambia lo schema su Nuova profilazione ogni giorno e impostare Tipi di modifica dello schema su Nuove colonne.

      3. Per Quando la tabella cambia, specifica la frequenza con cui Sensitive Data Protection deve verificare se le tabelle selezionate sono state modificate dopo l'ultima profilazione. Verrà eseguito il nuovo profilo solo per le tabelle con modifiche. Alcuni esempi di modifiche alle tabelle sono le eliminazioni di righe e le modifiche allo schema.

        Devi selezionare un valore uguale o meno frequente di quello impostato nel campo Quando cambia lo schema.

      4. Per Quando si esaminano le modifiche al modello, specifica se vuoi che i dati vengano riprofilati quando il modello di ispezione associato viene aggiornato e, in questo caso, con quale frequenza.

        Una modifica al modello di ispezione viene rilevata quando si verifica una delle seguenti condizioni:

        • Il nome di un modello di ispezione cambia nella configurazione della scansione.
        • Il valore updateTime di un modello di ispezione cambia.

      5. Ad esempio, se imposti un modello di ispezione per la regione us-west1 e lo aggiorni, verrà eseguita la nuova profilazione solo dei dati nella regione us-west1.

  5. Fai clic su Condizioni.

  6. Nella sezione Condizioni, specifica le condizioni che le tabelle, definite nei filtri, devono soddisfare prima che Sensitive Data Protection le profili. Se imposti le condizioni minime e la condizione temporale, Sensitive Data Protection profila solo le tabelle che soddisfano entrambi i tipi di condizioni.

    • Condizioni minime: queste condizioni sono utili se vuoi ritardare il profiling di una tabella finché non contiene righe sufficienti o fino a quando non raggiunge una determinata età. Attiva le condizioni che vuoi applicare e specifica il conteggio minimo delle righe o la durata.
    • Condizione temporale: questa condizione è utile se non vuoi che le vecchie tabelle vengano mai profilate. Attiva la condizione di tempo e scegli una data e un'ora. Qualsiasi tabella creata in questa data o prima viene esclusa dal profiling.

    Condizioni di esempio

    Supponiamo che tu abbia la seguente configurazione:

    • Condizioni minime

      • Numero minimo di righe: 10 righe
      • Durata minima: 24 ore
    • Condizione temporale

      • Timestamp: 4/05/22, 23:59

    In questo caso, Sensitive Data Protection esclude tutte le tabelle create entro il giorno 4 maggio 2022 alle ore 23:59. Tra le tabelle create dopo questa data e ora, Sensitive Data Protection profila solo quelle con 10 righe o con almeno 24 ore di età.

  7. Nella sezione Tabelle da profilare, seleziona una delle seguenti opzioni, a seconda del tipo di tabelle che vuoi profilare:

    • Esegui il profilo di tutte le tabelle: seleziona questa opzione se vuoi che Sensitive Data Protection profili tutti i tipi di tabelle corrispondenti ai tuoi filtri e alle tue condizioni.

      Per i tipi di tabelle non supportati, Sensitive Data Protection genera solo profili parzialmente compilati. Questi profili mostrano errori che indicano che le tabelle a cui appartengono non sono supportate. Seleziona questa opzione se vuoi visualizzare i profili parziali nonostante i messaggi di errore.

      Quando Sensitive Data Protection aggiunge il supporto per un nuovo tipo di tabella, ne riprofila completamente le tabelle di quel tipo durante l'esecuzione pianificata successiva.

    • Profila le tabelle supportate: seleziona questa opzione se vuoi che Sensitive Data Protection profili solo le tabelle supportate che corrispondono ai tuoi filtri e alle tue condizioni. Le tabelle non supportate non avranno profili parziali.

    • Esegui il profilo di tipi di tabelle specifici: seleziona questa opzione se vuoi che la funzionalità Protezione dei dati sensibili profili solo i tipi di tabelle che selezioni. Nell'elenco visualizzato, seleziona uno o più tipi.

      Quando Sensitive Data Protection aggiunge il supporto per un nuovo tipo di tabella, non genera automaticamente il profilo delle tabelle di quel tipo. Per creare il profilo dei tipi di tabella di nuova introduzione, devi modificare la configurazione della scansione e selezionare questi tipi.

    Se non selezioni un'opzione, Sensitive Data Protection profila solo le tabelle BigQuery e mostra errori per le tabelle non supportate.

    I prezzi della profilazione dei dati variano in base ai tipi di tabelle profilate. Per ulteriori informazioni, consulta Prezzi della profilazione dei dati.

  8. Fai clic su Fine.

  9. Se vuoi aggiungere altre pianificazioni, fai clic su Aggiungi pianificazione e ripeti i passaggi precedenti.

  10. Per specificare la precedenza tra le pianificazioni, riordinale utilizzando le frecce su e giù.

    L'ordine dei programmi specifica in che modo vengono risolti i conflitti tra i programmi. Se una tabella corrisponde ai filtri di due pianificazioni diverse, la pianificazione più in alto nell'elenco delle pianificazioni determina la frequenza di profilazione per quella tabella.

    L'ultima pianificazione nell'elenco è sempre quella etichettata come Pianificazione predefinita. Questa pianificazione predefinita copre le tabelle nell'ambito selezionato che non corrispondono a nessuna delle pianificazioni che hai creato. Questa pianificazione predefinita segue la frequenza di profilazione predefinita del sistema.

  11. Se vuoi modificare la pianificazione predefinita, fai clic su Modifica pianificazione e modifica le impostazioni in base alle esigenze.

Seleziona modello di ispezione

A seconda di come vuoi fornire una configurazione di ispezione, scegli una delle seguenti opzioni. Indipendentemente dall'opzione scelta, Sensitive Data Protection analizza i dati nella regione in cui sono archiviati. Ciò significa che i dati non vengono trasferiti dalla regione di origine.

Opzione 1: crea un modello di ispezione

Scegli questa opzione se vuoi creare un nuovo modello di ispezione nella regione global.

  1. Fai clic su Crea nuovo modello di ispezione.
  2. (Facoltativo) Per modificare la selezione predefinita degli infoType, fai clic su Gestisci infoType.

    Per ulteriori informazioni su come gestire gli infoType integrati e personalizzati, consulta Gestire gli infoType tramite la console Google Cloud.

    Per continuare, devi avere selezionato almeno un infoType.

  3. (Facoltativo) Configura ulteriormente il modello di ispezione aggiungendo set di regole e impostando una soglia di confidenza. Per ulteriori informazioni, consulta Configurare il rilevamento.

Quando Sensitive Data Protection crea la configurazione di scansione, archivia questo nuovo modello di ispezione nella regione global.

Opzione 2: utilizza un modello di ispezione esistente

Scegli questa opzione se hai modelli di ispezione esistenti che vuoi utilizzare.

  1. Fai clic su Seleziona un modello di ispezione esistente.
  2. Inserisci il nome completo della risorsa del modello di ispezione che vuoi utilizzare. Il campo Regione viene compilato automaticamente con il nome della regione in cui è archiviato il modello di ispezione.

    Il modello di ispezione inserito deve trovarsi nella stessa regione dei dati da profilare.

    Per rispettare la residenza dei dati, Sensitive Data Protection non utilizza un modello di ispezione al di fuori della regione in cui è archiviato.

    Per trovare il nome completo della risorsa di un modello di ispezione, segui questi passaggi:

    1. Vai all'elenco dei modelli di ispezione. Questa pagina si apre in una scheda separata.

      Vai ai modelli di ispezione

    2. Passa al progetto che contiene il modello di ispezione che vuoi utilizzare.
    3. Nella scheda Modelli, fai clic sull'ID del modello che vuoi utilizzare.
    4. Nella pagina visualizzata, copia il nome completo della risorsa del modello. Il nome completo della risorsa segue questo formato:
      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Nella pagina Crea configurazione di scansione, incolla il nome completo della risorsa del modello nel campo Nome modello.
  3. Per aggiungere un modello di ispezione per un'altra regione, fai clic su Aggiungi modello di ispezione e inserisci il nome risorsa completo del modello. Ripeti questa operazione per ogni regione in cui hai un modello di ispezione dedicato.
  4. (Facoltativo) Aggiungi un modello di ispezione archiviato nella regione global. Sensitive Data Protection utilizza automaticamente questo modello per i dati nelle regioni per cui non hai un modello di ispezione dedicato.

Aggiungi azioni

Nelle sezioni seguenti, specifica le azioni che vuoi che Sensitive Data Protection esegua dopo aver generato i profili dei dati.

Per informazioni su come altri servizi Google Cloud potrebbero addebitarti la configurazione delle azioni, consulta Prezzi per l'esportazione dei profili di dati.

Pubblica su Security Command Center

I risultati dei profili di dati forniscono il contesto quando valuti e sviluppi piani di risposta per i risultati relativi a vulnerabilità e minacce in Security Command Center.

Prima di poter utilizzare questa azione, Security Command Center deve essere attivato a livello di organizzazione. L'attivazione di Security Command Center a livello di organizzazione consente il flusso dei risultati provenienti da servizi integrati come Sensitive Data Protection. Sensitive Data Protection funziona con Security Command Center in tutti i livelli di servizio.

Se Security Command Center non è attivato a livello di organizzazione, i risultati di Sensitive Data Protection non verranno visualizzati in Security Command Center. Per ulteriori informazioni, vedi Controllare il livello di attivazione di Security Command Center.

Per inviare i risultati dei profili di dati a Security Command Center, assicurati che l'opzione Pubblica in Security Command Center sia attivata.

Per ulteriori informazioni, vedi Pubblicare i profili di dati in Security Command Center.

Salva le copie dei profili dati su BigQuery

L'attivazione dell'opzione Salva le copie dei profili dati in BigQuery ti consente di conservare una copia salvata o la cronologia di tutti i profili generati. Questa operazione può essere utile per creare report di controllo e visualizzare i profili dei dati. Puoi anche caricare queste informazioni in altri sistemi.

Inoltre, questa opzione ti consente di visualizzare tutti i tuoi profili di dati in un'unica visualizzazione, indipendentemente dalla regione in cui si trovano i dati. Se disattivi questa opzione, puoi comunque visualizzare i profili di dati nella console Google Cloud. Tuttavia, nella console Google Cloud puoi selezionare una regione alla volta e visualizzare solo i profili di dati per quella regione.

Per esportare copie dei profili di dati in una tabella BigQuery:

  1. Attiva Salva le copie dei profili dati in BigQuery.

  2. Inserisci i dettagli della tabella BigQuery in cui vuoi salvare i profili dati:

    • In ID progetto, inserisci l'ID di un progetto esistente in cui vuoi esportare i profili dei dati.

    • In ID set di dati, inserisci il nome di un set di dati esistente nel progetto куда vuoi esportare i profili di dati.

    • In ID tabella, inserisci un nome per la tabella BigQuery in cui verranno esportati i profili dei dati. Se non hai creato questa tabella, Sensitive Data Protection la crea automaticamente utilizzando il nome fornito.

Sensitive Data Protection inizia a esportare i profili dal momento in cui attivi questa opzione. I profili generati prima dell'attivazione dell'esportazione non vengono salvati in BigQuery.

Associa tag alle risorse

L'attivazione dell'opzione Allega tag alle risorse indica a Sensitive Data Protection di applicare automaticamente i tag ai dati in base al livello di sensibilità calcolato. Per questa sezione devi prima completare le attività descritte in Controllare l'accesso IAM alle risorse in base alla sensibilità dei dati.

Per taggare automaticamente una risorsa in base al relativo livello di sensibilità calcolato:

  1. Attiva l'opzione Tagga risorse.
  2. Per ogni livello di sensibilità (alto, moderato, basso e sconosciuto), inserisci il percorso del valore del tag che hai creato per il livello di sensibilità specificato.

    Se salti un livello di sensibilità, non viene associato alcun tag.

  3. Per abbassare automaticamente il livello di rischio dei dati di una risorsa quando è presente il tag del livello di sensibilità, seleziona Quando un tag viene applicato a una risorsa, riduci il rischio dei dati del profilo impostandolo su BASSO. Questa opzione ti consente di misurare il miglioramento della tua situazione in termini di sicurezza e privacy dei dati.

  4. Seleziona una o entrambe le seguenti opzioni:

    • Tagga una risorsa quando viene profilata per la prima volta.
    • Tagga una risorsa quando il suo profilo viene aggiornato. Seleziona questa opzione se vuoi che Sensitive Data Protection sovrascriva il valore del tag del livello di sensibilità nelle esecuzioni successive del rilevamento. Di conseguenza, l'accesso di un amministratore a una risorsa cambia automaticamente con l'aumento o la diminuzione del livello di sensibilità dei dati calcolato per la risorsa.

      Non selezionare questa opzione se prevedi di aggiornare manualmente i valori dei tag del livello di sensibilità che il servizio di rilevamento ha associato alle tue risorse. Se selezioni questa opzione, Sensitive Data Protection può sovrascrivere i tuoi aggiornamenti manuali.

Pubblica in Pub/Sub

L'attivazione di Pubblica in Pub/Sub ti consente di eseguire azioni programmatiche in base ai risultati del profilo. Puoi utilizzare le notifiche Pub/Sub per sviluppare un flusso di lavoro per rilevare e correggere i risultati con rischi o sensibilità significativi per i dati.

Per inviare notifiche a un argomento Pub/Sub:

  1. Attiva Pubblica in Pub/Sub.

    Viene visualizzato un elenco di opzioni. Ogni opzione descrive un evento che causa la spedizione di una notifica da parte di Sensitive Data Protection a Pub/Sub.

  2. Seleziona gli eventi che devono attivare una notifica Pub/Sub.

    Se selezioni Invia una notifica Pub/Sub ogni volta che un profilo viene aggiornato, Sensitive Data Protection invia una notifica quando si verifica una variazione nel livello di sensibilità, nel livello di rischio dei dati, negli infoType rilevati, nell'accesso pubblico e in altre metriche importanti nel profilo.

  3. Per ogni evento selezionato:

    1. Inserisci il nome dell'argomento. Il nome deve avere il seguente formato:

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Sostituisci quanto segue:

      • PROJECT_ID: l'ID del progetto associato all'argomento Pub/Sub.
      • TOPIC_ID: l'ID dell'argomento Pub/Sub.
    2. Specifica se includere nella notifica il profilo completo della tabella o solo il nome completo della risorsa della tabella di cui è stato eseguito il profilo.

    3. Imposta i livelli minimi di rischio e sensibilità dei dati che devono essere soddisfatti affinché Sensitive Data Protection invii una notifica.

    4. Specifica se deve essere soddisfatta una sola o entrambe le condizioni di rischio e sensibilità dei dati. Ad esempio, se scegli AND, devono essere soddisfatte sia le condizioni relative al rischio dei dati sia quelle relative alla sensibilità prima che Sensitive Data Protection invii una notifica.

Invia a Dataplex come tag

Questa azione ti consente di creare tag in Dataplex in base alle informazioni ricavate dai profili dati. Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non vengono aggiornati non vengono inviati a Dataplex.

Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Quando attivi questa azione, le tabelle di cui esegui il profilo vengono automaticamente etichettate in Dataplex in base agli approfondimenti raccolti dai profili dei dati. Puoi quindi cercare nella tua organizzazione e nei tuoi progetti tabelle con valori di tag specifici.

Per inviare i profili dei dati a Dataplex, assicurati che l'opzione Invia a Dataplex come tag sia attivata.

Per saperne di più, consulta Etichettare le tabelle in Dataplex in base alle informazioni ricavate dai profili dei dati.

Imposta la posizione in cui archiviare la configurazione

Fai clic sull'elenco Posizione della risorsa e seleziona la regione in cui vuoi archiviare questa configurazione di scansione. Anche tutte le configurazioni di scansione che creerai in seguito verranno archiviate in questa posizione.

La posizione in cui scegli di archiviare la configurazione della scansione non influisce sui dati da esaminare. I tuoi dati vengono sottoposti a scansione nella stessa regione in cui sono archiviati. Per ulteriori informazioni, consulta Considerazioni sulla residenza dei dati.

Rivedi e crea

  1. Se vuoi assicurarti che la profilazione non venga avviata automaticamente dopo la creazione della configurazione della scansione, seleziona Crea analisi in modalità in pausa.

    Questa opzione è utile nei seguenti casi:

  2. Rivedi le impostazioni e fai clic su Crea.

    Sensitive Data Protection crea la configurazione di scansione e la aggiunge all'elenco delle configurazioni di scansione del rilevamento.

Per visualizzare o gestire le configurazioni di scansione, consulta Gestire le configurazioni di scansione.

Se l'agente di servizio dispone dei ruoli necessari per accedere ai dati e profilarli, Sensitive Data Protection inizia a scansionarli poco dopo la creazione della configurazione della scansione o la ripresa di una configurazione in pausa. In caso contrario, Sensitive Data Protection mostra un errore quando visualizzi i dettagli della configurazione della scansione.

Passaggi successivi

  • Scopri come gestire i profili di dati.
  • Scopri come gestire le configurazioni di scansione.
  • Scopri come ricevere e analizzare i messaggi Pub/Sub pubblicati dal profiler dei dati.
  • Scopri come risolvere i problemi relativi ai profili dei dati.