Job ibridi e trigger di job

I job e gli attivatori di job ibride comprendono un insieme di metodi API asincroni che consentono di eseguire la scansione dei payload di dati inviati da quasi qualsiasi origine per rilevare informazioni sensibili, per poi archiviare i risultati in Google Cloud. I job ibridi ti consentono di scrivere i tuoi crawler dei dati che si comportano e pubblicano i dati in modo simile ai metodi di ispezione dello spazio di archiviazione della Protezione dei dati sensibili.

Con i job ibridi, puoi trasmettere in streaming i dati da qualsiasi origine a Sensitive Data Protection. Sensitive Data Protection controlla la presenza di informazioni sensibili o PII nei dati e poi salva i risultati dell'analisi di ispezione in una risorsa job di Sensitive Data Protection. Puoi esaminare i risultati della scansione nell'API o nell'interfaccia utente della Console per la protezione dei dati sensibili oppure puoi specificare le azioni da eseguire dopo la scansione, ad esempio il salvataggio dei dati dei risultati dell'ispezione in una tabella BigQuery o l'emissione di una notifica Pub/Sub.

Il flusso di lavoro dei job ibridi è riassunto nel seguente diagramma:

Diagramma del flusso di dati dei job ibridi, che mostra l'applicazione che invia dati da un'origine esterna a Sensitive Data Protection, che li ispeziona e poi salva o pubblica i risultati.

Questo argomento concettuale descrive i job ibridi e gli trigger di job e il loro funzionamento. Per scoprire come implementare job ibridi e trigger di job, consulta Ispezione dei dati esterni utilizzando job ibridi.

Informazioni sugli ambienti ibridi

Gli ambienti "ibridi" sono comuni nelle organizzazioni. Molte organizzazioni archiviano e elaborano dati sensibili utilizzando una combinazione di quanto segue:

  • Altri cloud provider
  • Server on-premise o altri repository di dati
  • Sistemi di archiviazione non nativi, ad esempio sistemi in esecuzione all'interno di una macchina virtuale
  • App web e per dispositivi mobili
  • Soluzioni basate su Google Cloud

Utilizzando i job ibridi, Sensitive Data Protection può ispezionare i dati inviati da qualsiasi di queste origini. Di seguito sono riportati alcuni scenari di esempio:

  • Controlla i dati archiviati in Amazon Relational Database Service (RDS), MySQL in esecuzione all'interno di una macchina virtuale o di un database on-premise.
  • Esamina e sottoponi a tokenizzazione i dati durante la migrazione da on-premise al cloud o tra produzione, sviluppo e analisi.
  • Controlla e oscura le transazioni da un'applicazione web o mobile prima di memorizzare i dati a riposo.

Opzioni di ispezione

Come descritto più dettagliatamente in Tipi di metodo, quando vuoi ispezionare i contenuti per rilevare dati sensibili, Sensitive Data Protection offre tre opzioni predefinite:

  • Ispezione dei metodi di contenuto: con l'ispezione dei contenuti, puoi trasmettere in streaming piccoli payload di dati a Sensitive Data Protection insieme a istruzioni su cosa ispezionare. Sensitive Data Protection controlla quindi i dati alla ricerca di contenuti sensibili e PII, per poi restituirti i risultati della scansione.
  • Ispezione dei metodi di archiviazione: con l'ispezione dello spazio di archiviazione, la funzionalità Sensitive Data Protection esamina un repository di archiviazione basato su Google Cloud, ad esempio un database BigQuery, un bucket Cloud Storage o un tipo di Datastore. Specifichi a Sensitive Data Protection cosa ispezionare e cosa cercare, quindi Sensitive Data Protection esegue un job che esegue la scansione del repository. Al termine della scansione, Sensitive Data Protection salva un riepilogo dei risultati della scansione nel job. Inoltre, puoi specificare che i risultati vengano inviati a un altro prodotto Google Cloud per l'analisi, ad esempio una tabella BigQuery separata.
  • Ispezione dei job ibridi: i job ibridi offrono i vantaggi di entrambi i metodi precedenti. Ti consentono di eseguire lo streaming dei dati come faresti con i metodi di contenuti, ottenendo al contempo lo spazio di archiviazione, la visualizzazione e le azioni dei job di ispezione dello spazio di archiviazione. Tutta la configurazione dell'ispezione viene gestita all'interno di Sensitive Data Protection, senza alcuna configurazione aggiuntiva richiesta sul lato client. I job ibridi possono essere utili per eseguire la scansione di sistemi di archiviazione non nativi, come un database in esecuzione in una macchina virtuale (VM), on-premise o su un altro cloud. I metodi ibridi possono essere utili anche per ispezionare i sistemi di elaborazione come i carichi di lavoro di migrazione o persino per eseguire il proxy della comunicazione tra servizi. Anche i metodi di contenuti possono farlo, ma i metodi ibridi ti forniscono il backend di archiviazione dei risultati che può aggregare i tuoi dati su più chiamate API, in modo che tu non debba farlo.

Informazioni sui job ibridi e sugli trigger di job

Un job ibrido è in pratica un ibrido di metodi di archiviazione e metodi per i contenuti. Il flusso di lavoro di base per l'utilizzo di job ibridi e trigger di job è il seguente:

  1. Scrivi uno script o crea un flusso di lavoro che invii i dati a Sensitive Data Protection per l'ispezione insieme ad alcuni metadati.
  2. Configura e crea una risorsa o un attivatore di job ibrida e attivalo in modo che si attivi quando riceve dati.
  3. Lo script o il flusso di lavoro viene eseguito lato client e invia i dati a Sensitive Data Protection sotto forma di richiesta hybridInspect. I dati includono un messaggio di attivazione e l'identificatore del job o dell'attivatore del job, che attiva l'ispezione.
  4. Sensitive Data Protection ispeziona i dati in base ai criteri impostati nel job o nell'attivatore ibrido.
  5. Sensitive Data Protection salva i risultati della scansione nella risorsa del job ibrido, insieme ai metadati che fornisci. Puoi esaminare i risultati utilizzando l'interfaccia utente di Sensitive Data Protection nella console Google Cloud.
  6. Se vuoi, Sensitive Data Protection può eseguire azioni successive alla scansione, ad esempio memorizzare i dati dei risultati dell'ispezione in una tabella BigQuery o inviare una notifica via email o Pub/Sub.

Un trigger di job ibrido ti consente di creare, attivare e interrompere i job in modo da poter attivare le azioni in qualsiasi momento. Se ti assicuri che lo script o il codice invii dati che includono l'identificatore dell'attivatore dei job ibrida, non devi aggiornare lo script o il codice ogni volta che viene avviato un nuovo job.

Scenari tipici di job ibridi

I job ibridi sono adatti a scopi quali:

  • Esegui una scansione una tantum di un database esterno a Google Cloud nell'ambito di un controllo a campione trimestrale dei database.
  • Monitorare tutti i nuovi contenuti aggiunti quotidianamente a un database che Sensitive Data Protection non supporta in modo nativo.
  • Scansiona i dati in entrata in un database, controllando al contempo il modo in cui vengono suddivisi.
  • Monitora il traffico in una rete utilizzando il filtro Sensitive Data Protection per Envoy (un filtro HTTP WebAssembly per i proxy sidecar Envoy) per identificare il trasferimento problematico di dati sensibili.

Per informazioni su come affrontare questi scenari, consulta Scenari di ispezione ibrida tipici.

Tipi di metadati che puoi fornire

Questa sezione descrive i tipi di metadati che puoi associare ai dati esterni che vuoi ispezionare o ai risultati.

Puoi impostare i metadati ai seguenti livelli:

Metadati in un job ibrido o in un trigger di job ibrido

Questa sezione descrive i tipi di metadati che puoi associare a un job o a un attivatore di job ibrido.

Etichette obbligatorie

Nel job ibrido o nell'attivatore di job ibrido, puoi specificare un elenco di etichette obbligatorie che devono essere incluse in tutte le richieste di ispezione ibrida inviate. Eventuali richieste per il job ibrido o l'attivatore di job ibrido che non includono queste etichette obbligatorie vengono rifiutate. Per ulteriori informazioni, consulta la sezione Richiedere le etichette dalle richiestehybridInspect.

Etichette facoltative

Puoi specificare coppie chiave-valore da associare a tutti i risultati di un job ibrido o di un attivatore di job ibrido. Ad esempio, se vuoi che tutti i risultati di un job ibrido abbiano l'etichetta "env"="prod", specifica questa coppia chiave-valore durante la creazione del job ibrido.

Opzioni per i dati tabulari

Puoi specificare eventuali colonne che siano identificatori di riga (chiavi primarie) per gli oggetti tabella nei tuoi dati. Se le colonne specificate sono presenti nella tabella, i valori delle colonne specificate vengono inclusi insieme a ciascun risultato, in modo da poter risalire alla riga da cui proviene il risultato. Queste opzioni tabulari si applicano solo alle richieste che inviano dati tabulari, ad esempio un formato item.table o byteItem come CSV.

Se conosci le chiavi principali in anticipo, puoi impostarle come campi di identificazione quando crei il job ibrido o l'attivatore del job ibrido. Puoi elencare fino a tre nomi di colonna nel campo hybridOptions.tableOptions.identifyingFields.

Metadati in una richiesta hybridInspect

Questa sezione descrive i tipi di metadati che puoi associare a una richiesta hybridInspect. I metadati inviati in una richiesta hybridInspect vengono applicati solo a quella richiesta.

Dettagli container

Ogni richiesta inviata a un job ibrido o a un trigger di job ibrido può specificare dettagli sull'origine dati, inclusi elementi come fullPath, rootPath, relativePath, type,version e altri. Ad esempio, se stai eseguendo la scansione delle tabelle in un database, puoi impostare i campi come segue:

{
  "hybridItem": {
    "item": {...},
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.20/database1/table1",
        "relativePath": "table1",
        "rootPath": "10.0.0.20/database1",
        "type": "postgres",
        "version": "9.6"
      },
      "labels": {...}
    }
  }
}

Non puoi impostare i dettagli del contenitore a livello di job ibrido o di trigger di job ibrido.

Etichette obbligatorie

Se imposti le etichette obbligatorie durante la creazione di un job ibrido o di un trigger di job ibrido, ogni richiesta hybridInspect inviata a quel job ibrido o a quel trigger di job ibrido deve includere le etichette obbligatorie. Per ulteriori informazioni, consulta la sezione Richiedi etichette dalle richieste hybridInspect.

Etichette facoltative

In ogni richiesta hybridInspect, puoi specificare coppie chiave-valore da associare ai risultati della richiesta. Questo metodo ti consente di associare etichette diverse a ogni richiesta hybridInspect.

Opzioni per i dati tabulari

Puoi specificare eventuali colonne che siano identificatori di riga (chiavi primarie) per gli oggetti tabella nei tuoi dati. Se le colonne specificate sono presenti nella tabella, i valori delle colonne specificate vengono inclusi insieme a ciascun risultato, in modo da poter risalire alla riga da cui proviene il risultato. Queste opzioni tabulari si applicano solo alle richieste che inviano dati tabulari, ad esempio un formato item.table o byteItem come CSV.

Se non conosci in anticipo le chiavi principali, non devi impostarle a livello di job ibrido o di attivatore del job ibrido. Puoi impostarli nella richiesta hybridInspect insieme ai dati tabulari da ispezionare. Tutti i campi elencati a livello di job ibrido o di trigger di job ibrido vengono combinati con quelli elencati nella richiesta hybridInspect.

Azioni supportate

Come altri job di Sensitive Data Protection, i job ibridi supportano le azioni. Non tutte le azioni si applicano ai job ibride. Di seguito sono riportate le azioni attualmente supportate, insieme alle informazioni su come funzionano. Tieni presente che con le azioni Pub/Sub, email e Cloud Monitoring, i risultati vengono resi disponibili al termine del job.

  • Salva i risultati in Sensitive Data Protection e Salva i risultati in BigQuery: i risultati vengono salvati rispettivamente in una risorsa Sensitive Data Protection o in una tabella BigQuery. Queste azioni funzionano con i job ibridi in modo simile a come funzionano con altri tipi di job, con una differenza importante: con i job ibridi, i risultati vengono resi disponibili durante l'esecuzione del job; con altri tipi di job, i risultati vengono resi disponibili al termine del job.

  • Invia Pub/Sub: al termine di un job, verrà emesso un messaggio Pub/Sub.

  • Invia email: al termine di un job, verrà inviato un messaggio email.

  • Pubblica su Cloud Monitoring: al termine di un job, i relativi risultati verranno pubblicati in Monitoring.

Riepilogo

Di seguito sono riportate alcune funzionalità e vantaggi chiave dell'utilizzo di job ibridi e trigger di job:

  • I job ibridi ti consentono di trasmettere i dati a Sensitive Data Protection da praticamente qualsiasi origine, on-cloud o off-cloud.
  • Gli attivatori di job ibridi si attivano quando Sensitive Data Protection riceve uno stream di dati che include un messaggio di attivazione e l'identificatore dell'attivatore del job.
  • Puoi attendere il completamento della scansione di ispezione o interrompere manualmente il compito. I risultati dell'ispezione vengono salvati in Sensitive Data Protection o in BigQuery, indipendentemente dal fatto che tu consenta al job di terminare o di interromperlo in anticipo.
  • I risultati della scansione di ispezione di Sensitive Data Protection di un trigger di job ibrido vengono salvati in una risorsa di job ibrida all'interno di Sensitive Data Protection.
  • Puoi esaminare i risultati della scansione di ispezione visualizzando la risorsa trigger del job in Sensitive Data Protection.
  • Puoi anche chiedere a Protezione dei dati sensibili di inviare, tramite un'azione, i risultati dei job ibride a un database BigQuery e di inviarti una notifica via email o Pub/Sub.

Passaggi successivi