Job ibridi e trigger di job

I job ibridi e i trigger di job includono un set di metodi API asincroni che ti consentono di analizzare i payload dei dati inviati praticamente da qualsiasi origine per trovare informazioni sensibili, quindi archivia i risultati in Google Cloud. I job ibridi consentono di scrivere i tuoi crawler di dati che si comportano e gestiscono i dati in modo simile ai metodi di ispezione per l'archiviazione della Prevenzione della perdita di dati di Cloud.

Con i job ibridi puoi trasmettere i flussi di dati da qualsiasi origine a Cloud DLP. Cloud DLP esamina i dati per individuare informazioni sensibili o PII, quindi salva i risultati della scansione di ispezione in una risorsa del job di Cloud DLP. Puoi esaminare i risultati della scansione nell'interfaccia utente o nell'API Cloud DLP Console oppure puoi specificare azioni da eseguire dopo la scansione, ad esempio il salvataggio dei dati dei risultati dell'ispezione in una tabella BigQuery o l'emissione di una notifica Pub/Sub.

Il flusso di lavoro dei job ibridi è riepilogato nel seguente diagramma:

Diagramma di Dataflow: i job ibridi che mostrano l'applicazione che invia i dati da un'origine esterna a Cloud DLP, ispeziona i dati e poi salva o pubblica i risultati.

Questo argomento concettuale descrive i job ibridi e gli attivatori dei job e il loro funzionamento. Per informazioni su come implementare i job ibridi e i trigger di job, consulta Ispezionare i dati esterni utilizzando i job ibridi.

Informazioni sugli ambienti ibridi

"Ibridi" sono ambienti comuni nelle organizzazioni. Molte organizzazioni archiviano ed elaborano dati sensibili utilizzando una combinazione dei seguenti elementi:

  • Altri cloud provider
  • Server on-premise o altri repository di dati
  • Sistemi di archiviazione non nativi, ad esempio sistemi in esecuzione all'interno di una macchina virtuale
  • App web e per dispositivi mobili
  • Soluzioni basate su Google Cloud

Tramite i job ibridi, Cloud DLP può ispezionare i dati inviati da una di queste origini. Di seguito sono riportati alcuni scenari di esempio:

  • Controlla i dati archiviati in Amazon Relational Database Service (RDS), MySQL in esecuzione all'interno di una macchina virtuale o in un database on-premise.
  • Ispeziona e tokenizza i dati durante la migrazione da on-premise al cloud oppure tra produzione, sviluppo e analisi.
  • Ispeziona e oscura le transazioni da un'applicazione web o per dispositivi mobili prima di archiviare i dati inattivi.

Opzioni di ispezione

Come descritto più in dettaglio nella sezione Tipi di metodi, quando vuoi controllare la presenza di dati sensibili nei contenuti, Cloud DLP offre tre opzioni predefinite:

  • Ispezione dei metodi dei contenuti: utilizzando l'ispezione dei contenuti, puoi riprodurre in streaming piccoli carichi di dati di Cloud DLP, insieme alle istruzioni su cosa esaminare. Cloud DLP controlla quindi i dati per individuare contenuti sensibili e PII, quindi restituisce i risultati della scansione.
  • Ispezione dei metodi di archiviazione: mediante l'ispezione di archiviazione, Cloud DLP esamina un repository di archiviazione basato su Google Cloud, come un database BigQuery, un bucket Cloud Storage o un tipo di datastore. Comunica a Cloud DLP quali ispezioni e cosa ispezionare, quindi Cloud DLP esegue un job che esegue la scansione del repository. Al termine della scansione, Cloud DLP salva nel riepilogo un riepilogo dei risultati della scansione. Puoi anche specificare che i risultati vengono inviati a un altro prodotto Google Cloud per l'analisi, ad esempio una tabella BigQuery separata.
  • Controllo dei job ibridi: i job ibridi forniscono i vantaggi di entrambi i due metodi precedenti. Consentono di creare flussi di dati come si farebbe con i metodi di contenuto, acquisendo al contempo l'archiviazione, la visualizzazione e le azioni dei job di ispezione dell'archiviazione. Tutte le configurazioni di ispezione sono gestite all'interno di Cloud DLP, senza alcuna configurazione aggiuntiva sul lato client. I job ibridi possono essere utili per la scansione di sistemi di archiviazione non nativi, ad esempio un database in esecuzione su una macchina virtuale (VM), on-premise o su un altro cloud. I metodi ibridi possono essere utili anche per esaminare i sistemi di elaborazione, come i carichi di lavoro di migrazione, o anche per le comunicazioni tra servizi. Anche i metodi di contenuto offrono questa possibilità, ma i metodi ibridi forniscono il backend di archiviazione dei risultati che può aggregare i tuoi dati tra più chiamate API, così non devi farlo tu.

Informazioni sui job ibridi e sugli attivatori dei job

Un job ibrido è essenzialmente un ibrido tra metodi di contenuto e metodi di archiviazione. Il flusso di lavoro di base per l'utilizzo di job ibridi e trigger di job è il seguente:

  1. Scrivi uno script o crea un flusso di lavoro che invii i dati a Cloud DLP per l'ispezione insieme ad alcuni metadati.
  2. Configura e crea una risorsa o un attivatore di job ibridi che puoi attivare quando riceve i dati.
  3. Il tuo script o flusso di lavoro viene eseguito sul lato client e invia i dati a Cloud DLP. I dati includono un messaggio di attivazione e l'identificatore del job che attiva l'ispezione.
  4. Cloud DLP esamina i dati in base ai criteri che hai impostato nel job o nel trigger ibrido.
  5. Cloud DLP salva i risultati della scansione nella risorsa di job ibrido, insieme ai metadati che fornisci. Puoi esaminare i risultati utilizzando l'interfaccia utente di Cloud DLP in Google Cloud Console.
  6. Facoltativamente, Cloud DLP può eseguire azioni post-scansione, ad esempio salvare i dati dei risultati dell'ispezione in una tabella BigQuery o inviarti una notifica via email o Pub/Sub.

Un trigger di job ibrido consente di creare, attivare e arrestare i job in modo da poter eseguire azioni ogni volta che ne hai bisogno. Assicurati che il tuo script o codice invii dati che includono l'identificatore del trigger ibrido, non è necessario aggiornare lo script o il codice ogni volta che inizi un nuovo job.

Tipici scenari di lavoro ibrido

Di seguito sono riportati alcuni scenari tipici in cui i lavori ibridi sono adatti:

  • Vuoi eseguire una scansione una tantum di un database al di fuori di Google Cloud come parte di una verifica spot trimestrale dei database.
  • Vuoi monitorare tutti i nuovi contenuti aggiunti quotidianamente su un database non supportato in modo nativo da Cloud DLP.
  • Vuoi monitorare il traffico in una rete utilizzando Cloud DLP Filter per Envoy (un filtro HTTP WebAssembly per i proxy sidecar Envoy) per identificare lo spostamento di dati sensibili problematico.

Azioni ibride supportate da job

Come altri job Cloud DLP, i job ibridi supportano le azioni. Non tutte le azioni si applicano ai job ibridi. Di seguito sono riportate le azioni attualmente supportate e le informazioni sul loro funzionamento. Tieni presente che con le azioni Pub/Sub, email e Cloud Monitoring, i risultati vengono messi a disposizione al termine del job.

  • Salva i risultati in DLP e Salva i risultati in BigQuery: i risultati vengono salvati rispettivamente in una risorsa Cloud DLP o in una tabella BigQuery. Queste azioni funzionano con i job ibridi in modo simile a come funzionano con altri tipi di job, con una differenza importante: con i job ibridi, i risultati vengono resi disponibili mentre il job è in esecuzione. Con altri tipi di job, i risultati vengono resi disponibili al termine del job.
  • Invia Pub/Sub: quando viene completato un job, viene emesso un messaggio Pub/Sub.
  • Invia email: Quando viene completato un lavoro, viene inviato un messaggio email.
  • Pubblica su Cloud Monitoring: al termine di un job, i relativi risultati verranno pubblicati in Monitoring.

Riepilogo

Di seguito sono riportate alcune delle funzionalità e dei vantaggi principali dell'utilizzo di job ibridi e di trigger di job:

  • I job ibridi consentono di inserire flussi di dati in Cloud DLP praticamente da qualsiasi origine, on-premise o cloud.
  • Gli attivatori dei job ibridi si attivano quando Cloud DLP riceve uno stream di dati che include un messaggio di attivazione e l'identificatore del trigger di job.
  • Puoi attendere il completamento della scansione di ispezione oppure interrompere il job manualmente. I risultati dell'ispezione vengono salvati in un servizio Cloud DLP o in BigQuery, in modo da consentire o meno il completamento o l'arresto del job.
  • I risultati della scansione di ispezione di Cloud DLP da un trigger di job ibrido vengono salvati in una risorsa di job ibrido all'interno di Cloud DLP.
  • Puoi esaminare i risultati della scansione di ispezione visualizzando la risorsa trigger di job all'interno di Cloud DLP.
  • Puoi anche fornire a Cloud DLP, tramite un'azione, inviare risultati di job ibridi a un database BigQuery e inviarti una notifica via email o Pub/Sub.

Passaggi successivi