La regione Dataflow archivia e gestisce i metadati sul job Dataflow ed esegue il deployment e il controllo dei worker Dataflow.
I nomi delle regioni seguono una convenzione standard basata sui nomi delle regioni di Compute Engine.
Ad esempio, il nome della regione degli Stati Uniti centrali è us-central1.
Questa funzionalità è disponibile in tutte le regioni in cui è supportato Dataflow. Per visualizzare le località disponibili, consulta Località di Dataflow.
Linee guida per la scelta di una regione
È obbligatorio specificare una regione in un job Dataflow.
Sicurezza e conformità
Potresti avere la necessità di limitare l'elaborazione del job Dataflow a una specifica regione geografica per supportare le esigenze di sicurezza e conformità del tuo progetto.
Località di dati
Puoi ridurre al minimo la latenza di rete e i costi di trasporto di rete eseguendo un job Dataflow dalla stessa regione di origini, sink, posizioni dei file temporanei e posizioni dei file temporanei. Se utilizzi origini, sink, posizioni dei file temporanei o posizioni dei file temporanei che si trovano all'esterno della regione del job, i tuoi dati potrebbero essere inviati tra regioni.
Quando si esegue una pipeline, i dati utente vengono gestiti solo dal pool di worker Dataflow e il movimento dei dati è limitato ai percorsi di rete che collegano i worker Dataflow nel pool.
Sebbene i dati utente vengano gestiti rigorosamente dai worker Dataflow nella regione geografica assegnata, i messaggi di log della pipeline vengono archiviati in Cloud Logging, che ha un'unica presenza globale in Google Cloud.
Se hai bisogno di un maggiore controllo sulla posizione dei messaggi di log della pipeline, puoi fare quanto segue:
- Crea un filtro di esclusione per il sink del router di log
_Defaultper impedire l'esportazione dei log di Dataflow nel bucket di log_Default. - Crea un bucket di log nella regione che preferisci.
- Configura un nuovo sink del router dei log che esporta i log di Dataflow nel nuovo bucket di log.
Per saperne di più sulla configurazione del logging, consulta Panoramica del routing e dell'archiviazione e Panoramica del routing dei log.
Note sulle origini comuni dei job Dataflow:
- Quando utilizzi un bucket Cloud Storage come origine, ti consigliamo di eseguire operazioni di lettura nella stessa regione del bucket.
- Gli argomenti Pub/Sub, una volta pubblicati nell'endpoint globale Pub/Sub, vengono archiviati nella regione Google Cloud più vicina. Tuttavia, puoi modificare il criterio di archiviazione degli argomenti in una specifica regione o insieme di regioni. Allo stesso modo, gli argomenti Pub/Sub Lite supportano solo l'archiviazione a livello di zona.
Resilienza e separazione geografica
Potrebbe essere utile isolare le normali operazioni di Dataflow da interruzioni che potrebbero verificarsi in altre regioni geografiche. In alternativa, potresti dover pianificare siti alternativi per la continuità aziendale in caso di disastro a livello di regione.
Nei tuoi piani di ripristino di emergenza e continuità aziendale, ti consigliamo di incorporare i dettagli delle origini e dei sink utilizzati con i job Dataflow. Il team di vendita di Google Cloud può aiutarti a soddisfare i tuoi requisiti.
Posizionamento regionale
Per impostazione predefinita, la regione selezionata configura il pool di worker Dataflow per utilizzare tutte le zone disponibili all'interno della regione. La selezione della zona viene calcolata per ogni worker al momento della creazione, ottimizzando l'acquisizione di risorse e l'utilizzo delle prenotazioni inutilizzate.
Il posizionamento regionale offre vantaggi quali:
- Migliore disponibilità delle risorse: i job Dataflow sono più resilienti agli errori di disponibilità delle risorse a livello di zona, poiché è possibile continuare a creare worker in altre zone con disponibilità rimanente.
- Affidabilità migliorata: in caso di errore a livello di zona, è possibile continuare a eseguire i job Dataflow perché i worker vengono ricreati in altre zone.
Si applicano le seguenti limitazioni:
- Il posizionamento a livello di regione è supportato solo per i job che utilizzano Streaming Engine o Dataflow Shuffle. I job per cui è stato disattivato Streaming Engine o Dataflow Shuffle non possono usare il posizionamento regionale.
- Il posizionamento a livello di regione si applica solo alle VM e non alle risorse di backend di Streaming Engine e Dataflow Shuffle.
- Le VM non vengono replicate in più zone. Se una VM non è più disponibile, ad esempio, i suoi elementi di lavoro vengono considerati persi e vengono rielaborati da un'altra VM.
- Se si verifica uno stock di esaurimento a livello di regione, il servizio Dataflow non può creare altre VM.
Posizionamento automatico della zona
Per i job non supportati per il posizionamento a livello di regione, viene selezionata automaticamente la zona migliore all'interno della regione, in base alla capacità della zona disponibile al momento della richiesta di creazione del job. La selezione automatica della zona garantisce che i worker del job vengano eseguiti nella zona migliore per il tuo job.
Poiché il job è configurato per essere eseguito in una singola zona, l'operazione potrebbe non riuscire con un errore di disponibilità delle risorse a livello di zona se non sono disponibili risorse Compute Engine sufficienti.
Inoltre, quando una zona non è disponibile, anche il backend di flussi di dati può diventare non disponibile, con conseguente perdita di dati.
Specifica una regione
Per specificare una regione per il job, imposta l'opzione --region su una delle regioni supportate.
L'opzione --region esegue l'override della regione predefinita impostata nel server dei metadati, nel client locale o nelle variabili di ambiente.
L'interfaccia a riga di comando di Dataflow supporta anche l'opzione --region per specificare le regioni.
Esegui l'override della regione o della zona del worker
Per impostazione predefinita, quando invii un job con l'opzione --region,
i worker vengono assegnati automaticamente alle
zone della regione o alla
singola zona migliore all'interno della regione, a seconda del tipo di job.
Se vuoi garantire che i worker per il job Dataflow vengano eseguiti rigorosamente in una zona specifica, puoi specificare la zona utilizzando la seguente opzione pipeline. Questo pattern di utilizzo è insolito per i job Dataflow.
Java
--workerZone
Python
--worker_zone
Go
--worker_zone
In tutti gli altri casi, non è consigliabile eseguire l'override della posizione del worker. La tabella degli scenari comuni contiene suggerimenti sull'utilizzo per queste situazioni.
Poiché il job è configurato per essere eseguito in una singola zona, l'operazione potrebbe non riuscire con un errore di disponibilità delle risorse a livello di zona se non sono disponibili risorse Compute Engine sufficienti.
Puoi eseguire il comando gcloud compute regions list per visualizzare un elenco di regioni e zone disponibili per il deployment dei worker.
Scenari comuni
La tabella seguente contiene suggerimenti sull'utilizzo per scenari comuni.
| Scenario | Suggerimento |
|---|---|
| Voglio utilizzare una regione supportata e non ho preferenze di zona all'interno della regione. In questo caso, viene selezionata automaticamente la zona migliore in base alla capacità disponibile. | Utilizza --region per specificare una regione del job.
In questo modo, Dataflow gestisce il job ed elabora i dati all'interno della regione specificata. |
| Ho bisogno che l'elaborazione dei worker avvenga in una zona specifica di una regione. | Specifica sia --region sia --workerZone o
--worker_zone.Utilizza |