Questa pagina mostra come risolvere i problemi relativi al networking di Dataflow.
L'interfaccia di rete deve specificare una subnet se la risorsa di rete è in modalità subnet personalizzata
Quando esegui un job Dataflow, si verifica il seguente errore:
Workflow failed. Causes: Invalid Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode. HTTP
Code: 400
Questo problema si verifica se la rete VPC denominata default è stata convertita da una rete VPC in modalità automatica a una rete VPC in modalità personalizzata.
Per risolvere questo problema, specifica il parametro della subnet quando utilizzi una rete VPC in modalità personalizzata. Per ulteriori informazioni, consulta Specificare una rete e una subnet.
I riferimenti tra progetti per questa risorsa non sono consentiti
Quando esegui un job Dataflow su una rete VPC condiviso, si verifica il seguente errore:
Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork':
'https://www.googleapis.com/compute/v1/projects/PROJECT/regions/REGION/subnetworks/SUBNETWORK'.
Cross-project references for this resource are not allowed.
Questo problema si verifica se specifichi una subnet in una rete VPC condivisa, ma il progetto di servizio non è collegato al progetto host del VPC condiviso.
Per risolvere questo problema, un amministratore del VPC condiviso deve collegare il progetto di servizio al progetto host.
La rete o la subnet non è accessibile all'account di servizio Dataflow o non esiste
Quando provi a eseguire un job Dataflow, si verifica uno dei seguenti errori. Il job non riesce.
Workflow failed. Causes: Network default is not accessible to Dataflow Service
account or does not exist
Workflow failed. Causes: Subnetwork SUBNETWORK is not
accessible to Dataflow Service account or does not exist
Il problema può verificarsi per i seguenti motivi:
- Quando crei il job Dataflow, ometti sia i parametri della subnet che di rete, ma nel progetto non esiste una rete VPC in modalità automatica denominata
default. Potresti non disporre di una rete predefinita se questa è stata eliminata o se un vincolo del criterio dell'organizzazione ti impedisce di creare una rete predefinita. - Manca la subnet.
- Il parametro della subnet non è specificato in modo corretto.
- Mancano le autorizzazioni richieste per l'account di servizio Dataflow.
Per risolvere il problema, segui le linee guida per specificare una rete e una subnet.
Timeout della connessione RPC o connessione non riuscita sulle porte 12345 o 12346
Uno dei seguenti errori si verifica quando esegui un job Dataflow che non utilizza Streaming Engine o Dataflow shuffle. Il job si blocca o non riesce.
Per i job di inserimento di flussi:
Rpc to WORKER_HARNESS:12345 completed with error
UNAVAILABLE: failed to connect to all addresses; last error : UNKNOWN:
ipv4:WORKER_IP_ADDRESS:12345: Failed to connect to remote
host: FD Shutdown
Per i job batch:
(g)RPC timed out when SOURCE_WORKER_HARNESS talking to
DESTINATION_WORKER_HARNESS:12346.
Questo problema si verifica se manca una regola firewall che consente il traffico di rete sulle porte TCP 12345 e 12346. Quando il job utilizza più worker, questi
non possono comunicare tra loro.
Per risolvere il problema, consulta i passaggi per la risoluzione dei problemi in DEADLINE_EXCEEDED o Il server non risponde.
Il singolo worker viene avviato e arrestato ripetutamente
Il seguente problema si verifica quando avvii un job Dataflow. Nella pagina Metriche dei job del job Dataflow, il grafico Utilizzo CPU (tutti i worker) mostra che un worker viene avviato e arrestato ripetutamente dopo alcuni minuti. È disponibile un solo lavoratore alla volta.
Si verifica il seguente errore:
The Dataflow job appears to be stuck because no worker activity has been seen
in the last 1h. Please check the worker logs in Stackdriver Logging.
Non vengono creati log del worker.
Nei log del job potrebbero essere visualizzati più messaggi simili ai seguenti:
Autoscaling: Raised the number of workers to 1 based on the rate of progress in
the currently running stage(s).
Questo problema si verifica se la rete VPC non ha una route predefinita per internet e una route predefinita per la subnet.
Per risolvere il problema, aggiungi route predefinite alla tua rete VPC. Per maggiori informazioni, consulta Accesso a internet per Dataflow.
La subnet non ha accesso privato Google
Il seguente errore si verifica quando avvii un job Dataflow in cui gli indirizzi IP esterni sono disabilitati:
Workflow failed. Causes: Subnetwork SUBNETWORK on project
PROJECT_ID network NETWORK in
region REGION does not have Private Google Access, which
is required for usage of private IP addresses by the Dataflow workers.
Questo problema si verifica se disattivi gli indirizzi IP esterni senza abilitare l'accesso privato Google.
Per risolvere il problema, abilita l'accesso privato Google per la subnet utilizzata dal job Dataflow.