Auf dieser Seite erfahren Sie, wie Sie Probleme mit dem Dataflow-Netzwerk beheben.
Die Netzwerkschnittstelle muss ein Subnetz angeben, wenn sich die Netzwerkressource im benutzerdefinierten Subnetzmodus befindet
Der folgende Fehler tritt auf, wenn Sie einen Dataflow-Job ausführen:
Workflow failed. Causes: Invalid Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode. HTTP
Code: 400
Dieses Problem tritt auf, wenn das VPC-Netzwerk mit dem Namen default von einem VPC-Netzwerk im automatischen Modus in ein VPC-Netzwerk im benutzerdefinierten Modus umgewandelt wurde.
Geben Sie den Subnetzwerkparameter an, wenn Sie ein VPC-Netzwerk im benutzerdefinierten Modus verwenden, um dieses Problem zu beheben. Weitere Informationen finden Sie unter Netzwerk und Subnetzwerk angeben.
Projektübergreifende Verweise sind für diese Ressource nicht zulässig.
Der folgende Fehler tritt auf, wenn Sie einen Dataflow-Job in einem freigegebenen VPC-Netzwerk ausführen:
Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork':
'https://www.googleapis.com/compute/v1/projects/PROJECT/regions/REGION/subnetworks/SUBNETWORK'.
Cross-project references for this resource are not allowed.
Dieses Problem tritt auf, wenn Sie ein Subnetzwerk in einem freigegebenen VPC-Netzwerk angeben, das Dienstprojekt jedoch nicht mit dem Hostprojekt der freigegebenen VPC verknüpft ist.
Zur Behebung dieses Problems muss ein Administrator für freigegebene VPCs das Dienstprojekt an das Hostprojekt anhängen.
Das Netzwerk oder Subnetzwerk ist für das Dataflow-Dienstkonto nicht zugänglich oder existiert nicht
Einer der folgenden Fehler tritt auf, wenn Sie versuchen, einen Dataflow-Job auszuführen. Der Job schlägt fehl.
Workflow failed. Causes: Network default is not accessible to Dataflow Service
account or does not exist
Workflow failed. Causes: Subnetwork SUBNETWORK is not
accessible to Dataflow Service account or does not exist
Das Problem kann folgende Ursachen haben:
- Sie lassen sowohl die Subnetzwerk- als auch die Netzwerkparameter weg, wenn Sie den Dataflow-Job erstellen, aber ein VPC-Netzwerk im automatischen Modus mit dem Namen
defaultist in Ihrem Projekt nicht vorhanden. Wenn das Standardnetzwerk gelöscht wurde oder eine Einschränkung der Organisationsrichtlinie das Erstellen eines Standardnetzwerks verhindert, haben Sie möglicherweise kein Standardnetzwerk. - Das Subnetzwerk fehlt.
- Der Subnetzwerkparameter wurde falsch angegeben.
- Die erforderlichen Berechtigungen für das Dataflow-Dienstkonto fehlen.
Folgen Sie den Richtlinien zum Angeben eines Netzwerks und Subnetzwerks, um dieses Problem zu beheben.
RPC ist abgelaufen oder konnte keine Verbindung über die Ports 12345 oder 12346 herstellen
Einer der folgenden Fehler tritt auf, wenn Sie einen Dataflow-Job ausführen, der nicht Streaming Engine oder Dataflow Shuffle verwendet. Der Job bleibt hängen oder schlägt fehl.
Für Streamingjobs:
Rpc to WORKER_HARNESS:12345 completed with error
UNAVAILABLE: failed to connect to all addresses; last error : UNKNOWN:
ipv4:WORKER_IP_ADDRESS:12345: Failed to connect to remote
host: FD Shutdown
Für Batchjobs:
(g)RPC timed out when SOURCE_WORKER_HARNESS talking to
DESTINATION_WORKER_HARNESS:12346.
Dieses Problem tritt auf, wenn eine Firewallregel fehlt, die den Netzwerktraffic über die TCP-Ports 12345 und 12346 zulässt. Wenn der Job mehrere Worker verwendet, können die Worker nicht miteinander kommunizieren.
Informationen zur Behebung dieses Problems finden Sie in den Schritten zur Fehlerbehebung unter DEADLINE_EXCEEDED oder Server reagiert nicht.
Einzelner Worker wird wiederholt gestartet und beendet
Das folgende Problem tritt auf, wenn Sie einen Dataflow-Job starten. Auf der Seite Jobmesswerte des Dataflow-Jobs wird im Diagramm CPU-Auslastung (alle Worker) angezeigt, dass ein Worker wiederholt gestartet und dann nach ein paar Minuten beendet wird. Es ist jeweils nur ein Worker verfügbar.
Folgender Fehler tritt auf:
The Dataflow job appears to be stuck because no worker activity has been seen
in the last 1h. Please check the worker logs in Stackdriver Logging.
Es werden keine Worker-Logs erstellt.
In den Joblogs können mehrere Nachrichten wie diese angezeigt werden:
Autoscaling: Raised the number of workers to 1 based on the rate of progress in
the currently running stage(s).
Dieses Problem tritt auf, wenn das VPC-Netzwerk keine Standardroute zum Internet und keine Standardroute zum Subnetzwerk hat.
Fügen Sie Ihrem VPC-Netzwerk Standardrouten hinzu, um dieses Problem zu beheben. Weitere Informationen finden Sie unter Internetzugang für Dataflow.
Subnetzwerk hat keinen privaten Google-Zugriff
Der folgende Fehler tritt auf, wenn Sie einen Dataflow-Job starten, bei dem externe IP-Adressen deaktiviert sind:
Workflow failed. Causes: Subnetwork SUBNETWORK on project
PROJECT_ID network NETWORK in
region REGION does not have Private Google Access, which
is required for usage of private IP addresses by the Dataflow workers.
Dieses Problem tritt auf, wenn Sie externe IP-Adressen deaktivieren, ohne den privaten Google-Zugriff zu aktivieren.
Aktivieren Sie den privaten Google-Zugriff für das Subnetzwerk, das der Dataflow-Job verwendet, um dieses Problem zu beheben.