Memecahkan masalah jaringan Dataflow

Halaman ini menunjukkan cara menyelesaikan masalah terkait jaringan Dataflow.

Antarmuka jaringan harus menentukan subnet jika resource jaringan berada dalam mode subnet kustom

Error berikut terjadi saat Anda menjalankan tugas Dataflow:

Workflow failed. Causes: Invalid Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode. HTTP
Code: 400

Masalah ini terjadi jika jaringan VPC bernama default dikonversi dari jaringan VPC mode otomatis ke jaringan VPC mode kustom.

Untuk mengatasi masalah ini, tentukan parameter subnetwork saat menggunakan jaringan VPC mode kustom. Untuk mengetahui informasi selengkapnya, lihat Menentukan jaringan dan subnetwork.

Referensi lintas project untuk resource ini tidak diizinkan

Error berikut terjadi saat Anda menjalankan tugas Dataflow di jaringan VPC Bersama:

Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork':
'https://www.googleapis.com/compute/v1/projects/PROJECT/regions/REGION/subnetworks/SUBNETWORK'.
Cross-project references for this resource are not allowed.

Masalah ini terjadi jika Anda menentukan subnetwork dalam jaringan VPC Bersama, tetapi project layanan tidak dikaitkan ke project host VPC Bersama.

Untuk mengatasi masalah ini, Admin VPC Bersama harus melampirkan project layanan ke project host.

Jaringan atau subnetwork tidak dapat diakses oleh akun layanan Dataflow atau tidak ada

Salah satu error berikut terjadi saat Anda mencoba menjalankan tugas Dataflow. Tugas gagal.

Workflow failed. Causes: Network default is not accessible to Dataflow Service
account or does not exist

Workflow failed. Causes: Subnetwork SUBNETWORK is not
accessible to Dataflow Service account or does not exist

Masalah ini dapat terjadi karena alasan berikut:

  • Anda menghilangkan subnetwork dan parameter jaringan saat membuat tugas Dataflow, tetapi jaringan VPC mode otomatis bernama default tidak ada dalam project Anda. Anda mungkin tidak memiliki jaringan default jika jaringan default dihapus atau jika batasan kebijakan organisasi mencegah Anda membuat jaringan default.
  • Subnetwork tidak ada.
  • Parameter subnetwork tidak ditetapkan dengan benar.
  • Izin yang diperlukan untuk akun layanan Dataflow tidak ada.

Untuk mengatasi masalah ini, ikuti panduan untuk menentukan jaringan dan subnetwork.

Waktu RPC habis atau gagal terhubung di port 12345 atau 12346

Salah satu error berikut terjadi saat Anda menjalankan tugas Dataflow yang tidak menggunakan Streaming Engine atau Dataflow Shuffle. Pekerjaan macet atau gagal.

Untuk tugas streaming:

Rpc to WORKER_HARNESS:12345 completed with error
UNAVAILABLE: failed to connect to all addresses; last error : UNKNOWN:
ipv4:WORKER_IP_ADDRESS:12345: Failed to connect to remote
host: FD Shutdown

Untuk tugas batch:

(g)RPC timed out when SOURCE_WORKER_HARNESS talking to
DESTINATION_WORKER_HARNESS:12346.

Masalah ini terjadi jika aturan firewall yang mengizinkan traffic jaringan di port TCP 12345 dan 12346 tidak ada. Ketika pekerjaan menggunakan banyak pekerja, pekerja tidak dapat berkomunikasi satu sama lain.

Untuk mengatasi masalah ini, lihat langkah-langkah pemecahan masalah di DEADLINE_EXCEEDED atau Tidak Responsif Server.

Pekerja tunggal dimulai dan dihentikan berulang kali

Masalah berikut terjadi saat Anda meluncurkan tugas Dataflow. Di halaman Job metrics tugas Dataflow, diagram CPU utilization (All Workers) menunjukkan bahwa worker berulang kali dimulai, lalu berhenti setelah beberapa menit. Hanya satu pekerja yang tersedia pada waktu tertentu.

Diagram pemakaian CPU yang menampilkan bahwa satu pekerja pada satu waktu dibuat berulang kali, lalu dihentikan.

Terjadi error berikut:

The Dataflow job appears to be stuck because no worker activity has been seen
in the last 1h. Please check the worker logs in Stackdriver Logging.

Tidak ada log pekerja yang dibuat.

Di log tugas, beberapa pesan yang mirip dengan yang berikut ini mungkin muncul:

Autoscaling: Raised the number of workers to 1 based on the rate of progress in
the currently running stage(s).

Masalah ini terjadi jika jaringan VPC tidak memiliki rute default ke internet dan rute default ke subnetwork.

Untuk mengatasi masalah ini, tambahkan rute default ke jaringan VPC Anda. Untuk mengetahui informasi lebih lanjut, lihat Akses internet untuk Dataflow.

Subnetwork tidak memiliki Akses Google Pribadi

Error berikut terjadi saat Anda meluncurkan tugas Dataflow dengan alamat IP eksternal dinonaktifkan:

Workflow failed. Causes: Subnetwork SUBNETWORK on project
PROJECT_ID network NETWORK in
region REGION does not have Private Google Access, which
is required for usage of private IP addresses by the Dataflow workers.

Masalah ini terjadi jika Anda menonaktifkan alamat IP eksternal tanpa mengaktifkan Akses Google Pribadi.

Untuk mengatasi masalah ini, aktifkan Akses Google Pribadi untuk subnetwork yang digunakan tugas Dataflow.