Halaman ini menunjukkan cara menyelesaikan masalah terkait jaringan Dataflow.
Antarmuka jaringan harus menentukan subnet jika resource jaringan berada dalam mode subnet kustom
Error berikut terjadi saat Anda menjalankan tugas Dataflow:
Workflow failed. Causes: Invalid Error: Message: Invalid value for field
'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface
must specify a subnet if the network resource is in custom subnet mode. HTTP
Code: 400
Masalah ini terjadi jika jaringan VPC bernama default
dikonversi dari jaringan VPC mode otomatis ke jaringan VPC mode
kustom.
Untuk mengatasi masalah ini, tentukan parameter subnetwork saat menggunakan jaringan VPC mode kustom. Untuk mengetahui informasi selengkapnya, lihat Menentukan jaringan dan subnetwork.
Referensi lintas project untuk resource ini tidak diizinkan
Error berikut terjadi saat Anda menjalankan tugas Dataflow di jaringan VPC Bersama:
Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork':
'https://www.googleapis.com/compute/v1/projects/PROJECT/regions/REGION/subnetworks/SUBNETWORK'.
Cross-project references for this resource are not allowed.
Masalah ini terjadi jika Anda menentukan subnetwork dalam jaringan VPC Bersama, tetapi project layanan tidak dikaitkan ke project host VPC Bersama.
Untuk mengatasi masalah ini, Admin VPC Bersama harus melampirkan project layanan ke project host.
Jaringan atau subnetwork tidak dapat diakses oleh akun layanan Dataflow atau tidak ada
Salah satu error berikut terjadi saat Anda mencoba menjalankan tugas Dataflow. Tugas gagal.
Workflow failed. Causes: Network default is not accessible to Dataflow Service
account or does not exist
Workflow failed. Causes: Subnetwork SUBNETWORK is not
accessible to Dataflow Service account or does not exist
Masalah ini dapat terjadi karena alasan berikut:
- Anda menghilangkan subnetwork dan parameter jaringan saat membuat tugas Dataflow, tetapi jaringan VPC mode otomatis bernama
default
tidak ada dalam project Anda. Anda mungkin tidak memiliki jaringan default jika jaringan default dihapus atau jika batasan kebijakan organisasi mencegah Anda membuat jaringan default. - Subnetwork tidak ada.
- Parameter subnetwork tidak ditetapkan dengan benar.
- Izin yang diperlukan untuk akun layanan Dataflow tidak ada.
Untuk mengatasi masalah ini, ikuti panduan untuk menentukan jaringan dan subnetwork.
Waktu RPC habis atau gagal terhubung di port 12345 atau 12346
Salah satu error berikut terjadi saat Anda menjalankan tugas Dataflow yang tidak menggunakan Streaming Engine atau Dataflow Shuffle. Pekerjaan macet atau gagal.
Untuk tugas streaming:
Rpc to WORKER_HARNESS:12345 completed with error
UNAVAILABLE: failed to connect to all addresses; last error : UNKNOWN:
ipv4:WORKER_IP_ADDRESS:12345: Failed to connect to remote
host: FD Shutdown
Untuk tugas batch:
(g)RPC timed out when SOURCE_WORKER_HARNESS talking to
DESTINATION_WORKER_HARNESS:12346.
Masalah ini terjadi jika aturan firewall yang mengizinkan traffic jaringan di port TCP 12345
dan 12346
tidak ada. Ketika pekerjaan menggunakan banyak pekerja, pekerja
tidak dapat berkomunikasi satu sama lain.
Untuk mengatasi masalah ini, lihat langkah-langkah pemecahan masalah di DEADLINE_EXCEEDED atau Tidak Responsif Server.
Pekerja tunggal dimulai dan dihentikan berulang kali
Masalah berikut terjadi saat Anda meluncurkan tugas Dataflow. Di halaman Job metrics tugas Dataflow, diagram CPU utilization (All Workers) menunjukkan bahwa worker berulang kali dimulai, lalu berhenti setelah beberapa menit. Hanya satu pekerja yang tersedia pada waktu tertentu.
Terjadi error berikut:
The Dataflow job appears to be stuck because no worker activity has been seen
in the last 1h. Please check the worker logs in Stackdriver Logging.
Tidak ada log pekerja yang dibuat.
Di log tugas, beberapa pesan yang mirip dengan yang berikut ini mungkin muncul:
Autoscaling: Raised the number of workers to 1 based on the rate of progress in
the currently running stage(s).
Masalah ini terjadi jika jaringan VPC tidak memiliki rute default ke internet dan rute default ke subnetwork.
Untuk mengatasi masalah ini, tambahkan rute default ke jaringan VPC Anda. Untuk mengetahui informasi lebih lanjut, lihat Akses internet untuk Dataflow.
Subnetwork tidak memiliki Akses Google Pribadi
Error berikut terjadi saat Anda meluncurkan tugas Dataflow dengan alamat IP eksternal dinonaktifkan:
Workflow failed. Causes: Subnetwork SUBNETWORK on project
PROJECT_ID network NETWORK in
region REGION does not have Private Google Access, which
is required for usage of private IP addresses by the Dataflow workers.
Masalah ini terjadi jika Anda menonaktifkan alamat IP eksternal tanpa mengaktifkan Akses Google Pribadi.
Untuk mengatasi masalah ini, aktifkan Akses Google Pribadi untuk subnetwork yang digunakan tugas Dataflow.