Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Halaman ini memberikan panduan tentang mendiagnosis dan menyelesaikan masalah konektivitas jaringan umum untuk workload batch dan sesi interaktif Serverless for Apache Spark.
Masalah ini dapat mencegah workload Anda mengakses sumber data, layanan eksternal, atau API yang diperlukan. Google Cloud
Gejala dan pesan error umum
Saat Serverless untuk Apache Spark mengalami masalah konektivitas, Anda mungkin
mengalami error seperti:
Unable to connect to service_name.googleapis.com
Could not reach required Google APIs
Connection refused
Host unreachable
Operation timed out
Permission denied (sering kali terkait jaringan jika memblokir panggilan API)
Anda juga mungkin mengalami error terkait akses data di Cloud Storage, BigQuery, atau database lainnya.
Penyebab umum dan tips pemecahan masalah
Bagian ini mencantumkan penyebab umum masalah konektivitas Serverless for Apache Spark, dan memberikan tips pemecahan masalah untuk membantu Anda menyelesaikannya.
Konfigurasi jaringan
Kesalahan konfigurasi jaringan sering kali menjadi penyebab kegagalan konektivitas.
Workload dan sesi Serverless untuk Apache Spark berjalan di VM dengan alamat IP internal, dengan Akses Google Pribadi (PGA) yang diaktifkan secara otomatis di subnet workload atau sesi untuk mengakses Google API dan layanan Google. Untuk mengetahui informasi selengkapnya, lihat
Konfigurasi jaringan Serverless untuk Apache Spark.
Opsi akses:
Private Service Connect (PSC): Anda dapat membuat endpoint pribadi dalam jaringan VPC untuk mengakses Google API tertentu.
Di konsol Google Cloud , buka
Private Service Connect > Endpoints.
Hubungkan endpoint atau konfirmasi bahwa endpoint terhubung untuk
semua API yang diperlukan, seperti storage.googleapis.com dan dataproc.googleapis.com
serta pastikan endpoint terhubung ke jaringan Virtual Private Cloud
batch workload atau sesi.
Cloud NAT: Jika beban kerja Anda perlu mengakses internet publik, Anda dapat mengonfigurasi Cloud NAT untuk beban kerja batch atau subnet sesi Anda:
Di konsol Google Cloud , buka halaman
Cloud NAT.
Konfigurasi gateway atau konfirmasi bahwa
gateway dikonfigurasi untuk batch
workload atau jaringan VPC, region, dan subnet sesi. Pastikan juga aturan firewall mengizinkan keluar ke 0.0.0.0/0. Untuk mengetahui informasi selengkapnya, lihat
Menyiapkan Cloud NAT.
Aturan firewall:
Aturan firewall traffic keluar di jaringan VPC Anda (atau project host jaringan VPC bersama, jika berlaku) tidak boleh memblokir traffic keluar ke tujuan yang diperlukan.
Jika berlaku, aturan keluar harus mengizinkan traffic ke layanan eksternal, seperti API publik dan database di luar Google Cloud.
Jika beban kerja atau sesi batch Anda memerlukan akses internet,
Anda dapat menggunakan Cloud NAT
untuk menyediakan keluar subnet.
Meskipun bukan penyebab umum masalah konektivitas, aturan ingress yang terlalu ketat dapat secara tidak sengaja memblokir traffic kembali yang diperlukan atau komunikasi internal.
Resolusi DNS:
Resolusi DNS harus dikonfigurasi dalam jaringan VPC. Workload dan sesi harus dapat menyelesaikan nama host untuk
Google API, seperti storage.googleapis.com ataubigquery.googleapis.com
dan layanan eksternal.
Server DNS kustom dan zona pribadi Cloud DNS harus meneruskan atau me-resolve
kueri untuk domain Google.
Jika Anda menggunakan Private Service Connect untuk akses pribadi ke Google API, catatan DNS untuk layanan Google harus di-resolve ke alamat IP pribadi dalam jaringan VPC Anda menggunakan endpoint PSC.
Tips pemecahan masalah:
Identifikasi konfigurasi jaringan dan subnet:
Dari detail batch atau sesi Serverless untuk Apache Spark, tinjau
networkUri dan subnetUri.
Di konsol Google Cloud , tinjau setelan untuk
jaringan dan subnet VPC.
Uji konektivitas dari VM Proxy:
Luncurkan VM Compute Engine pengujian di subnet batch atau sesi menggunakan akun layanan batch atau sesi.
Dari VM pengujian, lakukan uji konektivitas berikut:
nslookup storage.googleapis.com untuk memverifikasi resolusi DNS.
Cari domain Google API lainnya, seperti bigquery.googleapis.com dan dataproc.googleapis.com. Dengan Akses Google Pribadi, yang diaktifkan secara otomatis di subnet Serverless untuk Apache Spark, atau Private Service Connect, domain harus di-resolve ke alamat IP pribadi.
curl -v https://storage.googleapis.com untuk memverifikasi konektivitas HTTPS ke Google API. Coba juga hubungkan ke layanan Google lainnya.
ping 8.8.8.8 untuk menguji konektivitas internet jika diperlukan oleh batch atau sesi Anda. Coba curl -v https://example.com jika Cloud NAT diharapkan.
Jalankan Google Cloud
Uji konektivitas Network Intelligence Center
untuk mendiagnosis jalur jaringan dari subnet Anda ke endpoint yang relevan,
seperti Google API dan alamat IP eksternal.
Tinjau Cloud Logging untuk mengetahui error jaringan:
Tinjau Logging untuk workload atau sesi Serverless untuk Apache Spark Anda. Cari pesan ERROR atau WARNING yang terkait dengan waktu tunggu jaringan habis, penolakan koneksi, atau kegagalan panggilan API. Filter menurut jsonPayload.component="driver"
atau jsonPayload.component="executor" untuk masalah jaringan khusus Spark.
Izin IAM
Izin IAM yang tidak memadai dapat mencegah workload atau sesi mengakses resource, sehingga menyebabkan kegagalan jaringan jika panggilan API ditolak.
Akun layanan yang digunakan oleh beban kerja atau sesi batch Anda harus memiliki peran yang diperlukan:
Peran Pekerja Dataproc (roles/dataproc.worker).
Peran akses data, seperti roles/storage.objectViewer atau
roles/bigquery.dataViewer).
Buka halaman
IAM & Admin > IAM
di konsol Google Cloud , temukan akun layanan batch workload atau sesi,
lalu verifikasi bahwa akun tersebut memiliki peran yang diperlukan untuk operasi workload.
Berikan peran yang belum ada.
Konfigurasi layanan eksternal
Jika workload Anda terhubung ke database atau layanan di luar Google Cloud,
verifikasi konfigurasinya:
Verifikasi firewall layanan eksternal atau grup keamanan mengizinkan koneksi masuk dari rentang IP jaringan VPC Anda: jika berlaku, periksa alamat IP internal menggunakan VPC Peering, Cloud VPN, atau Cloud Interconnect, atau alamat IP Cloud NAT.
Tinjau kredensial database atau string konektivitas. Periksa detail koneksi, nama pengguna, dan sandi.
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-09-04 UTC."],[],[],null,["# Troubleshoot batch and session connectivity\n\nThis page provides guidance on diagnosing and resolving common network\nconnectivity issues for Serverless for Apache Spark batch workloads and interactive sessions.\nThese issues can prevent your workloads from accessing required data sources,\nexternal services, or Google Cloud APIs.\n\nCommon symptoms and error messages\n----------------------------------\n\nWhen Serverless for Apache Spark encounters connectivity problems, you might\nencounter errors such as:\n\n- `Unable to connect to service_name.googleapis.com`\n- `Could not reach required Google APIs`\n- `Connection refused`\n- `Host unreachable`\n- `Operation timed out`\n- `Permission denied` (often network-related if blocking API calls)\n\nYou might also encounter errors related to accessing data in Cloud Storage,\nBigQuery, or other databases.\n\nCommon causes and troubleshooting tips\n--------------------------------------\n\nThis section lists common causes of Serverless for Apache Spark\nconnectivity issues, and provides troubleshooting tips to help you resolve them.\n\n### Network configuration\n\nNetwork misconfigurations are a frequent cause of connectivity failures.\nServerless for Apache Spark workloads and sessions run on VMs with internal\nIP addresses, with [Private Google Access (PGA)](/vpc/docs/configure-private-google-access)\nautomatically enabled on the workload or session subnet to access\nto Google APIs and services. For more information, see\n[Serverless for Apache Spark network configuration](/dataproc-serverless/docs/concepts/network).\n\n- Access options:\n\n - Private Service Connect (PSC): You can\n [create private endpoints](/vpc/docs/about-accessing-google-apis-endpoints)\n within your VPC network to access specific Google APIs.\n\n - In the Google Cloud console, go to [**Private Service Connect \\\u003e Endpoints**](https://console.cloud.google.com/net-services/psc/list/consumers). Connect endpoints or confirm that endpoints are connected for all required APIs, such as `storage.googleapis.com` and `dataproc.googleapis.com` and that they connect to the batch workload or session Virtual Private Cloud network.\n - Cloud NAT: If your workload needs to access the public\n internet, you can configure Cloud NAT for\n your batch workload or session subnet:\n\n - In the Google Cloud console, go to the [**Cloud NAT**](https://console.cloud.google.com/net-services/nat/list) page. [Configure a gateway](/nat/docs/gce-example) or confirm that a gateway is configured for the batch workload or session VPC network, region, and subnet. Also make sure firewall rules allow egress to `0.0.0.0/0`. For more information, see [Set up Cloud NAT](/nat/docs/gce-example).\n- Firewall rules:\n\n - Egress firewall rules in your VPC network (or shared VPC network host project, if applicable) must not block outbound traffic to required destinations.\n - If applicable, egress rules must allow traffic to external services, such as public APIs and databases outside of Google Cloud. If your batch workload or session needs internet access, you can use a [Cloud NAT](/nat/docs/overview) to provide subnet egress.\n - Although not a common cause of connectivity issues, overly restrictive ingress rules might inadvertently block necessary return traffic or internal communications.\n- DNS resolution:\n\n - DNS resolution must be configured within the VPC network. Workloads and sessions must be able to resolve hostnames for Google APIs, such as `storage.googleapis.com` or`bigquery.googleapis.com` and external services.\n - Custom DNS servers and Cloud DNS private zones must forward or resolve queries for Google domains.\n - If you are using Private Service Connect for private access to Google APIs, DNS records for Google services must resolve to private IP addresses within your VPC network using the PSC endpoint.\n\nTroubleshooting tips:\n\n- Identify network and subnet configuration:\n\n - From Serverless for Apache Spark batch or session details, review the `networkUri` and `subnetUri`.\n - In the Google Cloud console, review the settings for the VPC network and subnet.\n- Test connectivity from a Proxy VM:\n\n - Launch a test Compute Engine VM in the batch or session subnet using the batch or session service account.\n - From the test VM, perform the following connectivity tests:\n - `nslookup storage.googleapis.com` to verify DNS resolution. Lookup other Google API domains, such as `bigquery.googleapis.com`and `dataproc.googleapis.com`. With Private Google Access, which is automatically enabled on Serverless for Apache Spark subnets, or Private Service Connect, the domains must resolve to private IP addresses.\n - `curl -v https://storage.googleapis.com` to verify HTTPS connectivity to Google APIs. Also try connecting to other Google services.\n - `ping 8.8.8.8` to test internet connectivity if required by your batch or session. Try `curl -v https://example.com` if Cloud NAT is expected.\n - Run Google Cloud [Network Intelligence Center connectivity tests](/network-intelligence-center/docs/connectivity-tests/concepts/overview) to diagnose network paths from your subnet to relevant endpoints, such as Google APIs and external IP addresses.\n- Review Cloud Logging for network errors:\n\n - Review Logging for your Serverless for Apache Spark workload or session. Look for `ERROR` or `WARNING` messages related to network timeouts, connection refusals, or API call failures. Filter by `jsonPayload.component=\"driver\"` or `jsonPayload.component=\"executor\"` for Spark-specific network issues.\n\n### IAM permissions\n\nInsufficient IAM permissions can prevent workloads or sessions from\naccessing resources, resulting in network failures if API calls are denied.\n\nThe service account used by your batch workload or session must have required\nroles:\n\n- **Dataproc Worker role** (`roles/dataproc.worker`).\n- Data access roles, such as `roles/storage.objectViewer` or `roles/bigquery.dataViewer`).\n- Logging: (`roles/logging.logWriter`).\n\nTroubleshooting tips:\n\n- Identify the batch workload or session [service account](/dataproc-serverless/docs/concepts/service-account). If not specified, it defaults to the [Compute Engine default service account](/compute/docs/access/service-accounts#default_service_account).\n- Go to the [**IAM \\& Admin \\\u003e IAM**](https://console.cloud.google.com/iam-admin/iam) page in the Google Cloud console, find the batch workload or session service account, and then verify that it has the necessary roles needed for workload operations. Grant any missing roles.\n\n### External service configuration\n\nIf your workload connects to databases or services outside of Google Cloud,\nverify their configuration:\n\n- Verify the external service firewall or security group allows inbound connections from your VPC network IP ranges: if applicable, check internal IP addresses using VPC Peering, Cloud VPN, or Cloud Interconnect, or Cloud NAT IP addresses.\n- Review database credentials or connectivity strings. Check connection details, usernames, and passwords.\n\nWhat's next\n-----------\n\n- Learn about [Serverless for Apache Spark networking](/dataproc-serverless/docs/concepts/network).\n- Review [Serverless for Apache Spark service accounts](/dataproc-serverless/docs/concepts/service-account).\n- Refer to general network troubleshooting guides:\n - [Troubleshoot Dataproc cluster creation issues](/dataproc/docs/support/troubleshoot-cluster-creation)\n - [Troubleshoot Dataproc Metastore connectivity](/dataproc-metastore/docs/troubleshooting-connectivity)"]]
