Alat pemantauan dan pemecahan masalah Dataproc

Dataproc adalah layanan yang sangat skalabel dan terkelola sepenuhnya untuk menjalankan platform pemrosesan terdistribusi open source seperti Apache Hadoop, Apache Spark, Apache Flink, dan Trino. Anda dapat menggunakan alat dan file yang dibahas di bagian berikut untuk menyelidiki, memecahkan masalah, dan memantau cluster dan tugas Dataproc.

Investigasi yang didukung AI dengan Gemini Cloud Assist (Pratinjau)

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Ringkasan

Fitur pratinjau Investigasi Gemini Cloud Assist menggunakan kemampuan canggih Gemini untuk membantu membuat dan menjalankan cluster serta tugas Dataproc. Fitur ini menganalisis cluster yang gagal dan tugas yang gagal serta berjalan lambat untuk mengidentifikasi penyebab utama dan merekomendasikan perbaikan. Fitur ini membuat analisis persisten yang dapat Anda tinjau, simpan, dan bagikan kepada tim dukungan untuk memfasilitasi kolaborasi dan mempercepat penyelesaian masalah. Google Cloud

Fitur

Gunakan fitur ini untuk membuat penyelidikan dari konsol Google Cloud :

• Tambahkan deskripsi konteks bahasa alami ke masalah sebelum membuat penyelidikan.
• Menganalisis cluster yang gagal dan tugas yang lambat dan gagal.
• Dapatkan insight tentang penyebab utama masalah dengan perbaikan yang direkomendasikan.
• Buat Google Cloud kasus dukungan dengan konteks penyelidikan lengkap terlampir.

Sebelum memulai

Untuk mulai menggunakan fitur Investigasi, di Google Cloud project Anda, aktifkan Gemini Cloud Assist API.

Membuat penyelidikan

Untuk membuat penyelidikan, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Cloud Assist Investigations.

   Investigasi Cloud Assist

2. Klik Create .

3. Jelaskan masalahnya: Berikan deskripsi masalah cluster atau tugas.

4. Pilih rentang waktu: Buktikan rentang waktu saat masalah terjadi (defaultnya adalah 30 menit).

5. Pilih resource:

   1. Klik Tambahkan referensi.
      1. Di kolom Filter cepat, ketik "dataproc", lalu pilih satu atau beberapa dataproc.Batch, dataproc.Job, atau dataproc.Cluster sebagai filter.
         Anda juga dapat memfilter menurut Lokasi.
      2. Pilih batch, tugas, atau cluster yang tercantum untuk diselidiki.
         Anda dapat menambahkan beberapa aset yang terpengaruh oleh masalah tersebut.

6. Klik Buat.

Tips: Gemini Cloud Assist juga dapat diakses melalui API langsung dan antarmuka lainnya. Anda dapat membuat penyelidikan untuk tugas apa pun dari antarmuka ini.

Menafsirkan hasil investigasi

Setelah penyelidikan selesai, halaman Detail penyelidikan akan terbuka. Halaman ini berisi analisis Gemini lengkap, yang disusun ke dalam bagian-bagian berikut:

• Masalah: Bagian yang diciutkan dan berisi detail pekerjaan yang sedang diselidiki yang terisi otomatis.
• Pengamatan yang Relevan: Bagian yang diciutkan yang mencantumkan titik data dan anomali utama yang ditemukan Gemini selama analisis log dan metrik.
• Hipotesis: Ini adalah bagian utama, yang diperluas secara default. Bagian ini menampilkan daftar kemungkinan penyebab utama masalah yang diamati. Setiap hipotesis mencakup:
  • Ringkasan: Deskripsi kemungkinan penyebab, seperti "Waktu Penulisan Shuffle Tinggi dan Kemungkinan Kemiringan Tugas".
  • Perbaikan yang Direkomendasikan: Daftar langkah-langkah yang dapat ditindaklanjuti untuk mengatasi kemungkinan masalah.

Ambil tindakan

Setelah meninjau hipotesis dan rekomendasi:

• Terapkan satu atau beberapa perbaikan yang disarankan ke konfigurasi atau kode tugas, lalu jalankan kembali tugas.

• Berikan masukan tentang kegunaan investigasi dengan mengklik ikon suka atau tidak suka di bagian atas panel.

Meninjau dan mengeskalasikan investigasi

Hasil investigasi yang dijalankan sebelumnya dapat ditinjau dengan mengklik nama investigasi di halaman Investigasi Cloud Assist untuk membuka halaman Detail investigasi.

Jika memerlukan bantuan lebih lanjut, Anda dapat membuka Google Cloud kasus dukungan. Proses ini memberikan konteks lengkap kepada engineer dukungan terkait penyelidikan yang dilakukan sebelumnya, termasuk pengamatan dan hipotesis yang dihasilkan oleh Gemini. Berbagi konteks ini secara signifikan mengurangi komunikasi bolak-balik yang diperlukan dengan tim dukungan, dan menghasilkan penyelesaian kasus yang lebih cepat.

Untuk membuat kasus dukungan dari penyelidikan:

Di halaman Detail penyelidikan, klik Minta dukungan.

Catatan: Anda dapat mengklik Buka chat untuk memulai percakapan dan mengajukan pertanyaan klarifikasi tentang hasil investigasi sebelum membuka kasus dukungan.

Status dan harga pratinjau

Penyelidikan Gemini Cloud Assist tidak dikenai biaya selama pratinjau publik. Biaya akan berlaku untuk fitur ini saat tersedia secara umum (GA).

Untuk mengetahui informasi selengkapnya tentang harga setelah ketersediaan umum, lihat Harga Gemini Cloud Assist.

Antarmuka web open source

Banyak komponen open source cluster Dataproc, seperti Apache Hadoop dan Apache Spark, menyediakan antarmuka web. Antarmuka ini dapat digunakan untuk memantau resource cluster dan performa tugas. Misalnya, Anda dapat menggunakan UI Pengelola Resource YARN untuk melihat alokasi resource aplikasi YARN pada cluster Dataproc.

Untuk mengaktifkan akses ke antarmuka web komponen yang tersedia di cluster, aktifkan Gateway Komponen Dataproc saat Anda membuat cluster.

Server Histori Persisten

Antarmuka web Open Source yang berjalan di cluster tersedia saat cluster berjalan, tetapi akan berhenti saat Anda menghapus cluster. Untuk melihat data cluster dan tugas setelah cluster dihapus, Anda dapat membuat Persistent History Server (PHS).

Contoh: Anda mengalami error atau penurunan kecepatan tugas yang ingin Anda analisis. Anda menghentikan atau menghapus cluster tugas, lalu melihat dan menganalisis data histori tugas menggunakan PHS.

Setelah membuat PHS, Anda dapat mengaktifkannya di cluster Dataproc atau Google Cloud Serverless untuk workload batch Apache Spark saat Anda membuat cluster atau mengirimkan workload batch. PHS dapat mengakses data histori untuk tugas yang dijalankan di beberapa cluster, sehingga Anda dapat memantau tugas di seluruh project, bukan memantau UI terpisah yang berjalan di cluster yang berbeda.

Log Dataproc

Dataproc mengumpulkan log yang dihasilkan oleh Apache Hadoop, Spark, Hive, Zookeeper, dan sistem open source lainnya yang berjalan di cluster Anda, lalu mengirimkannya ke Logging. Log ini dikelompokkan berdasarkan sumber log, yang memungkinkan Anda memilih dan melihat log yang menarik bagi Anda: misalnya, log YARN NodeManager dan Spark Executor yang dibuat di cluster diberi label secara terpisah. Lihat log Dataproc untuk mengetahui informasi selengkapnya tentang opsi dan konten log Dataproc.

Cloud Logging

Logging adalah sistem pengelolaan log real-time yang terkelola sepenuhnya. Layanan ini menyediakan penyimpanan untuk log yang diserap dari layanan dan alat untuk menelusuri, memfilter, dan menganalisis log dalam skala besar. Google Cloud Cluster Dataproc menghasilkan beberapa log, termasuk log agen layanan Dataproc, log startup cluster, dan log komponen OSS, seperti log YARN NodeManager.

Logging diaktifkan secara default di cluster Dataproc dan workload batch Serverless untuk Apache Spark. Log diekspor secara berkala ke Logging, tempat log tetap ada setelah cluster dihapus atau workload selesai.

Metrik Dataproc

Metrik cluster dan tugas Dataproc, yang diawali dengan dataproc.googleapis.com/, terdiri dari data deret waktu yang memberikan insight tentang performa cluster, seperti pemakaian CPU atau status tugas. Metrik kustom Dataproc, yang diawali dengan custom.googleapis.com/, mencakup metrik yang dikeluarkan oleh sistem open source yang berjalan di cluster, seperti metrik running applications YARN. Mendapatkan insight tentang metrik Dataproc dapat membantu Anda mengonfigurasi cluster secara efisien. Menyiapkan pemberitahuan berbasis metrik dapat membantu Anda mengenali dan merespons masalah dengan cepat.

Gunakan konsol Google Cloud untuk melihat metrik Dataproc dari Metrics Explorer di Monitoring atau dari tab Monitoring di halaman Cluster details Dataproc.

Metrik tugas dan cluster Dataproc dikumpulkan secara default tanpa biaya. Pengumpulan metrik kustom akan ditagih kepada pelanggan. Anda dapat mengaktifkan pengumpulan metrik kustom saat membuat cluster. Pengumpulan metrik Spark Serverless untuk Apache Spark diaktifkan secara default pada workload batch Spark.

Cloud Monitoring

Monitoring menggunakan metrik dan metadata cluster, termasuk metrik HDFS, YARN, tugas, dan operasi, untuk memberikan visibilitas terkait kondisi, performa, dan ketersediaan cluster dan tugas Dataproc. Anda dapat menggunakan Monitoring untuk menjelajahi metrik, menambahkan diagram, membuat dasbor, dan membuat pemberitahuan.

Metrics Explorer

Anda dapat menggunakan Metrics Explorer untuk melihat metrik Dataproc. Metrik cluster, tugas, dan batch Dataproc Serverless untuk Apache Spark tercantum di bagian resource Cloud Dataproc Cluster, Cloud Dataproc Job, dan Cloud Dataproc Batch. Metrik kustom Dataproc dicantumkan di bagian resource VM Instances, kategori Custom.

Diagram

Anda dapat menggunakan Metrics Explorer untuk membuat diagram yang memvisualisasikan metrik Dataproc.

Contoh: Anda membuat diagram untuk melihat jumlah aplikasi Yarn aktif yang berjalan di cluster, lalu menambahkan filter untuk memilih metrik yang divisualisasikan menurut nama atau wilayah cluster.

Dasbor

Anda dapat membuat dasbor untuk memantau cluster dan tugas Dataproc menggunakan metrik dari beberapa project dan berbagai Google Cloud produk. Anda dapat membuat dasbor di konsol dari halaman Dashboards Overview dengan mengklik, membuat, lalu menyimpan diagram dari halaman Metrics Explorer. Google Cloud

Notifikasi

Anda dapat membuat pemberitahuan metrik Dataproc untuk menerima pemberitahuan tepat waktu tentang masalah cluster atau tugas.

Langkah berikutnya

• Pelajari cara memecahkan masalah pesan error Dataproc.
• Pelajari cara melihat data diagnostik cluster Dataproc.
• Lihat FAQ Dataproc.