Dataproc mendiagnosis perintah cluster

"Ringkasan Diagnostik Perintah Cluster Dataproc | Google Cloud"

Anda dapat menjalankan perintah gcloud dataproc clusters diagnose untuk mengumpulkan log sistem, Spark, Hadoop, dan Dataproc, file konfigurasi cluster, dan informasi lainnya yang dapat Anda periksa atau bagikan kepada dukungan Google untuk membantu Anda memecahkan masalah cluster atau tugas Dataproc. Perintah tersebut mengupload data dan ringkasan diagnostik ke bucket staging Dataproc di Cloud Storage.

Jalankan perintah cluster diagnosis Google Cloud CLI

Jalankan perintah gcloud dataproc clusters diagnose untuk membuat dan menampilkan lokasi file arsip diagnostik.

gcloud dataproc clusters diagnose CLUSTER_NAME \
    --region=REGION \
    OPTIONAL FLAGS ...

Catatan:

CLUSTER_NAME: Nama cluster yang akan didiagnosis.
REGION: Region cluster, misalnya, us-central1.
OPTIONAL FLAGS:
- --job-ids: Anda dapat menandai flag ini untuk mengumpulkan driver tugas, peristiwa Spark, aplikasi YARN, dan log output Spark Lense, selain file log default, untuk daftar ID tugas yang dipisahkan koma yang ditentukan. Untuk tugas MapReduce, hanya log aplikasi YARN yang dikumpulkan. Agregasi log YARN harus diaktifkan untuk pengumpulan log aplikasi YARN.
- --yarn-application-ids: Anda dapat menandai flag ini untuk mengumpulkan driver tugas, peristiwa Spark, aplikasi YARN, dan log output Spark Lense selain file log default, untuk daftar ID aplikasi YARN yang dipisahkan koma. Agregasi log YARN harus diaktifkan untuk pengumpulan log aplikasi YARN.
- --start-time dengan --end-time: Gunakan kedua tanda untuk menentukan rentang waktu, dalam format %Y-%m-%dT%H:%M:%S.%fZ, untuk pengumpulan data diagnostik. Menentukan rentang waktu juga mengaktifkan pengumpulan log penskalaan otomatis Dataproc selama rentang waktu tersebut (secara default, log penskalaan otomatis Dataproc tidak dikumpulkan dalam data diagnostik).
- --tarball-access=GOOGLE_DATAPROC_DIAGNOSE Gunakan flag ini untuk mengirimkan atau memberikan akses ke file tar diagnostik ke tim dukungan Google Cloud. Selain itu, berikan informasi kepada tim dukungan Google Cloud sebagai berikut:
  - Jalur Cloud Storage file tar diagnostik, atau
  - Bucket konfigurasi cluster, UUID cluster, dan ID operasi perintah diagnosis

Jalankan skrip diagnostik dari node master cluster (jika perlu)

Perintah gcloud dataproc clusters diagnose dapat gagal atau habis waktu tunggunya jika cluster dalam status error dan tidak dapat menerima tugas diagnosis dari server Dataproc. Sebagai alternatif untuk menjalankan perintah diagnosis, Anda dapat terhubung ke node master cluster menggunakan SSH, mendownload skrip diagnostik, lalu menjalankan skrip secara lokal di node master.

gcloud compute ssh HOSTNAME

gsutil cp gs://dataproc-diagnostic-scripts/diagnostic-script.sh .

sudo bash diagnostic-script.sh

File tar arsip diagnostik disimpan di direktori lokal. Output perintah mencantumkan lokasi file tar beserta petunjuk cara mengupload file tar ke bucket Cloud Storage.

Cara membagikan data diagnostik

Untuk membagikan arsip:

Mendownload arsip dari Cloud Storage, lalu membagikan arsip yang didownload, atau
Ubah izin pada arsip untuk memungkinkan pengguna atau project Google Cloud lainnya mengakses file tersebut.

Contoh: Perintah berikut menambahkan izin baca ke arsip dalam test-project:

gsutil -m acl ch -g test-project:R PATH_TO_ARCHIVE}

Konten arsip dan ringkasan diagnostik

Perintah diagnose menghasilkan ringkasan diagnostik dan file tar arsip yang berisi file konfigurasi cluster, log, serta file dan informasi lainnya. File tar arsip ditulis ke bucket staging Dataproc di Cloud Storage.

Ringkasan diagnostik: Skrip diagnostik menganalisis data yang dikumpulkan, dan menghasilkan summary.txt di root arsip diagnostik. Ringkasan ini memberikan ringkasan status cluster, termasuk YARN, HDFS, disk, dan status jaringan, serta menyertakan peringatan untuk memberi tahu Anda tentang potensi masalah.

File tar arsip: Bagian berikut mencantumkan file dan informasi yang terdapat dalam file tar arsip diagnostik.

Informasi daemon dan layanan

Perintah dieksekusi	Lokasi dalam arsip
`yarn node -list -all`	`/system/yarn-nodes.log`
`hdfs dfsadmin -report -live -decommissioning`	`/system/hdfs-nodes.log`
`hdfs dfs -du -h`	`/system/hdfs-du.log`
`service --status-all`	`/system/service.log`
`systemctl --type service`	`/system/systemd-services.log`
`curl "http://${HOSTNAME}:8088/jmx"`	`/metrics/resource_manager_jmx`
`curl "http://${HOSTNAME}:8088/ws/v1/cluster/apps"`	`/metrics/yarn_app_info`
`curl "http://${HOSTNAME}:8088/ws/v1/cluster/nodes"`	`/metrics/yarn_node_info`
`curl "http://${HOSTNAME}:9870/jmx"`	`/metrics/namenode_jmx`

Informasi JVM

Perintah dieksekusi	Lokasi dalam arsip
`jstack -l "${DATAPROC_AGENT_PID}"`	`jstack/agent_${DATAPROC_AGENT_PID}.jstack`
`jstack -l "${PRESTO_PID}"`	`jstack/agent_${PRESTO_PID}.jstack`
`jstack -l "${JOB_DRIVER_PID}"`	`jstack/driver_${JOB_DRIVER_PID}.jstack`
`jinfo "${DATAPROC_AGENT_PID}"`	`jinfo/agent_${DATAPROC_AGENT_PID}.jstack`
`jinfo "${PRESTO_PID}"`	`jinfo/agent_${PRESTO_PID}.jstack`
`jinfo "${JOB_DRIVER_PID}"`	`jinfo/agent_${JOB_DRIVER_PID}.jstack`

Informasi sistem Linux

Perintah dieksekusi	Lokasi dalam arsip
`df -h`	`/system/df.log`
`ps aux`	`/system/ps.log`
`free -m`	`/system/free.log`
`netstat -anp`	`/system/netstat.log`
`sysctl -a`	`/system/sysctl.log`
`uptime`	`/system/uptime.log`
`cat /proc/sys/fs/file-nr`	`/system/fs-file-nr.log`
`ping -c 1`	`/system/cluster-ping.log`

File log

Item yang disertakan	Lokasi dalam arsip
Semua log di `/var/log` dengan awalan berikut dalam nama filenya: `cloud-sql-proxy` `dataproc` `druid` `gcdp` `google` `hadoop` `hdfs` `hive` `knox` `presto` `spark` `syslog` `yarn` `zookeeper`	File ditempatkan di folder `logs` arsip, dan menyimpan nama file aslinya.
Log startup node Dataproc untuk setiap node (master dan worker) di cluster Anda.	File ditempatkan di folder `node_startup` arsip, yang berisi subfolder terpisah untuk setiap mesin dalam cluster.
Log gateway komponen dari `journalctl -u google-dataproc-component-gateway`	`/logs/google-dataproc-component-gateway.log`

File konfigurasi

Item yang disertakan	Lokasi dalam arsip
Metadata VM	`/conf/dataproc/metadata`
Variabel lingkungan di `/etc/environment`	`/conf/dataproc/environment`
Properti Dataproc	`/conf/dataproc/dataproc.properties`
Semua file dalam `/etc/google-dataproc/`	`/conf/dataproc/`
Semua file dalam `/etc/hadoop/conf/`	`/conf/hadoop/`
Semua file dalam `/etc/hive/conf/`	`/conf/hive/`
Semua file dalam `/etc/hive-hcatalog/conf/`	`/conf/hive-hcatalog/`
Semua file dalam `/etc/knox/conf/`	`/conf/knox/`
Semua file dalam `/etc/pig/conf/`	`/conf/pig/`
Semua file dalam `/etc/presto/conf/`	`/conf/presto/`
Semua file dalam `/etc/spark/conf/`	`/conf/spark/`
Semua file dalam `/etc/tez/conf/`	`/conf/tez/`
Semua file dalam `/etc/zookeeper/conf/`	`/conf/zookeeper/`