Memecahkan masalah deployment Envoy

Panduan ini memberikan informasi untuk membantu Anda menyelesaikan masalah konfigurasi dengan klien Envoy saat menjalankan Cloud Service Mesh dengan Google API. Untuk mengetahui informasi tentang cara menggunakan Client Status Discovery Service (CSDS) API untuk membantu Anda menyelidiki masalah terkait Cloud Service Mesh, lihat Memahami status klien Cloud Service Mesh.

Menentukan versi Envoy yang diinstal di VM

Gunakan petunjuk ini untuk memverifikasi versi Envoy yang berjalan di instance virtual machine (VM).

Untuk memverifikasi atau memeriksa versi Envoy, Anda dapat melakukan salah satu hal berikut:

Periksa atribut tamu VM di jalur gce-service-proxy/proxy-version:

  gcloud compute --project cloud-vm-mesh-monitoring instances get-guest-attributes INSTANCE_NAME 

      --zone ZONEc --query-path=gce-service-proxy/proxy-version



NAMESPACE          KEY            VALUE
  gce-service-proxy  proxy-version  dc78069b10cc94fa07bb974b7101dd1b42e2e7bf/1.15.1-dev/Clean/RELEASE/BoringSSL

Periksa log instance Cloud Logging dari halaman Logging detail instance VM di konsol Google Cloud dengan kueri seperti ini:

  resource.type="gce_instance"
  resource.labels.instance_id="3633122484352464042"
  jsonPayload.message:"Envoy version"

Anda akan menerima respons seperti ini:

  {
    "insertId": "9zy0btf94961a",
    "jsonPayload": {
      "message": "Envoy Version: dc78069b10cc94fa07bb974b7101dd1b42e2e7bf/1.15.1-dev/Clean/RELEASE/BoringSSL",
      "localTimestamp": "2021-01-12T11:39:14.3991Z"
    },
    "resource": {
      "type": "gce_instance",
      "labels": {
        "zone": "asia-southeast1-b",
        "instance_id": "3633122484352464042",
        "project_id": "cloud-vm-mesh-monitoring"
      }
    },
    "timestamp": "2021-01-12T11:39:14.399200504Z",
    "severity": "INFO",
    "logName": "projects/cloud-vm-mesh-monitoring/logs/service-proxy-agent",
    "receiveTimestamp": "2021-01-12T11:39:15.407023427Z"
  }

Gunakan SSH untuk terhubung ke VM dan memeriksa versi biner:

  YOUR_USER_NAME@backend-mig-5f5651e1-517a-4269-b457-f6bdcf3d98bc-m3wt:~$ /usr/local/bin/envoy --version



/usr/local/bin/envoy  version: dc78069b10cc94fa07bb974b7101dd1b42e2e7bf/1.15.1-dev/Clean/RELEASE/BoringSSL

Gunakan SSH untuk terhubung ke VM dan antarmuka admin sebagai root:

  root@backend-mig-5f5651e1-517a-4269-b457-f6bdcf3d98bc-m3wt:~# curl localhost:15000/server_info
  {
   "version": "dc78069b10cc94fa07bb974b7101dd1b42e2e7bf/1.15.1-dev/Clean/RELEASE/BoringSSL",
   "state": "LIVE",
   "hot_restart_version": "disabled",
   ...
  }

Lokasi log Envoy

Untuk memecahkan masalah tertentu, Anda perlu memeriksa log proxy Envoy.

Anda dapat menggunakan SSH untuk terhubung ke instance VM guna mendapatkan file log. Jalur tersebut kemungkinan akan menjadi seperti berikut.

  /var/log/envoy/envoy.err.log

Proxy tidak terhubung ke Cloud Service Mesh

Jika proxy Anda tidak terhubung ke Cloud Service Mesh, lakukan hal berikut:

  • Periksa log proxy Envoy untuk menemukan error saat terhubung ke trafficdirector.googleapis.com.

  • Jika Anda menyiapkan netfilter (dengan menggunakan iptables) untuk mengalihkan semua traffic ke proxy Envoy, pastikan pengguna (UID) yang menjalankan proxy dikecualikan dari pengalihan. Jika tidak, hal ini akan menyebabkan traffic terus-menerus berputar kembali ke proxy.

  • Pastikan Anda mengaktifkan Cloud Service Mesh API untuk project. Di bagian API & layanan untuk project Anda, cari error untuk Cloud Service Mesh API.

  • Pastikan cakupan akses API VM disetel untuk mengizinkan akses penuh ke Google Cloud API dengan menentukan hal berikut saat Anda membuat VM:

    --scopes=https://www.googleapis.com/auth/cloud-platform

  • Pastikan akun layanan memiliki izin yang benar. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan akun layanan untuk mengakses Traffic Director API.

  • Pastikan Anda dapat mengakses trafficdirector.googleapis.com:443 dari VM. Jika ada masalah dengan akses ini, kemungkinan alasannya adalah firewall yang mencegah akses ke trafficdirector.googleapis.com melalui port TCP 443 atau masalah resolusi DNS untuk nama host trafficdirector.googleapis.com.

  • Jika Anda menggunakan Envoy untuk proxy sidecar, pastikan versi Envoy adalah rilis 1.24.9 atau yang lebih baru.

Layanan yang dikonfigurasi dengan Cloud Service Mesh tidak dapat dijangkau

Jika layanan yang dikonfigurasi dengan Cloud Service Mesh tidak dapat dijangkau, pastikan proxy sidecar berjalan dan dapat terhubung ke Cloud Service Mesh.

Jika menggunakan Envoy sebagai proxy sidecar, Anda dapat mengonfirmasinya dengan menjalankan perintah berikut:

  1. Dari command line, pastikan proses Envoy berjalan:

    ps aux | grep envoy

  2. Periksa konfigurasi runtime Envoy untuk mengonfirmasi bahwa Cloud Service Mesh mengonfigurasi resource dinamis. Untuk melihat konfigurasi, jalankan perintah ini:

    curl http://localhost:15000/config_dump

  3. Pastikan intersepsi traffic untuk proxy sidecar disiapkan dengan benar. Untuk penyiapan pengalihan dengan iptables, jalankan perintah iptables, lalu grep output untuk memastikan aturan Anda ada:

    sudo iptables -t nat -S | grep ISTIO

    Berikut adalah contoh output untuk iptables yang mencegat alamat IP virtual (VIP) 10.0.0.1/32 dan meneruskannya ke proxy Envoy yang berjalan di port 15001 sebagai UID 1006:

    -N ISTIO_IN_REDIRECT
-N ISTIO_OUTPUT
-N ISTIO_REDIRECT
-A OUTPUT -p tcp -j ISTIO_OUTPUT
-A ISTIO_IN_REDIRECT -p tcp -j REDIRECT --to-ports 15001
-A ISTIO_OUTPUT -m owner --uid-owner 1006 -j RETURN
-A ISTIO_OUTPUT -d 127.0.0.1/32 -j RETURN
-A ISTIO_OUTPUT -d 10.0.0.1/32 -j ISTIO_REDIRECT
-A ISTIO_OUTPUT -j RETURN

Jika instance VM dibuat melalui konsol Google Cloud, beberapa modul terkait IPv6 tidak diinstal dan tersedia sebelum dimulai ulang. Hal ini menyebabkan iptables gagal karena dependensi tidak ada. Dalam hal ini, mulai ulang VM dan jalankan ulang proses penyiapan, yang akan menyelesaikan masalah. VM Compute Engine yang Anda buat menggunakan Google Cloud CLI tidak akan mengalami masalah ini.

Layanan berhenti dapat dijangkau saat logging akses Envoy dikonfigurasi

Jika Anda menggunakan TRAFFICDIRECTOR_ACCESS_LOG_PATH untuk mengonfigurasi log akses Envoy seperti yang dijelaskan dalam Mengonfigurasi atribut bootstrap Envoy untuk Cloud Service Mesh, pastikan pengguna sistem yang menjalankan proxy Envoy memiliki izin untuk menulis ke lokasi log akses yang ditentukan.

Kegagalan dalam memberikan izin yang diperlukan akan menyebabkan pemroses tidak diprogram di proxy dan dapat dideteksi dengan memeriksa pesan error berikut di log proxy Envoy:

gRPC config for type.googleapis.com/envoy.api.v2.Listener rejected:
Error adding/updating listener(s) TRAFFICDIRECTOR_INTERCEPTION_PORT:
unable to open file '/var/log/envoy.log': Permission denied

Untuk mengatasi masalah ini, ubah izin file yang dipilih agar log akses dapat ditulis oleh pengguna Envoy.

Pesan error dalam log Envoy menunjukkan masalah konfigurasi

Bagian ini berlaku untuk deployment yang menggunakan API load balancing.

Jika mengalami kesulitan dengan konfigurasi Cloud Service Mesh, Anda mungkin melihat salah satu pesan error berikut di log Envoy:

  • warning envoy config    StreamAggregatedResources gRPC config stream closed:
5, Cloud Service Mesh configuration was not found for network "VPC_NAME" in
project "PROJECT_NUMBER".
  • warning envoy upstream  StreamLoadStats gRPC config stream closed:
5, Cloud Service Mesh configuration was not found for network "VPC_NAME" in
project "PROJECT_NUMBER".
  • warning envoy config    StreamAggregatedResources gRPC config stream closed:
5, Requested entity was not found.
  • warning envoy upstream  StreamLoadStats gRPC config stream closed:
5, Requested entity was not found.
  • Cloud Service Mesh configuration was not found.

Pesan error terakhir (Traffic Director configuration was not found) umumnya menunjukkan bahwa Envoy meminta konfigurasi dari Cloud Service Mesh, tetapi tidak ada konfigurasi yang cocok yang dapat ditemukan. Saat terhubung ke Cloud Service Mesh, Envoy akan menampilkan nama jaringan VPC (misalnya, my-network). Cloud Service Mesh kemudian akan mencari aturan penerusan yang memiliki skema load balancing INTERNAL_SELF_MANAGED dan mereferensikan nama jaringan VPC yang sama.

Untuk memperbaiki error ini, lakukan tindakan berikut:

  1. Pastikan ada aturan penerusan di jaringan Anda yang memiliki skema load balancing INTERNAL_SELF_MANAGED. Perhatikan nama jaringan VPC aturan penerusan.

  2. Jika Anda menggunakan Cloud Service Mesh dengan penempatan Envoy otomatis di Compute Engine, pastikan nilai yang diberikan ke flag --service-proxy:network cocok dengan nama jaringan VPC aturan penerusan.

  3. Jika Anda menggunakan Cloud Service Mesh dengan deployment Envoy manual di Compute Engine, periksa file bootstrap Envoy untuk hal berikut:

    1. Pastikan nilai untuk variabel TRAFFICDIRECTOR_NETWORK_NAME cocok dengan nama jaringan VPC aturan penerusan.
    2. Pastikan nomor project ditetapkan dalam variabel TRAFFICDIRECTOR_GCP_PROJECT_NUMBER.

  4. Jika Anda men-deploy di GKE, dan menggunakan penginjeksi otomatis, pastikan nomor project dan nama jaringan VPC dikonfigurasi dengan benar, sesuai dengan petunjuk dalam Penyiapan Cloud Service Mesh untuk Pod GKE dengan injeksi Envoy otomatis.

Pemecahan masalah untuk Compute Engine

Bagian ini memberikan petunjuk untuk memecahkan masalah deployment Envoy untuk Compute Engine.

Proses bootstrap Envoy dan VM serta operasi pengelolaan siklus proses selanjutnya dapat gagal karena banyak alasan, termasuk masalah konektivitas sementara, repositori yang rusak, bug dalam skrip bootstrap dan agen di VM, serta tindakan pengguna yang tidak terduga.

Saluran komunikasi untuk pemecahan masalah

Google Cloud menyediakan saluran komunikasi yang dapat Anda gunakan untuk membantu Anda memahami proses bootstrapping dan status komponen saat ini yang berada di VM Anda.

Logging output port serial virtual

Sistem operasi VM, BIOS, dan entity level sistem lainnya biasanya menulis output ke port serial. Output ini berguna untuk memecahkan masalah error sistem, booting gagal, masalah pengaktifan, dan masalah penonaktifan.

Agen bootstrap Compute Engine mencatat semua tindakan yang dilakukan ke port serial 1. Hal ini mencakup peristiwa sistem, dimulai dengan penginstalan paket dasar melalui mendapatkan data dari server metadata instance, konfigurasi iptables, dan status penginstalan Envoy.

Agen di VM mencatat status kondisi proses Envoy, layanan Cloud Service Mesh yang baru ditemukan, dan informasi lainnya yang mungkin berguna saat Anda menyelidiki masalah pada VM.

Logging Cloud Monitoring

Data yang ditampilkan dalam output port serial juga dicatat ke Monitoring, yang menggunakan library Golang dan mengekspor log ke log terpisah untuk mengurangi derau. Karena log ini adalah log tingkat instance, Anda mungkin menemukan log proxy layanan di halaman yang sama dengan log instance lainnya.

Atribut tamu VM

Atribut tamu adalah jenis metadata kustom tertentu yang dapat digunakan untuk menulis aplikasi Anda saat berjalan di instance. Semua aplikasi atau pengguna di instance Anda dapat membaca dan menulis data ke nilai metadata atribut tamu ini.

Skrip bootstrap Envoy Compute Engine dan agen di VM mengekspos atribut dengan informasi tentang proses bootstrap dan status Envoy saat ini. Semua atribut tamu ditampilkan di namespace gce-service-proxy:

gcloud compute instances get-guest-attributes INSTANCE_NAME  \
    --query-path=gce-service-proxy/ \
    --zone=ZONE

Jika menemukan masalah, sebaiknya periksa nilai atribut tamu bootstrap-status dan bootstrap-last-failure. Nilai bootstrap-status apa pun selain FINISHED menunjukkan bahwa lingkungan Envoy belum dikonfigurasi. Nilai bookstrap-last-failure mungkin menunjukkan masalahnya.

Tidak dapat menjangkau layanan Cloud Service Mesh dari VM yang dibuat menggunakan template instance yang mengaktifkan proxy layanan

Untuk memperbaiki masalah ini, ikuti langkah-langkah berikut:

  1. Penginstalan komponen proxy layanan di VM mungkin belum selesai atau mungkin gagal. Gunakan perintah berikut untuk menentukan apakah semua komponen diinstal dengan benar:

    gcloud compute instances get-guest-attributes INSTANCE_NAME \
    --query-path=gce-service-proxy/ \
    --zone=ZONE

    Atribut tamu bootstrap-status ditetapkan ke salah satu dari hal berikut:

    • [none] menunjukkan bahwa penginstalan belum dimulai. VM mungkin masih melakukan booting. Periksa kembali statusnya dalam beberapa menit.
    • IN PROGRESS menunjukkan bahwa penginstalan dan konfigurasi komponen proxy layanan belum selesai. Ulangi pemeriksaan status untuk mengetahui info terbaru tentang prosesnya.
    • FAILED menunjukkan bahwa penginstalan atau konfigurasi komponen gagal. Periksa pesan error dengan membuat kueri pada atribut gce-service-proxy/bootstrap-last-failure1.
    • FINISHED menunjukkan bahwa proses penginstalan dan konfigurasi selesai tanpa error. Gunakan petunjuk berikut untuk memverifikasi bahwa intersepsi traffic dan proxy Envoy dikonfigurasi dengan benar.

  2. Intersepsi traffic di VM tidak dikonfigurasi dengan benar untuk layanan berbasis Cloud Service Mesh. Login ke VM dan periksa konfigurasi iptables:

    gcloud compute ssh INSTANCE_NAME \
    --zone=ZONE \
    sudo iptables -L -t nat

    Periksa rantai SERVICE_PROXY_SERVICE_CIDRS untuk entri SERVICE_PROXY_REDIRECT seperti ini:

    Chain SERVICE_PROXY_SERVICE_CIDRS (1 references)
target                   prot opt source         destination ...
SERVICE_PROXY_REDIRECT   all  --  anywhere       10.7.240.0/20

    Untuk setiap layanan, harus ada alamat IP atau CIDR yang cocok di kolom destination. Jika tidak ada entri untuk alamat IP virtual (VIP), berarti ada masalah saat mengisi konfigurasi proxy Envoy dari Cloud Service Mesh, atau agen di VM gagal.

  3. Proxy Envoy belum menerima konfigurasinya dari Cloud Service Mesh. Login ke VM untuk memeriksa konfigurasi proxy Envoy:

    gcloud compute ssh INSTANCE_NAME \
    --zone=ZONE \
    sudo curl localhost:15000/config_dump

    Periksa konfigurasi pemroses yang diterima dari Cloud Service Mesh. Misalnya:

    "dynamic_active_listeners": [
  ...
  "filter_chains": [{
    "filter_chain_match": {
      "prefix_ranges": [{
        "address_prefix": "10.7.240.20",
        "prefix_len": 32
      }],
      "destination_port": 80
    },
  ...
    "route_config_name": "URL_MAP/PROJECT_NUMBER.td-routing-rule-1"
  ...
]

    address_prefix adalah alamat IP virtual (VIP) layanan Cloud Service Mesh. URL ini mengarah ke peta URL yang disebut td-routing-rule-1. Periksa apakah layanan yang ingin Anda hubungkan sudah disertakan dalam konfigurasi pemroses.

  4. Agen di VM tidak berjalan. Agen di VM akan otomatis mengonfigurasi intersepsi traffic saat layanan Cloud Service Mesh baru dibuat. Jika agen tidak berjalan, semua traffic ke layanan baru akan langsung masuk ke VIP, mengabaikan proxy Envoy, dan habis waktu tunggunya.

    1. Verifikasi status agen di VM dengan menjalankan perintah berikut:

      gcloud compute instances get-guest-attributes INSTANCE_NAME \
   --query-path=gce-service-proxy/ \
   --zone=ZONE

    2. Periksa atribut agen di VM. Nilai atribut agent-heartbeat memiliki waktu saat agen terakhir kali melakukan tindakan atau pemeriksaan. Jika nilainya sudah lebih dari lima menit, agen akan macet, dan Anda harus membuat ulang VM menggunakan perintah berikut:

      gcloud compute instance-groups managed recreate-instance

    3. Atribut agent-last-failure mengekspos error terakhir yang terjadi di agen. Hal ini mungkin merupakan masalah sementara yang akan teratasi saat agen memeriksanya lagi—misalnya, jika error-nya adalah Cannot reach the Cloud Service Mesh API server—atau mungkin merupakan error permanen. Tunggu beberapa menit, lalu periksa kembali error tersebut.

Intersepsi traffic masuk dikonfigurasi ke port workload, tetapi Anda tidak dapat terhubung ke port dari luar VM

Untuk memperbaiki masalah ini, ikuti langkah-langkah berikut:

  1. Penginstalan komponen proxy layanan di VM mungkin belum selesai atau mungkin gagal. Gunakan perintah berikut untuk menentukan apakah semua komponen diinstal dengan benar:

    gcloud compute instances get-guest-attributes INSTANCE_NAME \
    --query-path=gce-service-proxy/ \
    --zone=ZONE

    Atribut tamu bootstrap-status ditetapkan ke salah satu dari hal berikut:

    • [none] menunjukkan bahwa penginstalan belum dimulai. VM mungkin masih melakukan booting. Periksa kembali statusnya dalam beberapa menit.
    • IN PROGRESS menunjukkan bahwa penginstalan dan konfigurasi komponen proxy layanan belum selesai. Ulangi pemeriksaan status untuk mengetahui info terbaru tentang prosesnya.
    • FAILED menunjukkan bahwa penginstalan atau konfigurasi komponen gagal. Periksa pesan error dengan membuat kueri pada atribut gce-service-proxy/bootstrap-last-failure1.
    • FINISHED menunjukkan bahwa proses penginstalan dan konfigurasi selesai tanpa error. Gunakan petunjuk berikut untuk memverifikasi bahwa intersepsi traffic dan proxy Envoy dikonfigurasi dengan benar.

  2. Intersepsi traffic di VM tidak dikonfigurasi dengan benar untuk traffic masuk. Login ke VM dan periksa konfigurasi iptables:

    gcloud compute ssh INSTANCE_NAME \
    --zone=ZONE \
    sudo iptables -L -t nat

    Periksa rantai SERVICE_PROXY_INBOUND untuk entri SERVICE_PROXY_IN_REDIRECT seperti ini:

    Chain SERVICE_PROXY_INBOUND (1 references)
target                      prot opt source       destination ...
SERVICE_PROXY_IN_REDIRECT   tcp  --  anywhere     anywhere  tcp dpt:mysql

    Untuk setiap port yang ditentukan di service-proxy:serving-ports, harus ada port yang cocok di kolom destination. Jika tidak ada entri untuk port, semua traffic masuk akan langsung menuju port ini, sehingga mengabaikan proxy Envoy.

    Pastikan tidak ada aturan lain yang menghentikan traffic ke port ini atau semua port kecuali satu port tertentu.

  3. Proxy Envoy belum menerima konfigurasinya untuk port masuk dari Cloud Service Mesh. Login ke VM untuk memeriksa konfigurasi proxy Envoy:

    gcloud compute ssh INSTANCE_NAME \
    --zone=ZONE \
    sudo curl localhost:15000/config_dump

    Cari konfigurasi pemroses masuk yang diterima dari Cloud Service Mesh:

    "dynamic_active_listeners": [
  ...
  "filter_chains": [{
    "filter_chain_match": {
      "prefix_ranges": [{
        "address_prefix": "10.0.0.1",
        "prefix_len": 32
      }],
      "destination_port": 80
    },
  ...
    "route_config_name": "inbound|default_inbound_config-80"
  ...
]

    route_config_name, yang dimulai dengan inbound, menunjukkan layanan khusus yang dibuat untuk tujuan intersepsi traffic masuk. Periksa apakah port yang ingin Anda hubungkan sudah disertakan dalam konfigurasi pemroses di bagian destination_port.

Masalah saat koneksi menggunakan protokol server-first

Beberapa aplikasi, seperti MySQL, menggunakan protokol saat server mengirim paket pertama. Artinya, setelah koneksi awal, server akan mengirim byte pertama. Protokol dan aplikasi ini tidak didukung oleh Cloud Service Mesh.

Memecahkan masalah kondisi mesh layanan

Panduan ini memberikan informasi untuk membantu Anda menyelesaikan masalah konfigurasi Cloud Service Mesh.

Perilaku Cloud Service Mesh saat sebagian besar endpoint tidak sehat

Untuk keandalan yang lebih baik, saat 99% endpoint tidak sehat, Cloud Service Mesh mengonfigurasi bidang data untuk mengabaikan status kesehatan endpoint. Sebagai gantinya, bidang data menyeimbangkan traffic di antara semua endpoint karena port penayangan mungkin masih berfungsi.

Backend yang tidak responsif menyebabkan distribusi traffic yang kurang optimal

Cloud Service Mesh menggunakan informasi dalam resource HealthCheck yang dilampirkan ke layanan backend untuk mengevaluasi kondisi backend Anda. Cloud Service Mesh menggunakan status kondisi ini untuk merutekan traffic ke backend terdekat yang berfungsi dengan baik. Jika beberapa backend Anda tidak responsif, traffic mungkin terus diproses, tetapi dengan distribusi yang kurang optimal. Misalnya, traffic mungkin mengalir ke region tempat backend yang sehat masih ada, tetapi jauh lebih jauh dari klien, sehingga menyebabkan latensi. Untuk mengidentifikasi dan memantau status kesehatan backend Anda, coba langkah-langkah berikut:

Langkah selanjutnya