Menjalankan pemeriksaan preflight

Halaman ini menjelaskan cara menjalankan pemeriksaan preflight terhadap GKE pada file konfigurasi VMware.

Ringkasan

Selama penginstalan, Anda menjalankan gkectl create-config untuk membuat file konfigurasi GKE di VMware. File konfigurasi akan mendorong penginstalan: Anda memberikan informasi tentang lingkungan vSphere, jaringan dan load balancer, serta tampilan cluster yang Anda inginkan. Anda dapat membuat file konfigurasi sebelum atau setelah membuat workstation admin. Agar lulus pemeriksaan tertentu, pemeriksaan tersebut harus dijalankan dari workstation admin.

Setelah mengubah file agar memenuhi kebutuhan lingkungan dan cluster Anda, gunakan file tersebut untuk membuat cluster di lingkungan lokal Anda.

Sebelum membuat cluster, jalankan gkectl check-config untuk memvalidasi file konfigurasi dengan beberapa pemeriksaan preflight. Jika perintah menampilkan pesan FAILURE, perbaiki masalah dan validasi kembali file tersebut. Jika validasi fitur tertentu menampilkan pesan PERINGATAN, Anda harus memperbaiki masalah yang mendasarinya sebelum dapat menggunakan fitur tersebut.

Mode pemeriksaan preflight dan melewatkan validasi

gkectl check-config memiliki mode default dan mode cepat:

  • Dalam mode default, perintah ini memvalidasi setiap kolom secara komprehensif. Selain itu, mode default membuat virtual machine (VM) vSphere sementara sebagai bagian dari validasinya, yang dapat memerlukan waktu lebih lama.

  • Dalam mode cepat, perintah ini melewati pemeriksaan yang membuat VM pengujian dan hanya menjalankan pemeriksaan cepat. Anda mengaktifkan mode cepat dengan meneruskan flag --fast.

Anda dapat melewati validasi tertentu dengan meneruskan flag lain, yang dijelaskan dalam gkectl check-config --help.

Traffic antara workstation admin dan VM pengujian

Dalam mode default, pemeriksaan preflight membuat VM pengujian untuk cluster. Setiap VM uji menjalankan server HTTP yang memantau port 443 dan pada port node yang Anda tentukan dalam file konfigurasi.

Beberapa alamat IP ditetapkan ke VM uji. Jika file konfigurasi Anda menunjukkan bahwa node cluster Anda akan mendapatkan alamat IP-nya dari server DHCP, pemeriksaan preflight akan menggunakan server DHCP untuk menetapkan alamat IP ke VM uji. Jika file konfigurasi Anda menunjukkan bahwa node cluster Anda akan diberi alamat IP statis, pemeriksaan preflight akan menetapkan alamat IP statis yang Anda tentukan dalam file blok IP ke VM uji.

Pemeriksaan preflight, yang berjalan di workstation admin, mengirimkan permintaan HTTP ke VM pengujian menggunakan berbagai alamat IP yang ditetapkan ke VM. Permintaan dikirim ke port 443 dan ke port node yang Anda tentukan dalam file konfigurasi.

Kapan saya harus menjalankan pemeriksaan preflight?

Praktik terbaiknya adalah menjalankan pemeriksaan preflight lebih awal dan sebelum mencoba membuat cluster. Menjalankan pemeriksaan preflight lebih awal dapat membantu mengonfirmasi bahwa Anda telah mengonfigurasi lingkungan vSphere dan jaringan dengan benar.

Jika Anda menggunakan GKE di VMware versi 1.2.0-gke.6, jalankan gkectl check-config dua kali:

  1. Jalankan gkectl check-config --fast.

  2. Jalankan gkectl prepare.

  3. Jalankan gkectl check-config lagi, tanpa flag --fast.

Alasan menjalankan dua kali adalah gkectl prepare mengupload template VM untuk image OS node cluster ke lingkungan vSphere Anda. Template VM tersebut harus diterapkan sebelum Anda menjalankan rangkaian validasi lengkap.

Di GKE pada VMware versi 1.2.1 dan yang lebih baru, perintah check-config sendiri mengupload template VM, sehingga Anda dapat menjalankan kumpulan validasi lengkap sebelum menjalankan gkectl prepare:

  1. Jalankan gkectl check-config, tanpa flag --fast.

  2. Jalankan gkectl prepare.

Pemeriksaan preflight memvalidasi nilai-nilai yang telah Anda berikan ke file. Anda tidak perlu mengisi setiap kolom dalam file konfigurasi untuk menjalankan pemeriksaan preflight terhadap file tersebut. Anda dapat memvalidasi file secara berulang saat mengisi kolomnya. Misalnya, jika hanya ingin memvalidasi konfigurasi vCenter, Anda dapat mengisi kolom vcenter saja dan menjalankan pemeriksaan terhadap kolom tersebut.

Perlu diingat bahwa konfigurasi GKE pada VMware tidak dapat diubah setelah Anda membuat cluster. Menjalankan pemeriksaan preflight membantu Anda menemukan dan menyelesaikan masalah dalam konfigurasi sebelum membuat cluster.

Mempertahankan VM uji untuk proses debug

Mulai dari GKE pada VMware versi 1.2.1, perintah gkectl check-config memiliki flag --cleanup.

Saat menjalankan set validasi lengkap, gkectl check-config akan membuat VM pengujian dan kunci SSH yang terkait. Jika Anda ingin mempertahankan VM pengujian dan kunci SSH untuk tujuan proses debug, tetapkan --cleanup ke false.

Nilai default --cleanup adalah benar (true).

Daftar pemeriksaan preflight

Pemeriksaan preflight memvalidasi setiap kolom dalam file konfigurasi. Berikut adalah pemeriksaan terbaru:

Kategori Deskripsi
File konfigurasi

Umumnya memvalidasi bahwa setiap kolom dan spesifikasi memiliki format dan nilai yang diharapkan.

Dilewati dengan flag --skip-validation-config.

Lewati validasi kolom proxy dengan flag --skip-validation-proxy.

Internet

Memvalidasi akses internet ke domain yang diperlukan. Memvalidasi konfigurasi proxy berdasarkan tempat Anda menjalankan gkectl.

Dilewati dengan flag --skip-validation-internet.
OS image

Memvalidasi bahwa OS image ada.

Dilewati dengan flag --skip-validation-os-images.
Versi OS Windows

Memvalidasi versi OS Windows.

Memvalidasi bahwa versi Windows didukung saat membuat workstation admin dengan alat command line gkeadm. Perhatikan bahwa meskipun alat gkeadm tersedia untuk Windows 10, Windows Server 2019, dan Linux, tidak ada pemeriksaan preflight untuk Linux. Validasi ini dimulai dari rilis versi 1.4.1.

Versi cluster

Memvalidasi bahwa versi cluster admin, versi cluster pengguna, dan versi gkectl cocok untuk pembuatan dan upgrade.

Dilewati dengan flag --skip-validation-cluster-version.
Kondisi cluster

Memvalidasi bahwa admin atau cluster pengguna responsif sebelum melakukan upgrade:

  • Cluster admin: Pemeriksaan mencakup layanan Kubernetes, status komponen, DaemonSets, deployment, mesin, dan pod.
  • Cluster pengguna: Pemeriksaan mencakup layanan Kubernetes, endpoint API cluster, StatefulSets, deployment, deployment mesin, mesin, dan pod.

Dilewati dengan flag --skip-validation-cluster-health.
Masuk Memeriksa apakah cluster pengguna memiliki objek Gateway Istio sebelum melakukan upgrade.
IP yang dicadangkan

Memvalidasi alamat IP yang tersedia untuk dibuat dan diupgrade.

Dilewati dengan flag --skip-validation-reserved-ips.
Google Cloud
Project ID
[*].projectid
 Memvalidasi project ID yang diberikan ke berbagai kolom dalam konfigurasi. Jika project ID tidak ada, validasi akan dilewati.
Daftarkan akun layanan
registerserviceaccountkeypath
 Memvalidasi bahwa akun layanan memiliki peran IAM yang diperlukan. Memvalidasi bahwa API yang diperlukan diaktifkan.
Menghubungkan akun layanan
agentserviceaccountkeypath
 Memvalidasi bahwa akun layanan memiliki peran IAM yang diperlukan. Memvalidasi bahwa API yang diperlukan diaktifkan.
Akun layanan Kemampuan observasi Google Cloud
stackdriver.serviceaccountkeypath
 Memvalidasi bahwa akun layanan memiliki peran IAM yang diperlukan. Memvalidasi bahwa API yang diperlukan diaktifkan.
Dilewati dengan flag --skip-validation-gcp.
Akses ke akses gcr.io/gke-on-prem-release Memvalidasi akses ke GKE di registry image container VMware yang dihosting di Container Registry.

Dilewati oleh flag --skip-validation-docker.
Registry Docker
privateregistryconfig
Jika dikonfigurasi, akan memvalidasi akses ke registry Docker.

Dilewati dengan flag --skip-validation-docker.
vCenter Memeriksa apakah semua kolom vcenter ada, dan juga memeriksa hal-hal berikut:
Kredensial
vcenter.credentials.[*]
 Memvalidasi autentikasi ke vCenter Server menggunakan kredensial pengguna yang diberikan.
Versi vSphere Memvalidasi bahwa versi vCenter dan ESXi didukung.
Pusat data
vcenter.datacenter
 Memvalidasi bahwa pusat data vSphere ada.
Datastore
vcenter.datastore
 Memvalidasi bahwa datastore vSphere ada.
Disk data
vcenter.datadisk
 Memvalidasi bahwa disk virtual machine (VMDK) vSphere belum ada di vSphere.
Kumpulan resource
vcenter.resourcepool
 Memvalidasi bahwa kumpulan resource vSphere ada.
Jaringan
vcenter.network
 Memvalidasi bahwa jaringan vSphere ada.

Dilewati dengan flag --skip-validation-infra.
Penyimpanan
Driver CSI vSphere Memvalidasi bahwa driver vSphere CSI diaktifkan jika ada intree atau CSI vSphere PersistentVolumes. Artinya, dalam file konfigurasi cluster pengguna, storage.vSphereCSIDisabled tidak ditetapkan ke true.
Parameter StorageClass

Memvalidasi bahwa StorageClass tidak memiliki salah satu parameter yang tidak didukung berikut:

  • hostfailurestotolerate
  • penyediaan paksa
  • penyimpanan cache
  • garis diskrit
  • objekspacereservasi
  • iopslimit
  • format disk

Jika cluster Anda memiliki StorageClasses dengan salah satu parameter sebelumnya, itu mungkin berarti Anda perlu memigrasikan volume.

Untuk informasi selengkapnya, lihat Pertimbangan untuk Migrasi Volume vSphere dalam Pohon dan bagian masalah umum tentang upgrade pada versi 1.15.

Anotasi dalam vSphere dalam hierarki PersistentVolume dan PersistentVolumeClaims yang dibuat secara statis

Sebelum mengupgrade, periksa anotasi PersistentVolumes dalam hierarki vSphere dan vSphere PersistentVolumeClaims:

  • PersistentVolumes vSphere yang dibuat secara statis memiliki anotasi pv.kubernetes.io/provisioned-by: kubernetes.io/vsphere-volume
  • vSphere PersistentVolumesClaims yang dibuat secara statis memiliki anotasi volume.beta.kubernetes.io/storage-provisioner: kubernetes.io/vsphere-volume dan volume.kubernetes.io/storage-provisioner: kubernetes.io/vsphere-volume

Jika cluster Anda memiliki PersistentVolumes atau vSphere PersistentVolumeClaims dalam hierarki tanpa anotasi ini, Anda harus menganotasi PersistentVolumes dan PersistentVolumeClaims sebelum melanjutkan. Lihat Pertimbangan untuk Migrasi Volume vSphere Dalam Pohon.

Workload CSI

Memvalidasi bahwa cluster berhasil menjalankan workload yang menggunakan PersistentVolume yang disediakan secara dinamis yang dibuat melalui Driver vSphere CSI.

Pemeriksaan ini berjalan selama upgrade dan hanya jika ada volume vSphere dalam hierarki dan tidak ada Volume CSI vSphere.

Pemeriksaan ini:

  1. Memeriksa bahwa tidak ada resource yang tersisa dari proses validasi sebelumnya.
  2. Menemukan atau membuat StorageClass dengan kolom penyedia yang ditetapkan ke kolom penyedia yang ditetapkan ke "csi.vsphere.vmware.com".
    1. Di cluster pengguna, CSI StorageClass memilih standard-rwo.
    2. Di cluster admin, ini menemukan StorageClass dengan kolom penyedia yang ditetapkan ke csi.vsphere.vmware.com. Jika tidak ada StorageClass seperti itu dalam cluster, pengujian akan membuat CSI StorageClass baru untuk sementara dan menggunakannya dalam pemeriksaan.
  3. Membuat PersistentVolumeClaim di namespace default menggunakan StorageClass yang ditemukan atau dibuat di langkah sebelumnya, dan menunggu PersistentVolume yang dibuat secara dinamis berada di fase Bound.
  4. Membuat Tugas penulis di namespace default yang memasang PersistentVolume yang dibuat di atas. Pod penulis dijadwalkan dan pada saat dimulai, Pod akan menulis string ke file dalam sistem file yang terpasang.
  5. Menghancurkan Job penulis dan Pod-nya yang terkait.
  6. Membuat Tugas pembaca di namespace default yang memasang PersistentVolume yang dibuat di atas. Pod pembaca dijadwalkan dan pada saat dimulai, Pod akan membaca file yang ditulis oleh Pod penulis, sehingga memastikan bahwa data yang ditulis oleh Pod penulis telah berhasil dibaca.
  7. Menghentikan tugas pembaca dan Pod terkaitnya.
  8. Menghancurkan PersistentVolumeClaim, sehingga PersistentVolume juga dihapus.
  9. Menghancurkan StorageClass jika dibuat selama pengujian.
Host untuk grup anti-afinitas

Memvalidasi bahwa jumlah host vCenter fisik minimal tiga jika antiAffinityGroups diaktifkan.

Untuk menonaktifkan antiAffinityGroups cluster, lihat antiAffinityGroups.enabled dan catatan rilis ini.

Dilewati dengan flag --skip-validation-infra.
Load balancer

Memvalidasi konfigurasi load balancing:

  • Jika mode load balancing terintegrasi (lbmode: Integrated), akan memvalidasi bahwa semua kolom bigip ada dalam spesifikasi admincluster dan usercluster.
  • Jika mode load balancing adalah manual (lbmode: Manual), validasi bahwa semua kolom manuallbspec ada dalam spesifikasi admincluster dan usercluster.
Load balancing terintegrasi
bigip.credentials.[*] Memvalidasi kredensial F5 BIG-IP Anda.
bigip.partition Memvalidasi bahwa partisi yang disediakan ada.
Peran pengguna BIG-IP F5 Memvalidasi bahwa pengguna BIG-IP F5 yang diberikan memiliki peran Administrator atau Administrator Resource.
bigip.vips.[*] Memvalidasi VIP yang disediakan.

Dilewati dengan tanda --fast atau --skip-validation-load-balancer.
Load balancing manual
Konfigurasi jaringan Memvalidasi VIP, IP node, dll.

Dilewati dengan tanda --fast atau --skip-validation-load-balancer.
[*].manuallbspec.[*] Memvalidasi port node yang disediakan.
Dilewati dengan flag --skip-validation-load-balancer.
Networking

Memvalidasi bahwa rentang CIDR, VIP, dan IP statis yang disediakan (jika dikonfigurasi) tersedia. Memastikan alamat IP tidak tumpang-tindih.

Dilewati dengan flag --skip-validation-net-config.
DNS

Memvalidasi bahwa server DNS yang disediakan tersedia.

Dilewati dengan flag --skip-validation-dns.
NTP

Memvalidasi bahwa server Protokol Waktu Jaringan (NTP) yang disediakan tersedia.

Dilewati dengan flag --skip-validation-tod.
VIP

Ping yang disediakan VIP. Pemeriksaan ini berhasil jika ping gagal, yang menunjukkan bahwa VIP yang diharapkan belum diambil.

Dilewati dengan flag --skip-validation-vips.
IP Node

Mem-ping alamat IP node yang diberikan. Pemeriksaan ini berhasil jika ping gagal, yang menunjukkan bahwa IP node yang diharapkan belum diambil.

Dilewati dengan flag --skip-validation-node-ips.

Hasil pemeriksaan pra-penerbangan

Pemeriksaan preflight dapat menampilkan hasil berikut:

BERHASIL
Kolom dan nilainya lulus pemeriksaan.
GAGAL
Kolom dan/atau nilainya tidak lulus pemeriksaan. Jika pemeriksaan menampilkan pesan FAILURE, perbaiki masalahnya dan validasi lagi file tersebut.
DILEWATI

Pemeriksaan dilewati, kemungkinan karena pemeriksaan tidak relevan dengan konfigurasi Anda. Misalnya, jika Anda menggunakan server DHCP, pemeriksaan DNS dan IP node—hanya relevan untuk konfigurasi IP statis—akan dilewati.

Jika Anda meneruskan flag yang melewati validasi, pemeriksaan yang dilewati tidak akan menampilkan hasil DILEWATI; sebaliknya, validasi tidak berjalan dan tidak muncul dalam output perintah sama sekali.

TIDAK DIKETAHUI

Lewati menampilkan kode bukan nol. Anda dapat menganggap hasil UNKNOWN sebagai pemeriksaan yang gagal. UNKNOWN biasanya menunjukkan bahwa pemeriksaan gagal menjalankan beberapa paket sistem, seperti gagal menjalankan nslookup atau gagal menjalankan gcloud.

Segera hadir

Pemeriksaan preflight berikut akan ditambahkan dalam rilis mendatang:

  • server NTP

Menjalankan pemeriksaan preflight

Anda menjalankan pemeriksaan preflight dengan menjalankan perintah berikut:

gkectl check-config --config [CONFIG]

dengan [CONFIG] adalah jalur ke file konfigurasi GKE di VMware

Menjalankan dalam mode cepat

Jika mau, Anda dapat menjalankan pemeriksaan preflight dalam "mode cepat", yang akan melewatkan validasi yang membuat VM uji sementara, seperti validasi IP node dan VIP load balancing. Untuk melakukannya, teruskan --fast:

gkectl check-config --config [CONFIG] --fast

Melewati validasi tertentu

Anda dapat meneruskan flag untuk melewati validasi tertentu secara terperinci, seperti DNS, proxy, dan jaringan. Setiap flag lewati diawali dengan --skip-[VALIDATION].

Untuk mempelajari flag lewati yang tersedia, jalankan perintah berikut. Jika ingin, lihat referensi check-config gkectl:

gkectl check-config --help

Misalnya, untuk melewati validasi load balancer:

gkectl check-config --config my-config.yaml --skip-validation-load-balancer

Membatalkan pemeriksaan preflight

Jika Anda mulai menjalankan pemeriksaan preflight dan ingin membatalkannya, tekan CTRL + C dua kali. Jika pemeriksaan preflight membuat VM pengujian, pembatalan juga akan membersihkan VM secara otomatis.

Membersihkan VM pengujian

Jika VM pengujian tertinggal setelah pemeriksaan preflight selesai, Anda dapat menghapus VM dari vCenter. VM pengujian memiliki nama seperti ini:

check-config-[dhcp|static]-[random number]

Untuk menghapus VM:

  1. Klik kanan VM, lalu klik Daya > Matikan

  2. Setelah VM dimatikan, klik kanan lagi VM, lalu klik Delete from Disk.

Contoh

Berikut adalah contoh output perintah. Dalam contoh ini, konfigurasi yang divalidasi menggunakan mode load balancing terintegrasi dan IP statis tanpa registry Docker eksternal:

- Validation Category: Config Check
    - [SUCCESS] Config

- Validation Category: Internet Access
    - [SUCCESS] Internet access to required domains

- Validation Category: GCP
    - [SUCCESS] GCP Service
    - [SUCCESS] GCP Service Account

- Validation Category: Docker Registry
    - [SUCCESS] gcr.io/gke-on-prem-release access

- Validation Category: vCenter
    - [SUCCESS] Credentials
    - [SUCCESS] Version
    - [SUCCESS] Datacenter
    - [SUCCESS] Datastore
    - [SUCCESS] Data Disk
    - [SUCCESS] Resource Pool
    - [SUCCESS] Network
    - [SUCCESS] VSphere CSI Driver

- Validation Category: F5 BIG-IP
    - [SUCCESS] Admin Cluster F5 (credentials, partition and user role)
    - [SUCCESS] User Cluster F5 (credentials, partition and user role)

- Validation Category: Network Configuration
    - [SUCCESS] CIDR, VIP and static IP (availability and overlapping)

- Validation Category: DNS
    - [SUCCESS] DNS (availability)

- Validation Category: VIPs
    - [SUCCESS] ping (availability)

- Validation Category: Node IPs
    - [SUCCESS] ping (availability)

Now running slow validation checks. ...

Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with admin cluster configuration...  DONE
Waiting to get IP addresses from test VMs...  DONE
Waiting for test VMs to become ready...  DONE

Reusing VM template "gke-on-prem-osimage-xxx" that already exists in vSphere.
Creating test VMs with user cluster configuration...  DONE
Waiting to get IP addresses from test VMs...  DONE
Waiting for test VMs to become ready...  DONE

- Validation Category: F5 BIG-IP
    - [SUCCESS] Admin Cluster VIP and NodeIP
    - [SUCCESS] Admin Cluster F5 Access
    - [SUCCESS] User Cluster VIP and NodeIP
    - [SUCCESS] User Cluster F5 Access

- Validation Category: Internet Access
    - [SUCCESS] Internet access to required domains

- Validation Category: vCenter on test VMs
    - [SUCCESS] Test VM: VCenter Access and Permission

- Validation Category: DNS on test VMs
    - [SUCCESS] Test VM: DNS Availability

- Validation Category: TOD on test VMs
    - [SUCCESS] Test VM: TOD Availability

- Validation Category: Docker Registry
    - [SUCCESS] gcr.io/gke-on-prem-release access

Deleting test VMs with admin cluster configuration...  DONE
Deleting test VMs with user cluster configuration...  DONE

Masalah umum

  • Untuk versi 1.3.0-gke.16:

    Anda harus menjalankan pemeriksaan validasi cepat, gkectl check-config --fast, untuk pemeriksaan preflight jika kedua hal berikut berlaku:

    1. Anda telah mengonfigurasi GKE di VMware untuk menggunakan proxy.

    2. Anda menginstal salah satu paket berikut:

      • Paket /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz dari halaman Download.
      • Paket /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16.tgz dari workstation admin.

    Anda dapat menjalankan set validasi lengkap hanya jika menginstal paket lengkap. Contoh: /var/lib/gke/bundles/gke-onprem-vsphere-1.3.0-gke.16-full.tgz

  • Untuk versi 1.2.0-gke.6:

    Jika Anda menggunakan kumpulan resource bertingkat atau kumpulan resource default, gkectl check-config akan gagal saat Anda mencoba melakukan serangkaian validasi lengkap. Namun, Anda dapat melakukan set validasi yang lebih kecil dengan meneruskan flag --fast.

    gkectl check-config --config [CONFIG] --fast

Langkah selanjutnya