Pratinjau penginstalan dan administrasi Apigee hybrid baru

Pratinjau ini dihentikan.

Pratinjau — Apigee hybrid new install process (discontinued)

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

---

Panduan Pengguna Pratinjau:
Pratinjau prosedur penginstalan dan administrasi baru untuk Apigee hybrid v1.8.

---

Dalam dokumen ini:

• Pratinjau
  • Masukan
• Ringkasan
  • Perubahan pada proses penginstalan baru
• Prasyarat
  • Versi pratinjau
  • Penyiapan Apigee Hybrid
  • Alat
• Penginstalan Dasar Apigee Hybrid
  • Mendownload file penyiapan
  • Jalankan penyiapan
• Penginstalan Apigee Hybrid yang disesuaikan
  • Mendownload file penyiapan
  • Membuat namespace
  • Menggunakan image docker dari repositori pribadi (opsional)
  • Mengonfigurasi imagePullSecrets (opsional)
  • Mengonfigurasi proxy penerusan (opsional)
  • Menentukan sertifikat TLS ingress
  • Memperbarui deployment ingress
  • Mengonfigurasi akun layanan Google Cloud kustom
  • Menggunakan workload identity
  • Mengedit yaml resource
  • Membuat resource dan pengontrol inisialisasi
  • Memberikan izin ke akun layanan Synchronizer untuk berinteraksi dengan Bidang Kontrol
  • Membuat komponen bidang data Apigee
  • Menunggu resource dimulai
  • Menyesuaikan penginstalan untuk cert-manager di namespace kustom
• Kustomisasi dan Komponen
  • Ringkasan
  • Cara menggunakan Komponen
  • OpenShift
  • imagepullsecret
  • nodeselector
  • workload-identity
  • http-proxy
  • logger dan metrik
  • gcs-backup dan gcs-restore
  • non-gcs-backup dan non-gcs-restore
  • http-client
  • non-sni-client
  • http-and-non-sni-client
  • multi-region
• Konsep
  • Menambahkan lingkungan baru
  • Menggunakan penghapusan paksa di Datastore Apigee
• Memahami skrip
• Struktur Folder Penyiapan Apigee Hybrid
• Menyimpan kunci akun layanan di repositori eksternal
• Upgrade Apigee Hybrid
  • Buat Cadangan
  • Mengupgrade platform Kubernetes jika diperlukan
  • Mendownload file penyiapan
  • Memperbarui izin akun layanan jika diperlukan
  • Mengupgrade pengontrol
  • Memperbarui komponen Kubernetes Apigee
• Rollback Apigee Hybrid
  • Merestor apigee-hybrid-setup
  • Melakukan rollback komponen Kubernetes
  • Pengontrol rollback
• Pembersihan
• Menghapus lingkungan
  • Menghapus penyiapan campuran
• Penginstalan Multi-Instance
  • Penyiapan Multi Instance di GKE
  • Pemecahan masalah
  • Panduan Dukungan, Diagnosis, & Pemecahan Masalah
  • Pembersihan Manual setelah menggunakan forceDelete dalam penyiapan Apigee Hybrid multi-Region

Pratinjau

---

Catatan: Dokumen ini dan software yang didokumentasikannya adalah bagian dari rilis pratinjau. Apigee tidak memberikan jaminan atas software atau prosedur dalam pratinjau ini. Dokumentasi dan software dapat berubah sewaktu-waktu tanpa pemberitahuan.

Dokumen ini ditujukan untuk persona operator Apigee (pengguna yang menginstal/mengelola/mengelola penginstalan Apigee Hybrid). Pengalaman dalam menginstal Apigee hybrid di salah satu platform Kubernetes yang didukung adalah prasyarat untuk mengikuti petunjuk dalam dokumen ini. Sebaiknya Anda membuat organisasi Apigee evaluasi untuk mencoba langkah-langkah di bawah.

Masukan

Harap kirim masukan tentang proses ini ke [e-mail].

---

Ringkasan

Pengalaman penginstalan hybrid Apigee yang baru menginstal komponen Apigee menggunakan kubectl dan mengintegrasikan penginstalan serta pengelolaan Apigee Hybrid dengan alat orkestrasi konfigurasi Kubernetes seperti Kustomize. Validasi dan visibilitas yang ditingkatkan dari komponen yang diinstal memberikan kemampuan debug yang lebih baik dan meningkatkan keseluruhan proses penginstalan.

Skrip penginstalan, apigee-hybrid-setup.sh, menyediakan alat yang mudah untuk penginstalan dasar. Anda dapat menggunakannya untuk membuat penginstalan campuran, lalu mengubahnya agar sesuai dengan kebutuhan Anda menggunakan kubectl, atau Anda dapat membuat penginstalan campuran dari awal menggunakan kubectl. Semua properti konfigurasi campuran Apigee disimpan dalam file yaml, satu untuk setiap komponen utama. Hal ini memungkinkan kontrol yang lebih terperinci atas penginstalan hybrid di lingkungan Kubernetes. Anda dapat menemukan file konfigurasi dan skrip penginstalan di repositori di GitHub.

Perubahan dalam proses penginstalan baru

Apigee mengubah proses penginstalan Apigee hybrid karena alasan berikut:

• Metode baru untuk menginstal Apigee hybrid dapat diintegrasikan dengan alat CI/CD Kubernetes yang ada seperti Argo, Flux, atau Anthos Config Management yang tidak menggunakan file konfigurasi overrides.yaml.
• Apigee hybrid telah menyediakan apigeectl, alat pembuatan template kustom yang menghasilkan manifes Kubernetes (di antara hal-hal lain) untuk menginstal dan mengelola Apigee hybrid di cluster Kubernetes. Proses penginstalan dan pengelolaan baru memberikan pengalaman yang mirip dengan vendor software lainnya.
• Proses baru ini memungkinkan penginstalan dasar dengan cepat dengan membuat akun layanan secara otomatis dengan izin yang diperlukan, sertifikat TLS, mengisi otomatis default, dan elemen dasar lainnya yang diperlukan.

Prasyarat

Sebelum menggunakan penginstalan pratinjau ini, Anda harus memenuhi prasyarat berikut:

Versi pratinjau

Pratinjau ini dimaksudkan untuk digunakan dengan Apigee hybrid versi 1.8.x. Versi hybrid Apigee yang lebih baru tidak didukung.

Penyiapan Apigee hybrid

Sebelum melanjutkan penginstalan Apigee Hybrid yang sebenarnya, Anda diharapkan telah menyelesaikan petunjuk berikut yang tercantum di bagian dokumentasi berikut:

1. Penyiapan Project dan Organisasi
   • Ringkasan untuk prasyarat menginstal Apigee Hybrid.
   • Langkah 1: Aktifkan API
   • Langkah 2: Buat organisasi
   • Langkah 3: Buat lingkungan dan grup lingkungan
2. Penyiapan runtime Hybrid
   • Langkah 1: Buat cluster
   • Langkah 2: Instal cert-manager

Alat

Selain itu, Anda harus mendownload dan mengonfigurasi alat berikut di workstation:

• curl
• docker diperlukan untuk menjalankan skrip apigee-hybrid-setup.sh. Ikuti petunjuk di Mendapatkan Docker untuk menginstal Docker.
• envsubst akan tersedia di sebagian besar sistem berbasis Linux/UNIX. Untuk MacOS dan sistem lainnya, ikuti petunjuk di repo ini.
• jq harus diinstal. Download jq.

• kpt Download kpt.

  Catatan: KPT versi v0.39 dan yang lebih lama tidak didukung. Download kpt dari link yang disebutkan di atas (v1.0+) untuk memastikan bahwa kpt berfungsi.

• kubectl versi 1.23 atau yang lebih baru. Lihat Instal Alat: kubectl di dokumentasi kubernetes.

Variabel umum yang digunakan dalam panduan ini

Panduan ini menggunakan variabel lingkungan berikut dalam beberapa langkah. Anda dapat menentukannya di command line atau dengan skrip, atau Anda dapat mengganti teks dalam perintah saat memasukkannya.

• APIGEE_NAMESPACE: Namespace Apigee Anda. Secara default, nilainya adalah apigee. Namun, Anda dapat menggunakan namespace yang berbeda.
• CLUSTER_NAME: Nama cluster tempat Anda menginstal Apigee hybrid. Ini adalah cluster yang Anda buat di Langkah 1: Membuat Cluster
• CLUSTER_LOCATION: Region cluster Anda. Prosedur dalam panduan ini menganggap Anda menggunakan cluster regional. Jika Anda menggunakan cluster zona, lihat petunjuk di Langkah 1: Membuat Cluster
• ENV_GROUP: Nama grup lingkungan untuk penginstalan Apigee Hybrid Anda. Ini adalah grup lingkungan yang Anda buat di Langkah 3: Buat grup lingkungan. Anda dapat membuat beberapa grup lingkungan.
• ENV_NAME: Nama grup lingkungan untuk penginstalan Apigee Hybrid Anda. Ini adalah grup lingkungan yang Anda buat di Langkah 3: Buat grup lingkungan. Anda dapat membuat beberapa grup lingkungan.
• INSTALL_DIR: Direktori tempat Anda menginstal Apigee Hybrid. Secara default, ini adalah subdirektori apigee-hybrid-install/ dari direktori tempat Anda mendownload penginstal, misalnya: /myhybrid/apigee-hybrid-install/. Ini adalah direktori root untuk struktur file yang didokumentasikan dalam Struktur Folder Penyiapan Apigee Hybrid.
• INSTANCE_DIR: Direktori untuk instance Apigee Hybrid tertentu. Secara default, instance pertama diberi nama instance-1. Direktori instance adalah subdirektori ${INSTALL_DIR}/overlays/instances/. Anda dapat menentukan nama apa pun untuk instance campuran. Lihat Penginstalan Multi-Instance.
• ORG_NAME: Nama organisasi hybrid Apigee Anda. ID ini harus sama dengan project ID Google Cloud Anda. Lihat: Langkah 2: Membuat organisasi.

Penginstalan dasar Apigee Hybrid

Untuk menginstal Apigee Hybrid dengan cepat tanpa penyesuaian yang berat, Anda dapat menggunakan prosedur dua langkah berikut.

---

Catatan: Penginstalan dasar memiliki konfigurasi berikut:

• Satu lingkungan
• Satu grup lingkungan
• Satu akun layanan Google Cloud dibuat dan digunakan untuk semua komponen individual
• Nilai default untuk semua kunci dan sandi enkripsi.

---

1. Mendownload file penyiapan
2. Jalankan penyiapan

Mendownload file penyiapan

Download dan siapkan file penyiapan dengan meng-clone repositori GitHub di https://github.com/apigee/apigee-hybrid-install/releases/tag/preview-1:

1. Meng-cloning repository

   git clone https://github.com/apigee/apigee-hybrid-install.git
   

2. Buka direktori untuk repositori yang di-clone:

   cd apigee-hybrid-install
   

3. Buat cabang dari tag pratinjau-1:

   git branch preview-1 preview-1
   git checkout preview-1
   

4. Buat skrip penyiapan dapat dieksekusi:

   chmod +x ./tools/apigee-hybrid-setup.sh
   

   Repositori yang di-clone akan memiliki struktur yang menyerupai struktur yang dijelaskan dalam Struktur Folder Penyiapan Apigee Hybrid:

Menjalankan penyiapan

Jalankan skrip shell apigee-hybrid-setup.sh yang berada di dalam folder tools/.

./tools/apigee-hybrid-setup.sh --cluster-name $CLUSTER_NAME --cluster-region $CLUSTER_LOCATION --org $ORG_NAME --setup-all

---

Catatan: Menjalankan skrip dengan argumen ini menggunakan Organisasi, Lingkungan, dan grup Lingkungan Apigee yang Anda buat di Prasyarat.

Jika Anda mengalami error, coba jalankan skrip untuk kedua kalinya.

---

Opsi tambahan yang dapat Anda gunakan adalah:

• --env $ENV_NAME menentukan nama lingkungan Apigee.
• --envgroup $ENV_GROUP menentukan grup lingkungan.
• --ingress-domain $HOSTNAME menentukan nama host yang Anda berikan untuk grup lingkungan.
• --gcp-project-id $PROJECT_ID menentukan ID project Google Cloud Anda.

Untuk opsi lainnya, lihat Memahami skrip.

Setiap error selama eksekusi akan dicetak ke output standar.

Setelah skrip berhasil selesai, Anda akan menyelesaikan penginstalan campuran dasar. Anda dapat menguji penginstalan dengan membuat proxy contoh seperti yang dijelaskan dalam Membuat dan men-deploy proxy API baru.

Penginstalan Apigee Hybrid yang disesuaikan

Untuk pengguna tingkat lanjut yang menginginkan kontrol terperinci atas penginstalan, Anda dapat mengikuti urutan langkah-langkah berikut (untuk banyak langkah yang diberikan di bawah, Anda dapat memilih untuk melakukan langkah tersebut secara manual, atau menggunakan skrip shell untuk mengotomatiskan setiap langkah tersebut):

---

Catatan: Langkah-langkah ini memerlukan pemahaman dasar tentang konsep Kubernetes. Lihat bagian Konsep atau Dokumentasi Kubernetes untuk mengetahui detail selengkapnya.

---

Mendownload file penyiapan

Download dan siapkan file penyiapan:

1. Clone repositori GitHub di https://github.com/apigee/apigee-hybrid-install/

   Repositori yang di-clone akan memiliki struktur yang menyerupai struktur yang dijelaskan dalam Struktur Folder Penyiapan Apigee Hybrid:

2. cd ke dalam direktori apigee-hybrid-install/

3. Buat skrip penyiapan dapat dieksekusi:

   chmod +x ./tools/apigee-hybrid-setup.sh
   

Buat namespace

Buat namespace kubernetes di cluster Anda yang akan berisi semua komponen cluster Apigee.

kubectl create namespace apigee

---

Catatan: Apigee adalah nama default untuk namespace. Anda dapat menggunakan nama lain.

---

Jika memilih nama lain untuk namespace, Anda dapat memilih untuk mengikuti salah satu dari tiga opsi di bawah:

• (Direkomendasikan) Gunakan --namespace={YOUR_NAMESPACE_NAME} saat mengisi otomatis nilai di Edit yaml resource.

• Jalankan dua perintah berikut:

  1. Gunakan kpt untuk menentukan namespace Apigee:

     kpt fn eval "${INSTALL_DIR}/overlays/" \
       --image gcr.io/kpt-fn/apply-setters:v0.2.0 -- \
       APIGEE_NAMESPACE="${APIGEE_NAMESPACE}"
     # This is for replacing the namespace in istio discoveryAddress which cannot be
     # achieved with kpt
     

  2. Gunakan sed untuk mengganti namespace di discoveryAddress istio:

     sed -i -E -e "s/(discoveryAddress: apigee-ingressgateway-manager\.).*(\.svc:15012)/\1${APIGEE_NAMESPACE}\2/" "${INSTALL_DIR}/overlays/controllers/istiod/apigee-istio-mesh-config.yaml"
     

• Sebagai alternatif, Anda dapat mengubah resource satu per satu secara manual untuk dibuat di namespace pilihan Anda.

Menggunakan image docker dari repositori pribadi (opsional)

Anda dapat memilih untuk tidak menggunakan image yang dihosting secara publik, dan dapat menggunakan image dari repositori pribadi Anda sendiri:

1. Langkah pertama adalah mengirim semua image ke repo pribadi Anda, yang dapat dilakukan dengan mengikuti langkah-langkah di apigee-pull-push | Apigee X. Secara default, gambar diberi tag dengan versi Apigee Hybrid yang sesuai, dan sebaiknya Anda tidak mengedit tag ini. Sebaiknya Anda juga tidak mengedit nama gambar agar jalur gambar akhir dapat dibuat seperti yang dijelaskan di Image Hub.

2. Tetapkan nilai kolom imageHub yang ada di dalam file apigee-hybrid-config.yaml ke jalur host repo pribadi. (Lihat Image Hub untuk mengetahui detailnya).

   imageHub: "your.private.repo/apigee/hybrid"
   

Tindakan ini akan memastikan bahwa semua komponen campuran Apigee menggunakan image dari repo pribadi Anda.

Selain itu, Anda mungkin juga ingin menggunakan image pribadi untuk pengontrol dan gateway ingress Apigee. Untuk itu, Anda harus mengedit file apigee-controller-deployment.yaml dan apigee-ingressgateway-manager-deployment.yaml dan mengganti semua kolom image dengan image dari repo pribadinya.

---

Catatan: Jika mengambil image dari repositori pribadi, kemungkinan besar Anda harus melakukan autentikasi untuk mengambil image tersebut. Kredensial yang diperlukan untuk autentikasi ini ditentukan sebagai imagePullSecrets, yang telah dibahas secara mendetail di Mengonfigurasi imagePullSecrets (opsional).

---

Mengonfigurasi imagePullSecrets (opsional)

1. Buat secret kubernetes yang berisi kredensial untuk mengautentikasi dengan repositori pribadi. Lihat Mengambil Image dari Registry Pribadi untuk memahami cara membuat secret.
2. Setelah secret dibuat, yang tersisa adalah merujuk ke secret tersebut, yang dapat dilakukan dengan mengedit file apigee-hybrid-config.yaml dan menetapkan nilai kolom imagePullSecret ke nama secret yang dibuat sebelumnya, dan mengaktifkan komponen imagePullSecret dalam file kustomization.yaml yang sesuai.

---

Catatan: Jika Anda juga menggunakan image pribadi untuk pengontrol, Anda mungkin juga perlu menambahkan kolom imagePullSecret dalam spesifikasi deployment yang ada di file apigee-controller-deployment.yaml dan apigee-ingressgateway-manager-deployment.yaml.

Jika Anda menentukan imagePullSecrets di kedua tempat tersebut, imagePullSecrets yang ada di dalam file apigee-controller-manager.yaml akan diprioritaskan.

---

Mengonfigurasi proxy penerusan (opsional)

Proxy penerusan dapat dikonfigurasi dengan menambahkan kolom forwardProxy ke file apigee-hybrid-config.yaml. Contoh:

  forwardProxy: |
    scheme: HTTP
    host: 10.12.0.47
    port: 3128

Menentukan sertifikat TLS ingress

Menggunakan skrip

./tools/apigee-hybrid-setup.sh --create-ingress-tls-certs

Lihat Memahami skrip untuk mengetahui detail selengkapnya tentang flag ini.

Manual

Anda diharapkan untuk menyediakan sertifikat TLS yang akan digunakan untuk gateway ingress istio. Anda dapat:

• gunakan sertifikat yang ditandatangani oleh otoritas yang dikenal menggunakan langkah-langkah yang disebutkan dalam Mendapatkan sertifikat TLS: Contoh | Apigee X
• atau membuat sertifikat yang ditandatangani sendiri.

Di sini, kita akan menggunakan sertifikat yang ditandatangani sendiri sebagai contoh. Sertifikat yang ditandatangani sendiri dapat dibuat menggunakan (dengan asumsi DOMAIN telah ditetapkan dengan benar dan harus cocok dengan nama host yang ditetapkan di envgroup Anda):

openssl req -nodes -new -x509 -keyout ./tls.key -out ./tls.crt -subj '/CN='$DOMAIN'' -days 3650

Tindakan ini akan membuat dua file bernama tls.key dan tls.crt.

Kemudian, Anda perlu membuat secret yang memiliki format berikut. Anda dapat menggunakan kubectl create atau kubectl apply seperti yang dijelaskan dalam Menggunakan pasangan kunci/sertifikat kustom untuk certificate signing authority (opsional):

apiVersion: v1
kind: Secret
metadata:
  name: "{ORG_NAME}-{ENV_GROUP_NAME}"
  namespace: {$APIGEE_NAMESPACE}
type: Opaque
data:
  cert: |
    {BASE64_ENCODED_TLS_CRT}
  key: |
    {BASE64_ENCODED_TLS_KEY}

---

Contoh pembuatan secret menggunakan kubectl create:

kubectl create secret tls {ORG_NAME}-{ENV_GROUP_NAME} \
  --cert="tls.crt" \
  --key="tls.key" \
  -n {$APIGEE_NAMESPACE}

---

Catatan: Jika Anda mengubah nama secret di atas, Anda harus melakukan perubahan yang sesuai di apigee-route-config.yaml dengan mengubah nilai secretNameRef menjadi YOUR_SECRET_NAME

---

Memperbarui deployment ingress

Untuk membuat/mengubah deployment ingress, Anda perlu mengubah kolom spec.components.ingressGateways di Resource Kustom ApigeeOrganization di bases/initialization/crds/customresourcedefinition-apigeeorganizations.apigee.cloud.google.com.yaml.

Secara default, kita membuat satu deployment ingress dengan parameter default(nilai default akan ditampilkan dalam dokumen referensi CR ):

ingressGateways:
- name: "prod-1"

Contoh:

A. Mengganti kolom layanan ingress

ingressGateways:
- name: "prod-1"
  serviceSpec:
    annotations:
      {KEY}: ${VALUE}
    loadBalancerIP: ${IP}

B. Mengubah Min/Maks replika

ingressGateways:
- name: "prod-1"
  ​​autoScaler:
    minReplicas: 4
    maxReplicas: 10

C. Menambahkan Deployment Ingress baru

ingressGateways:
- name: "prod-1"
- name: "prod-2"

Mengonfigurasi akun layanan Google Cloud kustom

---

Catatan: Salah satu dari Mengonfigurasi akun layanan Google Cloud kustom atau Menggunakan identitas beban kerja wajib)

---

Menggunakan skrip

./tools/apigee-hybrid-setup.sh --create-gcp-sa-and-secrets  --namespace APIGEE_NAMESPACE

Dengan APIGEE_NAMESPACE adalah namespace kustom Anda. Namespace default-nya adalah apigee.

Lihat Memahami skrip untuk mengetahui detail selengkapnya tentang flag.

Manual

Kunci akun layanan Google Cloud harus disimpan sebagai secret di cluster. Yaml secret harus memiliki struktur berikut:

apiVersion: v1
kind: Secret
metadata:
  name: "{NAME}"
  namespace: {APIGEE_NAMESPACE}
type: Opaque
data:
  client_secret.json: |
    {BASE64_ENCODED_SA_KEY}

Untuk mengetahui detail selengkapnya tentang semua akun layanan yang diperlukan dan nama secret, lihat bagian Akun layanan Google Cloud.

Anda bebas memilih nama lain untuk secret, tetapi Anda harus melakukan perubahan yang sesuai di komponen tempat nama secret tersebut digunakan. Misalnya, jika Anda memutuskan untuk mengubah nama secret akun layanan runtime dari apigee-runtime-svc-account-${ORG_NAME}-${ENV_NAME} menjadi my-runtime-svc, Anda harus melakukan perubahan yang sesuai di apigee-environment.yaml untuk lingkungan tersebut

---

Catatan: Secret yang berisi kunci akun layanan dapat bersumber dari alat pengelolaan secret eksternal seperti Vault. Lihat bagian Menyimpan kunci akun layanan di repositori eksternal untuk mengetahui detail tentang cara melakukannya.

---

Menggunakan identitas workload

---

Catatan: Workload Identity hanya dapat digunakan dengan cluster GKE di Google Cloud.

Salah satu dari Mengonfigurasi akun layanan Google Cloud kustom atau Menggunakan identitas workload bersifat wajib.

---

Prasyarat

Sebelum menggunakan identitas beban kerja, pastikan cluster GKE Anda telah mengaktifkan dukungan. Lihat Memperbarui Node Pool | Apigee X untuk mengetahui detailnya.

Mengaktifkan workload-identity

Lihat bagian Workload identity di bagian Kustomize dan Komponen untuk mengetahui detail tentang cara mengaktifkan workload identity sebelum penginstalan.

Mengedit yaml resource

Beberapa tempat dalam yaml komponen memerlukan nama organisasi, lingkungan, dan grup lingkungan yang benar. Anda dapat menetapkan nilai ini secara manual, atau menggunakan skrip shell untuk mengisi nilai ini secara otomatis.

Menggunakan skrip

./tools/apigee-hybrid-setup.sh --fill-values

Membuat resource dan pengontrol inisialisasi

#Additional steps for openshift
kubectl apply -k ${INSTALL_DIR}/overlays/initialization/openshift
//apigee datastore
kubectl apply -f ${INSTANCE_DIR}/overlays/instances/${INSTANCE_DIR}/datastore/components/openshift-scc/scc.yaml
//telemetry
kubectl apply -f ${INSTANCE_DIR}/overlays/instances/${INSTANCE_DIR}/telemetry/components/openshift-scc/scc.yaml

#Create Apigee initialization kubernetes resources
kubectl apply -f ${INSTALL_DIR}/overlays/initialization/namespace.yaml
kubectl apply -k ${INSTALL_DIR}/overlays/initialization/certificates
kubectl apply --server-side --force-conflicts -k ${INSTALL_DIR}/overlays/initialization/crds
kubectl apply -k ${INSTALL_DIR}/overlays/initialization/webhooks
kubectl apply -k ${INSTALL_DIR}/overlays/initialization/rbac
kubectl apply -k ${INSTALL_DIR}/overlays/initialization/ingress

# Create controller config and controller
kubectl apply -k ${INSTALL_DIR}/overlays/controllers

# Wait for the controllers to be available
kubectl wait deployment/apigee-controller-manager deployment/apigee-ingressgateway-manager -n "${APIGEE_NAMESPACE}" --for=condition=available --timeout=2m

# Create the datastore and redis secrets first and then the rest of the secrets.
kubectl apply -f ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/datastore/secrets.yaml
kubectl apply -f ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/redis/secrets.yaml
kubectl apply -f ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/environments/${ENV_NAME}/secrets.yaml
kubectl apply -f ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/organization/secrets.yaml

Memberikan izin ke akun layanan Synchronizer untuk berinteraksi dengan Control Plane

Ikuti langkah-langkah di Langkah 8: Mengaktifkan akses Synchronizer, ganti nama akun layanan, apigee-non-prod atau apigee-synchronizer, dengan apigee-all-sa, nama akun layanan yang dibuat oleh proses penginstalan baru.

---

★ Penting: Pastikan untuk mengubah nama akun layanan dalam petunjuk di bagian Mengaktifkan akses sinkronisasi. Jika tidak, pengaktifan akses untuk sinkronisasi akan gagal.

---

Membuat komponen bidang data Apigee

Jika telah mengubah nama resource apa pun pada langkah sebelumnya, Anda harus melakukan perubahan yang sesuai dalam file YAML lain tempat resource tersebut dirujuk. Setelah selesai, gunakan perintah dalam contoh berikut:

# Create the rest of the resources.
kubectl apply -k ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}

untuk menginstal semua komponen.

Menunggu resource dimulai

kubectl wait "apigeedatastore/default" \
"apigeeredis/default" \
"apigeeenvironment/${ORG_NAME}-${ENV_NAME}" \
"apigeeorganization/${ORG_NAME}" \
"apigeetelemetry/apigee-telemetry" \
-n "${APIGEE_NAMESPACE}" --for="jsonpath=.status.state=running" --timeout=15m

Menyesuaikan penginstalan untuk cert-manager di namespace kustom

Sesuaikan namespace tempat cert-manager berjalan dengan prosedur berikut.

Jika cert-manager diinstal di cluster Anda dalam namespace selain cert-manager, Anda harus memperbarui namespace yang digunakan untuk membuat sertifikat root Apigee.

1. Edit file customization.yaml untuk pembuatan sertifikat: $INSTALL_DIR/overlays/initialization/certificates/kustomize.yaml

2. Tambahkan kode berikut ke bagian akhir file.

   - patch: |-
   - op: replace
     path: /metadata/namespace
     value: "gk-cert-manager"
   target:
   group: cert-manager.io
   version: v1
   kind: Certificate
   name: apigee-root-certificate
   

3. Menyimpan file

Kustomize dan Komponen

Ringkasan

Penginstalan Hybrid baru mewarisi ideologi Kustomize dalam menyusun yaml dalam bentuk Bases dan Overlays

• Basis adalah file yang disediakan oleh Apigee, yang dapat berubah di antara setiap rilis Hybrid baru. Anda tidak diharapkan untuk mengubah file ini. File ini menyimpan beberapa nilai default yang disediakan oleh Apigee. Semua file dalam folder bases/ tingkat teratas berisi Dasar ini

• Overlay menyimpan konfigurasi pengguna dan berfungsi sebagai sarana untuk mengubah nilai default yang ditentukan di Dasar. Semua file dalam folder overlays/ tingkat teratas berisi Overlay ini

  ---

  Catatan: Untuk pemahaman Kustomize yang lebih baik dan cara overlay digunakan untuk mengubah basis, sebaiknya Anda membaca Patch Kustomize.

  ---

Cara menggunakan Komponen

Subfolder dalam direktori overlays/ tingkat teratas telah disusun sedemikian rupa sehingga Anda dapat mengaktifkan (atau menonaktifkan) fitur tambahan tertentu dengan memberi komentar (atau menghapus komentar) baris tertentu dalam file kustomization.yaml.

Misalnya, seperti inilah tampilan struktur folder overlays/instances/{INSTANCE_NAME}/telemetry:

telemetry
├── components
│   ├── http-proxy
│   ├── imagepullsecret
│   ├── logger
│   ├── metrics
│   ├── nodeselector
│   ├── openshift-scc
│   ├── workload-identity-logger
│   └── workload-identity-metrics
├── apigee-telemetry.yaml
└── kustomization.yaml

Berikut adalah tampilan file telemetry/kustomization.yaml secara default:

resources:
- apigee-telemetry.yaml

components:
- ./components/metrics
# - ./components/workload-identity-metrics
# - ./components/logger
# - ./components/workload-identity-logger
# - ./components/http-proxy
# - ./components/nodeselector/
# - ./components/imagepullsecret
# - ./components/openshift-scc

Kita dapat melihat bahwa ./components/logger telah dikomentari, yang berarti kita belum mengaktifkan logger uGoogle Cloud secara default. Untuk mengaktifkannya, Anda cukup menghapus komentar baris tersebut seperti ini:

components:

- ./components/logger

Demikian pula, untuk menonaktifkan metrik, Anda dapat mengomentari baris ./components/metrics:

...
components:
...
# - ./components/metrics
…

Bagian berikut akan membahas semua komponen tersebut, kapan komponen tersebut dapat digunakan, dan cara mengonfigurasinya.

OpenShift

Untuk pengguna yang ingin menginstal Apigee Hybrid di cluster OpenShift, Anda mungkin perlu mengaktifkan beberapa komponen/resource sebelum melakukan penginstalan. (Tindakan ini diperlukan jika Anda tidak menggunakan skrip untuk melakukan penginstalan). File yang perlu diubah adalah:

• overlays/initialization/openshift/kustomization.yaml . Di bagian resources:, hapus komentar:

  # - ../../../bases/initialization/openshift/
  

• overlays/instances/{INSTANCE_NAME}/datastore/kustomization.yaml Hapus tanda komentar:

  # - ./components/openshift-scc
  

  dan hapus komentar pada kolom "components:" jika masih dikomentari.

• overlays/instances/{INSTANCE_NAME}/telemetry/kustomization.yaml Hapus tanda komentar:

  # - ./components/openshift-scc
  

  dan hapus komentar pada kolom "components:" jika masih dikomentari.

Kemudian, Anda dapat melanjutkan ke langkah-langkah penginstalan.

imagepullsecret

Komponen ini dapat diaktifkan jika Anda memiliki gambar yang disimpan di repositori pribadi. Untuk mengambil image dari repositori pribadi, Anda dapat membuat secret kubernetes yang akan memiliki detail autentikasi Anda, lalu dapat mereferensikan secret ini di dalamnya. Lihat Mengonfigurasi imagePullSecrets (opsional) untuk mendapatkan petunjuk. Lihat Mengambil Image dari Registry Pribadi | Kubernetes dalam dokumentasi Kubernetes untuk mengetahui informasi selengkapnya.

Tersedia dalam:

• overlays/controllers/apigee-controller
• overlays/controllers/istiod
• overlays/instances/{INSTANCE_NAME}/datastore
• overlays/instances/{INSTANCE_NAME}/environments/{ENV_NAME}
• overlays/instances/{INSTANCE_NAME}/organization
• overlays/instances/{INSTANCE_NAME}/redis
• overlays/instances/{INSTANCE_NAME}/telemetry

Mengaktifkan:

Hapus tanda komentar pada baris "./components/imagepullsecret/" di file kustomization.yaml masing-masing jika diperlukan.

Modifikasi yang akan dilakukan:

• components/imagepullsecret/patch.yaml
  • WAJIB Tambahkan nama secret yang relevan ke daftar di spec.template.spec.imagePullSecrets

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

nodeselector

Komponen ini memungkinkan Anda menjadwalkan pod untuk resource Apigee di node tertentu. Lihat Menetapkan Pod ke Node | Kubernetes untuk informasi tambahan.

Tersedia dalam:

• overlays/controllers/apigee-controller
• overlays/controllers/istiod
• overlays/instances/{INSTANCE_NAME}/datastore
• overlays/instances/{INSTANCE_NAME}/environments/{ENV_NAME}
• overlays/instances/{INSTANCE_NAME}/organization
• overlays/instances/{INSTANCE_NAME}/redis
• overlays/instances/{INSTANCE_NAME}/telemetry

Mengaktifkan:

Hapus tanda komentar pada baris "./components/nodeselector" di file kustomization.yaml masing-masing jika diperlukan.

Modifikasi yang akan dilakukan:

• components/nodeselector/patch.yaml
  • OPSIONAL Ubah nilai label pemilih node dari apigee-runtime atau apigee-data menjadi nilai yang diinginkan.

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

workload-identity

Berbagai penampung di ekosistem Apigee Hybrid memerlukan izin untuk melakukan panggilan API tertentu ke Bidang Kontrol / Bidang Pengelolaan Apigee. Identitas beban kerja adalah salah satu cara untuk memberikan izin ini ke pod (dan penampung di dalamnya). Referensi berguna untuk membaca selengkapnya tentang hal ini mencakup: - Memperkenalkan Workload Identity: Autentikasi yang lebih baik untuk aplikasi GKE Anda | Blog Google Cloud - Menggunakan Workload Identity | Dokumentasi Kubernetes Engine | Google Cloud

Tersedia dalam:

• overlays/instances/{INSTANCE_NAME}/datastore
• overlays/instances/{INSTANCE_NAME}/environments/{ENV_NAME}
• overlays/instances/{INSTANCE_NAME}/organization
• overlays/instances/{INSTANCE_NAME}/redis
• overlays/instances/{INSTANCE_NAME}/telemetry

Prasyarat:

Sebelum dapat menggunakan identitas beban kerja, Anda harus memberikan izin yang relevan dalam project Google Cloud menggunakan:

    gcloud iam service-accounts add-iam-policy-binding \
        --role roles/iam.workloadIdentityUser \
        --member "serviceAccount:${ORG_NAME}.svc.id.goog[${APIGEE_NAMESPACE}/${KSA_NAME}]" \
        ${GSA_NAME}@${ORG_NAME}.iam.gserviceaccount.com

dengan: - ${ORG_NAME} - Nama Organisasi Apigee Anda. - ${APIGEE_NAMESPACE} - Namespace kubernetes tempat komponen Apigee telah diinstal. Ini biasanya apigee kecuali jika diubah secara eksplisit oleh pengguna selama penginstalan - ${KSA_NAME} - Nama namespace kubernetes. Anda harus menjalankan perintah ini untuk setiap akun layanan Kubernetes yang disebutkan dalam Akun layanan Kubernetes - ${GSA_NAME} - Nama akun layanan Google Cloud. Jika Anda belum melakukan perubahan apa pun selama penginstalan, nilainya akan menjadi apigee-all-sa. Jika menyiapkan beberapa akun layanan Google Cloud untuk setiap komponen, Anda harus mencocokkan KSA_NAME dengan GSA_NAME yang sesuai. Anda dapat membandingkan tabel di akun layanan Google Cloud dengan akun layanan Kubernetes untuk menemukan yang setara.

Mengaktifkan:

Hapus tanda komentar pada baris ./components/workload-identity di file kustomization.yaml masing-masing jika diperlukan. Perhatikan bahwa dalam telemetri, kami memiliki add-on identitas beban kerja terpisah untuk komponen metrics dan logger yang dapat diaktifkan satu per satu.

Penggunaan:

1. Jika belum menginstal hybrid, Anda cukup mengaktifkan workload-identity seperti yang disebutkan di bagian sebelumnya dan melanjutkan penginstalan yang kemudian akan otomatis menggunakan workload-identity.

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

http-proxy

Anda dapat mengonfigurasi server proxy di setiap komponen berikut sehingga traffic untuk komponen tersebut akan melalui proxy http yang dikonfigurasi untuk komponen tersebut. Anda dapat mengonfigurasi proxy untuk setiap komponen Apigee satu per satu.

Tersedia dalam:

• overlays/instances/{INSTANCE_NAME}/datastore
• overlays/instances/{INSTANCE_NAME}/environments/{ENV_NAME}
• overlays/instances/{INSTANCE_NAME}/organization
• overlays/instances/{INSTANCE_NAME}/telemetry

Mengaktifkan:

Hapus tanda komentar pada baris "./components/http-proxy/" di file kustomization.yaml masing-masing jika diperlukan.

Modifikasi yang akan dilakukan:

• components/http-proxy/patch.yaml Parameter berikut dapat dikonfigurasi di bagian spec.httpForwardProxy
  • scheme: WAJIB Salah satu dari HTTP atau HTTPS
  • host: WAJIB Alamat host proxy Anda
  • port: WAJIB Nomor port
  • username: OPSIONAL Nama pengguna yang terkait dengan proxy Anda
  • password: OPSIONAL Sandi untuk mengakses proxy

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

logger dan metrik

Anda dapat mengaktifkan atau menonaktifkan logger atau metrik satu per satu dalam overlay/instance/{INSTANCE_NAME}/telemetry. Secara default, logger dinonaktifkan dan metrik diaktifkan. Mengaktifkan atau menonaktifkannya cukup dengan menghapus atau menambahkan komentar pada barisnya di telemetry/kustomization.yaml

gcs-backup dan gcs-restore

Komponen kustomize ini dapat digunakan untuk melakukan pencadangan dan pemulihan database cassandra ke Google Cloud Storage.

Tersedia dalam:

• overlays/instances/{INSTANCE_NAME}/datastore

Prasyarat:

1. Download kunci akun layanan Google Cloud untuk akun yang memiliki peran Storage Object Admin.

   • Jika menggunakan skrip untuk melakukan penginstalan dan tidak menggunakan workload-identities, Anda dapat menggunakan kembali kunci yang didownload yang tersedia di folder service-accounts yang dibuat oleh skrip.

   • Anda juga dapat menggunakan skrip create-service-account.sh untuk membuat akun layanan baru dan mendownload kuncinya:

     ./tools/create-service-accounts=.sh --env prod --profile apigee‑cassandra
     

2. Setelah kunci didownload, Anda perlu membuat secret kubernetes dengan nama apigee-cassandra-backup-and-restore-gcp-sa-key yang dapat dilakukan menggunakan perintah:

   kubectl create secret generic "apigee-cassandra-backup-and-restore-gcp-sa-key" \
             --from-file="dbbackup_key.json=${PATH_TO_SA_KEY}" \
             -n "${APIGEE_NAMESPACE}"
   

   Dengan keterangan:

   • ${PATH_TO_SA_KEY} - Jalur ke file yang berisi kunci akun layanan.
   • ${APIGEE_NAMESPACE} - Namespace Kubernetes tempat komponen Apigee telah diinstal. Ini biasanya adalah apigee, kecuali jika diubah secara eksplisit selama penginstalan

Atau, Anda dapat menggunakan file template templates/secret-apigee-cassandra-backup-and-restore-gcp-sa-key.yaml untuk membuat secret ini.

Mengaktifkan:

• Jika Anda ingin mengaktifkan pencadangan, hapus tanda komentar pada baris "./components/gcs-backup" di file kustomisasi.yaml datastore.
• Jika Anda ingin memulihkan cadangan, hapus tanda komentar pada baris "./components/gcs-restore" di file kustomisasi.yaml datastore.

Modifikasi hanya untuk pencadangan

• components/gcs-backup/apigee-datastore-patch.yaml
  • WAJIB Ubah nilai variabel lingkungan DATABASE_STORAGE_BUCKET yang akan berbentuk gs://BUCKET_NAME dan mengarah ke bucket Google Cloud Storage tempat data perlu dicadangkan. Deskripsi cocok dengan dbStorageBucket yang dijelaskan di sini.
• components/gcs-backup/cron-patch.yaml
  • WAJIB Ubah spec.schedule untuk menentukan frekuensi pencadangan. Kolom menerima format jadwal Crontab standar. Deskripsi cocok dengan jadwal yang dijelaskan di sini.
  • WAJIB Ubah nilai variabel lingkungan DATABASE_STORAGE_BUCKET yang akan berbentuk gs://BUCKET_NAME dan mengarah ke bucket Google Cloud Storage tempat data perlu dicadangkan. Deskripsi cocok dengan dbStorageBucket yang dijelaskan di sini.
  • OPSIONAL Ubah nilai HTTP_PROXY_URL agar mengarah ke proxy yang dikonfigurasi. Formatnya dapat berupa:
    • http://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • https://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS>:${HOST_PORT}

Melakukan Pencadangan

Anda dapat melakukan pencadangan dengan perintah berikut:

kubectl apply -k overlays/instances/{INSTANCE_NAME}

Untuk menerapkan perubahan dan mengaktifkan pencadangan:

Perubahan hanya untuk pemulihan

• components/gcs-restore/apigee-datastore-patch.yaml
  • WAJIB Ubah nilai variabel lingkungan DATABASE_STORAGE_BUCKET yang akan berbentuk gs://BUCKET_NAME dan mengarah ke bucket Google Cloud Storage tempat data perlu dicadangkan. Deskripsi cocok dengan dbStorageBucket yang dijelaskan di sini.
• components/gcs-restore/job-patch.yaml
  • WAJIB Ubah nilai variabel lingkungan DATABASE_STORAGE_BUCKET yang akan berbentuk gs://BUCKET_NAME dan mengarah ke bucket Google Cloud Storage tempat data perlu dicadangkan.
  • WAJIB Ubah nilai variabel lingkungan BACKUP_SNAPSHOT_TIMESTAMP. Deskripsi cocok dengan restore:snapshotTimestamp yang dijelaskan di sini.
  • OPSIONAL Ubah nilai HTTP_PROXY_URL agar mengarah ke proxy yang dikonfigurasi. Formatnya dapat berupa:
    • http://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • https://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}

Melakukan pemulihan:

Untuk informasi latar belakang tentang cara memulihkan pencadangan, lihat Memulihkan pencadangan | Apigee X | Google Cloud

1. Buat cluster Kubernetes baru dengan namespace baru untuk memulihkan deployment runtime campuran. Anda tidak dapat menggunakan cluster dan namespace yang sama dengan yang digunakan untuk penginstalan hybrid asli.

2. Instal Hybrid ke cluster baru dengan setelan yang dikonfigurasi di atas, selain setelan lain yang Anda inginkan:

   • Anda dapat menggunakan penginstalan Dasar dan penginstalan campuran di namespace baru:

   ./tools/apigee-hybrid-setup.sh \
   --cluster-name $CLUSTER_NAME \
   --cluster-region $CLUSTER_LOCATION \
   --namespace ${NEW_APIGEE_NAMESPACE}
   

   • Atau, ikuti Penginstalan Apigee Hybrid yang Disesuaikan untuk mengonfigurasi berbagai hal sesuai pilihan Anda.

3. Setelah pemulihan selesai, semua resource di namespace lama dapat dihapus dan dialihkan ke namespace baru.

Untuk informasi selengkapnya, lihat Memulihkan cadangan.

non-gcs-backup dan non-gcs-restore

Komponen kustomize ini dapat digunakan untuk melakukan pencadangan dan pemulihan database cassandra ke Google Cloud Storage.

Tersedia dalam:

• overlays/instances/{INSTANCE_NAME}/datastore

Prasyarat:

1. Langkah-langkah dari dokumentasi yang sudah ada untuk Menyiapkan server dan SSH dapat digunakan.

2. Dari langkah-langkah di atas, Anda harus menggunakan kunci pribadi SSH yang tersedia dalam file "ssh_key" yang dibuat dengan mengikuti langkah-langkah sebelumnya. Selanjutnya, kita akan membuat secret kubernetes dengan nama apigee-cassandra-backup-and-restore-gcp-sa-key yang berisi kunci Pribadi SSH ini.

   ---

   Catatan: Pastikan file kunci pribadi SSH Anda memiliki baris baru di bagian akhir.

   ---

   Secret kubernetes dapat dibuat menggunakan perintah berikut:

   kubectl create secret generic "apigee-cassandra-backup-and-restore-key-file" \
           --from-file="key=${PATH_TO_SSH_PRIVATE_KEY}" \
           -n "${APIGEE_NAMESPACE}"
   

   Dengan keterangan:

   • ${PATH_TO_SSH_PRIVATE_KEY} - Jalur ke file yang berisi kunci pribadi SSH
   • ${APIGEE_NAMESPACE} - Namespace kubernetes tempat komponen Apigee telah diinstal. Ini biasanya adalah apigee, kecuali jika diubah secara eksplisit selama penginstalan

   Atau, Anda dapat menggunakan file template templates/secret-apigee-cassandra-backup-and-restore-key-file.yaml untuk membuat secret ini.

Mengaktifkan:

• Jika Anda ingin mengaktifkan pencadangan, hapus tanda komentar pada baris "./components/non-gcs-backup" di file kustomisasi.yaml datastore.
• Jika Anda ingin memulihkan cadangan, hapus tanda komentar pada baris "./components/non-gcs-restore" di file kustomisasi.yaml datastore.

Modifikasi hanya untuk pencadangan

• components/non-gcs-backup/apigee-datastore-patch.yaml
  • WAJIB Ubah nilai BACKUP_SERVER_IP. Deskripsi cocok dengan BACKUP_SERVER_IP yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_STORAGE_DIR. Deskripsi cocok dengan BACKUP_STORAGE_DIR yang dijelaskan di sini.
• components/non-gcs-backup/cron-patch.yaml
  • WAJIB Ubah spec.schedule untuk menentukan frekuensi pencadangan. Kolom menerima format jadwal Crontab standar. Deskripsi cocok dengan jadwal yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_SERVER_IP. Deskripsi cocok dengan BACKUP_SERVER_IP yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_STORAGE_DIR. Deskripsi cocok dengan BACKUP_STORAGE_DIR yang dijelaskan di sini.
  • OPSIONAL Ubah nilai HTTP_PROXY_URL agar mengarah ke proxy yang dikonfigurasi. Formatnya dapat berupa:
    • http://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • https://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}

Melakukan Pencadangan

Anda dapat melakukan pencadangan dengan perintah berikut:

kubectl apply -k overlays/instances/{INSTANCE_NAME}

Untuk menerapkan perubahan dan mengaktifkan pencadangan:

Modifikasi hanya untuk pencadangan

• components/non-gcs-restore/apigee-datastore-patch.yaml
  • WAJIB Ubah nilai BACKUP_SERVER_IP. Deskripsi cocok dengan BACKUP_SERVER_IP yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_STORAGE_DIR. Deskripsi cocok dengan BACKUP_STORAGE_DIR yang dijelaskan di sini.
• components/non-gcs-restore/job-patch.yaml
  • WAJIB Ubah nilai variabel lingkungan BACKUP_SNAPSHOT_TIMESTAMP. Deskripsi cocok dengan restore:snapshotTimestamp yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_SERVER_IP. Deskripsi cocok dengan BACKUP_SERVER_IP yang dijelaskan di sini.
  • WAJIB Ubah nilai BACKUP_STORAGE_DIR. Deskripsi cocok dengan BACKUP_STORAGE_DIR yang dijelaskan di sini.
  • OPSIONAL Ubah nilai HTTP_PROXY_URL agar mengarah ke proxy yang dikonfigurasi. Formatnya dapat berupa:
    • http://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • https://${USERNAME}:${PASSOWORD}@${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}
    • http://${HOST_IP_ADDRESS}:${HOST_PORT}

Melakukan pemulihan:

Untuk ringkasan tentang cara memulihkan pencadangan, lihat Ringkasan pemulihan Cassandra.

1. Buat cluster Kubernetes baru dengan namespace baru untuk memulihkan deployment runtime campuran. Anda tidak dapat menggunakan cluster dan namespace yang sama dengan yang digunakan untuk penginstalan hybrid asli.

2. Instal Hybrid ke cluster baru dengan setelan yang dikonfigurasi di atas selain setelan lain yang Anda inginkan: Anda dapat menggunakan penginstalan Dasar dan menginstal hybrid di namespace baru:

   ./tools/apigee-hybrid-setup.sh \
     --cluster-name $CLUSTER_NAME \
     --cluster-region $CLUSTER_LOCATION \
     --namespace ${NEW_APIGEE_NAMESPACE}
   

   Atau, ikuti Penginstalan Apigee Hybrid yang Disesuaikan untuk mengonfigurasi berbagai hal sesuai pilihan Anda.

3. Setelah pemulihan selesai, semua resource di namespace lama dapat dihapus dan dialihkan ke namespace baru.

   Untuk mengetahui informasi selengkapnya, lihat Menjadwalkan pencadangan di server jarak jauh.

http-client

Untuk mengetahui petunjuknya, lihat Mengaktifkan klien HTTP | Apigee.

Tersedia dalam:

• overlays/instances/${INSTANCE_NAME}/route-config/${ENV_GROUP}

Mengaktifkan:

Hapus tanda komentar pada baris "./components/http-client" di file route-config/${ENV_GROUP}/kustomization.yaml masing-masing

Modifikasi yang akan dilakukan:

• Tidak diperlukan modifikasi wajib.

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

non-sni-client

Setara dengan Cara mengonfigurasi klien non-SNI | Apigee yang sudah ada.

Tersedia dalam:

• overlays/instances/${INSTANCE_NAME}/route-config/${ENV_GROUP}

Mengaktifkan:

Hapus tanda komentar pada baris "./components/non-sni-client" di file route-config/${ENV_GROUP}/kustomization.yaml masing-masing

Modifikasi yang akan dilakukan:

• components/non-sni-client/apigee-route.yaml
  • WAJIB Deskripsi credentialName cocok dengan credential_name yang dijelaskan di sini.

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

http-and-non-sni-client

Untuk mengetahui petunjuknya, lihat Mengaktifkan dukungan untuk klien non-SNI dan HTTP | Apigee.

Mengaktifkan:

Hapus tanda komentar pada baris "./components/http-and-non-sni-client" di file route-config/${ENV_GROUP}/kustomization.yaml masing-masing

Modifikasi yang akan dilakukan:

• components/http-and-non-sni-client/apigee-route.yaml
  • WAJIB Deskripsi credentialName cocok dengan credential_name yang dijelaskan di sini.

Penggunaan:

1. Jika belum menginstal Apigee Hybrid, Anda dapat melanjutkan dengan langkah-langkah penginstalan dan perubahan ini akan diterapkan dalam prosesnya

2. Jika sudah menginstal Apigee Hybrid, Anda harus menerapkan perubahan baru ini menggunakan:

   kubectl apply -k overlays/instances/{INSTANCE_NAME}
   

multi-region

Komponen ini dapat digunakan saat mengonfigurasi deployment cassandra multi-region. Untuk informasi selengkapnya, lihat Deployment multi-region di GKE dan GKE on-prem

Mengaktifkan:

Hapus tanda komentar pada baris "./components/multi-region" di file datastore/kustomization.yaml

Modifikasi yang akan dilakukan:

• components/multi-region/cassandra-data-replication.yaml

  • WAJIB source.region Nama pusat data Cassandra sumber yang akan digunakan untuk mereplikasi data. Dapat diidentifikasi menggunakan perintah berikut di cluster sumber:

  kubectl get apigeedatastore -n ${APIGEE_NAMESPACE} -o=jsonpath='{.items[*].spec.components.cassandra.properties.datacenter}'
  

• components/multi-region/patch.yaml

  • WAJIB spec.components.properties.multiRegionSeedHost IP Pod dari salah satu pod cassandra sumber. Kita dapat menggunakan:

  kubectl get pods -n ${APIGEE_NAMESPACE} -o wide
  

  • Untuk menampilkan semua pod dan mendapatkan IP pod cassandra, gunakan perintah berikut:

  kubectl get pods -o wide -n apigee
  

  Output Anda akan terlihat seperti berikut:

  NAME                      READY   STATUS      RESTARTS   AGE   IP          NODE                                          NOMINATED NODE
  apigee-cassandra-default-0        1/1     Running     0          5d    10.0.0.11   gke-k8s-dc-2-default-pool-a2206492-p55d
  apigee-cassandra-default-1        1/1     Running     0          5d    10.0.2.4    gke-k8s-dc-2-default-pool-e9daaab3-tjmz
  apigee-cassandra-default-2        1/1     Running     0          5d    10.0.3.5    gke-k8s-dc-2-default-pool-e589awq3-kjch
  

Untuk informasi selengkapnya, lihat Prasyarat untuk GKE di "Deployment multi-region di GKE, GKE on-prem, dan AKS":

Penggunaan:

Penggunaan komponen ini sebagian besar masuk akal saat Anda menyiapkan Apigee Hybrid di cluster baru dan sudah memiliki penyiapan Apigee Hybrid lain yang berfungsi.

1. Cluster baru dan yang sudah ada harus menggunakan sertifikat TLS yang sama untuk memastikan komunikasi yang tepat antara pod Cassandra. Jadi, kita harus menyalin secret apigee-root-certificate dari cluster yang ada dan menggunakannya di cluster yang lebih baru juga:

2. Jalankan:

   kubectl config get-contexts
   

   • Untuk mendapatkan daftar semua konteks kubernetes, lalu jalankan

   kubectl config use-context SOURCE_CLUSTER_CONTEXT
   

   dengan SOURCE_CLUSTER_CONTEXT adalah nama konteks cluster kubernetes sumber.

3. Simpan secret root certificate dalam file:

   kubectl get secret/apigee-root-certificate -n cert-manager -o yaml > apigee-root-certificate.yaml
   

4. Alihkan konteks cluster ke cluster baru tempat Anda menginstal Apigee Hybrid.

   kubectl config use-context ${NEW_CLUSTER_CONTEXT}
   

5. Buat secret root di cluster baru:

   kubectl -n cert-manager apply -f apigee-root-certificate.yaml
   

6. Menonaktifkan pembuatan root certificate baru. Tindakan ini akan memastikan bahwa kita tidak membuat apigee-root-certificate baru dan akhirnya menimpa apigee-root-certificate yang kita buat pada langkah sebelumnya.

7. Hapus tanda komentar pada baris berikut di file overlays/initialization/certificates/kustomization.yaml:

   # components:
   # - ./components/disable-apigee-root-certificate-generation
   

8. Lanjutkan dengan penginstalan Apigee Hybrid lainnya menggunakan Penginstalan Apigee Hybrid Dasar atau Penginstalan Apigee Hybrid yang Disesuaikan. Misalnya, setelah mengikuti Penginstalan Dasar Apigee Hybrid, Anda dapat menjalankan:

   ./tools/apigee-hybrid-setup.sh --cluster-name $CLUSTER_NAME --cluster-region $CLUSTER_LOCATION
   

9. Verifikasi status build ulang menggunakan perintah berikut.

   ---

   Catatan: Operasi pembuatan ulang dapat memerlukan waktu hingga beberapa jam, bergantung pada ukuran data.

   ---

   kubectl -n ${APIGEE_NAMESPACE} get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
   

10. Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah status nodetool:

    kubectl logs apigee-cassandra-default-0 -f -n ${APIGEE_NAMESPACE}
    kubectl exec apigee-cassandra-default-0 -n ${APIGEE_NAMESPACE}  -- nodetool -u ${JMX_USER} -pw ${JMX_PASSWORD} status
    

11. Verifikasi status build ulang menggunakan perintah berikut.

    ---

    Catatan: Operasi pembuatan ulang dapat memerlukan waktu hingga beberapa jam, bergantung pada ukuran data.

    ---

    kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
    

    Hasilnya akan terlihat seperti ini:

    {
    "rebuildDetails": {
    "apigee-cassandra-default-0": {
      "state": "complete",
      "updated": 1623105760
    },
    "apigee-cassandra-default-1": {
      "state": "complete",
      "updated": 1623105765
    },
    "apigee-cassandra-default-2": {
      "state": "complete",
      "updated": 1623105770
    }
    },
    "state": "complete",
    "updated": 1623105770
    }
    

    Lihat juga: Deployment multi-region.

12. Menghapus baris berikut dari components/multi-region/patch.yaml:

      properties:
        multiRegionSeedHost: {IP_ADDRESS} # To be modified. REQUIRED
    

13. Terapkan perubahan:

    kubectl apply -k overlays/instances/{INSTANCE_NAME}
    

Konsep

Image Hub

Image container Docker umumnya ditentukan dalam format:

${REGISTRY_HOST_PATH}/${IMAGE_NAME}:${IMAGE_TAG}

atau yang menggunakan ringkasan terlihat seperti:

${REGISTRY_HOST_PATH}/${IMAGE_NAME}@${DIGEST}

Apigee menggunakan konsep "Image Hub", yang dalam format di atas merujuk ke ${REGISTRY_HOST_PATH}. Nilai default Image Hub adalah gcr.io/apigee-release/hybrid/.

(Gambar yang menggunakan DIGEST harus ditetapkan satu per satu di setiap subkomponen)

Apigee membuat jalur image akhir dengan menggabungkan nilai berikut:

• "Image Hub" yang dapat diganti di apigee-hybrid-config.yaml (lihat bagian Menggunakan image docker dari repositori pribadi untuk mengetahui langkah-langkah mendetail tentang cara mengganti Image Hub).
• Nilai IMAGE_TAG diperoleh dari kolom version, yang ada di dalam file yaml untuk setiap komponen (misalnya, apigee-organization.yaml). Apigee memberi tag pada gambar dengan versi Apigee Hybrid - yang berarti IMAGE_TAG adalah 1.8 untuk Apigee Hybrid versi 1.8
• IMAGE_NAME ditentukan secara implisit dari nama penampung tempat image akan digunakan. Misalnya, untuk penampung apigee-runtime, IMAGE_NAME akan menjadi apigee-runtime.

Dengan demikian, contoh lengkap jalur gambar adalah gcr.io/apigee-release/hybrid/apigee-runtime:1.8.0

Dengan cara ini, jalur image akhir akan dibuat, yang kemudian akan digunakan di dalam setiap penampung di pod masing-masing.

Akun layanan Google Cloud

Akun layanan Google Cloud adalah akun yang digunakan oleh aplikasi untuk melakukan panggilan yang diotorisasi ke Google API. Kunci akun layanan Google Cloud dapat didownload, yang kemudian dapat digunakan untuk tujuan autentikasi. Apigee mengharapkan pengguna memberikan kunci akun layanan dengan membuat secret. Berikut adalah nama komponen dan nama default secret tempat kunci akun layanan dicari:

Komponen	Subkomponen	Nama secret Kubernetes default yang berisi kunci akun layanan
organisasi
	connectAgent	apigee-connect-agent-gcp-sa-key-${ORG_NAME}
	watcher	apigee-watcher-gcp-sa-key-${ORG_NAME}
	mart	apigee-mart-gcp-sa-key-${ORG_NAME}
	udca	apigee-udca-gcp-sa-key-${ORG_NAME}
	ingressGateways	T/A
environment
	runtime	apigee-runtime-gcp-sa-key-${ORG_NAME}-${ENV_NAME}
	udca	apigee-udca-gcp-sa-key-${ORG_NAME}-${ENV_NAME}
	sinkronisasi	apigee-synchronizer-gcp-sa-key-${ORG_NAME}-${ENV_NAME}
telemetri
	metrik	apigee-metrics-gcp-sa-key
	containerLogs	apigee-logger-gcp-sa-key

Akun layanan Kubernetes

Akun layanan Kubernetes memberikan identitas ke pod di cluster Anda. Secara default, pengontrol Apigee akan membuatnya untuk Anda. Namun, jika ingin mengganti pembuatan (misalnya, saat menggunakan Workload Identity), Anda dapat melakukannya dengan menentukan kolom podServiceAccountName di berbagai sub-komponen.

Daftar komponen dan subkomponen masing-masing tempat akun layanan kubernetes dapat ditentukan beserta nama default akun layanan k8s saat Anda mengaktifkan patch identitas beban kerja untuknya.

Komponen	Subkomponen	Nama default (tersedia jika Anda telah mengaktifkan patch identitas beban kerja)
organisasi
	connectAgent	apigee-connect-agent-svc-account-${ORG_NAME}
	watcher	apigee-watcher-svc-account-${ORG_NAME}
	mart	apigee-mart-svc-account-${ORG_NAME}
	udca	apigee-udca-svc-account-${ORG_NAME}
environment
	sinkronisasi	apigee-synchronizer-svc-account-${ORG_NAME}-${ENV_NAME}
	udca	apigee-udca-svc-account-${ORG_NAME}-${ENV_NAME}
	runtime	apigee-runtime-svc-account-${ORG_NAME}-${ENV_NAME}
datastore
	cassandra	apigee-datastore-svc-account
telemetri
	metricsApp	apigee-metricsApp-svc-account
	metricsProxy	apigee-metricsProxy-svc-account
	metricsAdapter	apigee-metricsAdapter-svc-account
	containerLogs	apigee-container-logs-svc-account

Workload Identity

Dengan Workload Identity, pod (yang menggunakan akun layanan Kubernetes) yang berjalan di GKE dapat mengautentikasi langsung dengan Google Cloud API tanpa memerlukan kunci akun layanan Google Cloud.

Menambahkan lingkungan baru

.
├── ...
├── instances/instance1/components
│   ├── ...
│   ├── environments
│   │   ├── dev
│   │   │   └── apigee-environment.yaml
│   │   │   └── secrets.yaml
│   │   └── new-env-name (new)
│   │       └── apigee-environment.yaml (new)
│   │       └── secrets.yaml (new)
└── ...

Menambahkan lingkungan baru semudah:

1. Membuat folder baru di dalam direktori lingkungan (atau cara Anda menyusun folder)
2. Menyalin file apigee-environment.yaml dari lingkungan yang ada ke folder baru.
3. Jika Anda ingin membuat akun layanan dan kunci enkripsi baru untuk lingkungan baru, salin secrets.yaml ke folder baru dan ganti nama secret dengan tepat untuk membedakannya dari lingkungan lain yang ada (biasanya dilakukan dengan menambahkan nama lingkungan sebagai akhiran)
4. Melakukan perubahan yang sesuai pada apigee-environment.yaml, seperti:
   • Mengubah nama lingkungan
   • Jika akun layanan dan kunci enkripsi baru akan dibuat, keduanya harus dirujuk dengan benar dalam yaml.
5. Menerapkan yaml:

kubectl apply -f components/environments/new-env-name/secrets.yaml
kubectl apply -f components/environments/new-env-name/apigee-environment.yaml

Menggunakan penghapusan paksa di Datastore Apigee

Jika penghapusan datastore tidak berjalan karena alasan apa pun, sekarang datastore apigee dapat dihapus secara paksa menggunakan perintah berikut, terlepas dari status cluster saat ini.

---

Catatan: Penggunaan penghapusan paksa juga akan menghapus PVC. Jadi, jika deployment Apigee Hybrid saat ini adalah satu-satunya alasan, buat cadangan sebelum melanjutkan.

---

---

Catatan: Menggunakan penghapusan paksa di cluster multi-region memerlukan pembersihan manual di region lain setelah penghapusan datastore selesai untuk menjaga cassandra dalam status yang baik. Lihat panduan pemecahan masalah tentang cara melakukan pembersihan manual.

---

1. Hapus apigeeds di namespace apigee:

   Kubectl delete -n apigee apigeeds default
   

   Jika langkah ini macet, Anda dapat keluar darinya menggunakan CTRL + C.

2. Edit apigeeds baru:

   Kubectl edit -n apigee apigeeds default
   

3. Menambahkan/memperbarui kolom forceDelete dalam spesifikasi datastore apigee

   spec:
   forceDelete: true
   

4. Simpan file dan keluar.

Sekarang, tunggu hingga datastore dihapus. Mungkin perlu waktu beberapa menit untuk menghapus semua resource cassandra.

Memahami skrip

Skrip apigee-hybrid-setup.sh melakukan beberapa validasi dasar dan membantu mengotomatiskan langkah-langkah yang harus Anda lakukan jika menginginkan penyesuaian yang lebih mendetail seperti yang didokumentasikan dalam Penginstalan Apigee Hybrid yang disesuaikan. Meskipun dengan penginstalan yang disesuaikan, Anda masih dapat menggunakan skrip sebagian untuk membantu tugas tertentu.

Anda dapat menjalankan ./tools/apigee-hybrid-setup.sh --help untuk melihat daftar flag yang didukung dan mendapatkan bantuan tambahan terkait skrip. Flag berikut saat ini didukung:

• --namespace Secara default, skrip menginstal semua komponen di namespace apigee. Anda dapat mengubah perilaku ini dengan menentukan nama namespace menggunakan tanda ini.
• --org Digunakan untuk memberikan nama organisasi Apigee. Jika tidak ditentukan, akan ditetapkan secara default ke project Google Cloud yang saat ini dipilih di gcloud
• --envgroup Digunakan untuk memberikan nama grup lingkungan di dalam organisasi Anda. Jika tidak ditentukan, upaya akan dilakukan untuk membuat kueri API panel kontrol guna menentukan nama grup lingkungan. Jika beberapa grup lingkungan ditemukan, error akan ditampilkan dan skrip akan keluar.
• --env Digunakan untuk memberikan nama lingkungan di dalam organisasi Anda. Jika tidak ditentukan, upaya akan dilakukan untuk membuat kueri API panel kontrol guna menentukan nama lingkungan. Jika beberapa lingkungan ditemukan atau lingkungan bukan bagian dari grup lingkungan, error akan ditampilkan dan skrip akan keluar.
• --cluster-name Nama cluster Kubernetes.
• --cluster-region Region tempat cluster kubernetes berada
• --gcp-project-id ID project Google Cloud tempat cluster kubernetes berada
• --ingress-domain Menentukan nama host/nama domain yang akan digunakan untuk membuat sertifikat TLS yang ditandatangani sendiri untuk istio ingress-gateway. Jika tidak ada yang ditentukan, upaya akan dilakukan untuk menentukan nilai dengan mengkueri API panel kontrol untuk mendapatkan nilai dari envgroup. Jika ada beberapa masalah dalam menentukan envgroup atau ada beberapa nama host yang dikonfigurasi untuk envgroup, error akan ditampilkan dan skrip akan keluar.
• --generate-internal-tls-certs Tindakan ini akan membuat secret kubernetes bernama apigee-ca yang berisi sertifikat dan pasangan kunci yang dibuat oleh kami.
• --create-ingress-tls-certs Tindakan ini akan menghasilkan secret bernama {ORG_NAME}-{ENV_GROUP_NAME} (berasal dari nama org dan envgroup) di dalam namespace istio-system yang akan berisi sertifikat dan pasangan kunci yang akan digunakan untuk komunikasi TLS. Nama domain yang digunakan untuk membuat sertifikat ini berasal dari nilai yang ditemukan dalam konfigurasi envgroup. Jika terjadi konflik (seperti saat kami menemukan beberapa domain), pesan error yang sesuai akan ditampilkan.
• --create-gcp-sa-and-secrets Membuat satu akun layanan Google Cloud di project Google Cloud, mendownload kunci, lalu membuat secret kubernetes yang berisi kunci tersebut. Nama secret dapat ditemukan di akun layanan Google Cloud.
• --fill-values Mengganti nilai org, env, envgroup, dan nama lainnya di mana pun diperlukan dalam berbagai yaml.
• --apply-configuration Tindakan ini akan membuat penerbit sertifikat, definisi resource kustom, webhook, peran, dan resource pengontrol. Resource akan dibuat dalam urutan yang benar dan perintah akan diblokir hingga semuanya berfungsi dengan baik.
• -- rename-directories Ganti nama lingkungan dan grup lingkungan menjadi nama lingkungan dan grup lingkungan yang benar.
• --verbose Menampilkan output mendetail untuk proses debug.
• --help Menampilkan informasi penggunaan.
• --setup-all Tindakan ini akan mengeksekusi semua tugas yang dapat dilakukan oleh skrip ini

Struktur Folder Penyiapan Apigee Hybrid

Folder apigee-hybrid-setup memiliki struktur hierarki berikut secara default:

.
├── bases
│   ├── controllers
│   │   ├── apigee-controller
│   │   │   ├── apigee-controller-deployment.yaml
│   │   │   └── kustomization.yaml
│   │   └── apigee-ingressgateway-manager
│   │       ├── apigee-ingressgateway-manager-deployment.yaml
│   │       └── kustomization.yaml
│   ├── datastore
│   │   └── backup-and-restore
│   │       ├── backup
│   │       │   ├── cronjob.yaml
│   │       │   └── kustomization.yaml
│   │       ├── common
│   │       │   ├── kustomization.yaml
│   │       │   ├── rbac.yaml
│   │       │   └── tls-certificate.yaml
│   │       └── restore
│   │           ├── job.yaml
│   │           └── kustomization.yaml
│   └── initialization
│       ├── certificates
│       │   ├── certificates-and-issuers.yaml
│       │   └── kustomization.yaml
│       ├── crds
│       │   ├── customresourcedefinition-apigeedatastores.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeedeployments.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeenvironments.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeorganizations.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeredis.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeerouteconfigs.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeroutes.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeetelemetries.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-cassandradatareplications.apigee.cloud.google.com.yaml
│       │   └── kustomization.yaml
│       ├── openshift
│       │   ├── kustomization.yaml
│       │   └── scc.yaml
│       ├── rbac
│       │   ├── apigee-controller
│       │   │   ├── kustomization.yaml
│       │   │   └── rbac.yaml
│       │   └── apigee-embedded-ingress-controller
│       │       ├── cluster-role-bindings.yaml
│       │       ├── cluster-roles.yaml
│       │       ├── kustomization.yaml
│       │       └── service-account.yaml
│       └── webhooks
│           ├── kustomization.yaml
│           ├── mutatingwebhookconfiguration.yaml
│           └── validatingwebhookconfiguration.yaml
├── CONTRIBUTING.md
├── docs
│   └── api_references
│       ├── v1alpha1.md
│       └── v1alpha2.md
├── kokoro
│   ├── build.sh
│   ├── common.cfg
│   ├── continuous.cfg
│   ├── presubmit.cfg
│   └── release.cfg
├── LICENSE
├── overlays
│   ├── controllers
│   │   ├── apigee-controller
│   │   │   ├── apigee-hybrid-config.yaml
│   │   │   ├── components
│   │   │   │   ├── imagepullsecret
│   │   │   │   │   ├── kustomization.yaml
│   │   │   │   │   └── patch.yaml
│   │   │   │   └── nodeselector
│   │   │   │       ├── kustomization.yaml
│   │   │   │       └── patch.yaml
│   │   │   └── kustomization.yaml
│   │   ├── apigee-ingressgateway-manager
│   │   │   ├── apigee-ingressgateway-manager-deployment-patch.yaml
│   │   │   ├── apigee-istio-mesh-config.yaml
│   │   │   ├── components
│   │   │   │   ├── imagepullsecret
│   │   │   │   │   ├── kustomization.yaml
│   │   │   │   │   └── patch.yaml
│   │   │   │   └── nodeselector
│   │   │   │       ├── kustomization.yaml
│   │   │   │       └── patch.yaml
│   │   │   └── kustomization.yaml
│   │   └── kustomization.yaml
│   ├── initialization
│   │   ├── certificates
│   │   │   ├── apigee-ingressgateway-manager-certificate-patch.yaml
│   │   │   ├── apigee-serving-cert-patch.yaml
│   │   │   ├── components
│   │   │   │   └── disable-apigee-root-certificate-generation
│   │   │   │       └── kustomization.yaml
│   │   │   └── kustomization.yaml
│   │   ├── crds
│   │   │   └── kustomization.yaml
│   │   ├── ingress
│   │   │   ├── envoyfilter-1.11.yaml
│   │   │   └── kustomization.yaml
│   │   ├── namespace.yaml
│   │   ├── openshift
│   │   │   ├── kustomization.yaml
│   │   │   └── scc.yaml
│   │   ├── rbac
│   │   │   ├── apigee-controller
│   │   │   │   └── kustomization.yaml
│   │   │   ├── apigee-ingressgateway-manager
│   │   │   │   └── kustomization.yaml
│   │   │   └── kustomization.yaml
│   │   └── webhooks
│   │       ├── kustomization.yaml
│   │       ├── mutatingwebhookconfiguration.yaml
│   │       └── validatingwebhookconfiguration.yaml
│   └── instances
│       └── instance1
│           ├── datastore
│           │   ├── apigee-datastore.yaml
│           │   ├── components
│           │   │   ├── gcs-backup
│           │   │   │   ├── apigee-datastore-patch.yaml
│           │   │   │   ├── cron-patch.yaml
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── tls-certificate-patch.yaml
│           │   │   ├── gcs-restore
│           │   │   │   ├── apigee-datastore-patch.yaml
│           │   │   │   ├── job-patch.yaml
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── tls-certificate-patch.yaml
│           │   │   ├── http-proxy
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── multi-region
│           │   │   │   ├── cassandra-data-replication.yaml
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── non-gcs-backup
│           │   │   │   ├── apigee-datastore-patch.yaml
│           │   │   │   ├── cron-patch.yaml
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── tls-certificate-patch.yaml
│           │   │   ├── non-gcs-restore
│           │   │   │   ├── apigee-datastore-patch.yaml
│           │   │   │   ├── job-patch.yaml
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── tls-certificate-patch.yaml
│           │   │   ├── openshift-scc
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── scc.yaml
│           │   │   └── workload-identity
│           │   │       ├── kustomization.yaml
│           │   │       ├── patch.yaml
│           │   │       └── service-accounts.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── environments
│           │   ├── kustomization.yaml
│           │   └── test
│           │       ├── apigee-environment.yaml
│           │       ├── components
│           │       │   ├── http-proxy
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   ├── imagepullsecret
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   ├── nodeselector
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   └── workload-identity
│           │       │       ├── kustomization.yaml
│           │       │       ├── patch.yaml
│           │       │       └── service-accounts.yaml
│           │       ├── kustomization.yaml
│           │       └── secrets.yaml
│           ├── kustomization.yaml
│           ├── organization
│           │   ├── apigee-organization.yaml
│           │   ├── components
│           │   │   ├── http-proxy
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   └── workload-identity
│           │   │       ├── kustomization.yaml
│           │   │       ├── patch.yaml
│           │   │       └── service-accounts.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── redis
│           │   ├── apigee-redis.yaml
│           │   ├── components
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   └── workload-identity
│           │   │       ├── kustomization.yaml
│           │   │       ├── patch.yaml
│           │   │       └── service-accounts.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── route-config
│           │   ├── kustomization.yaml
│           │   └── test-envgroup
│           │       ├── apigee-route-config.yaml
│           │       ├── components
│           │       │   ├── http-and-non-sni-client
│           │       │   │   ├── apigee-route.yaml
│           │       │   │   └── kustomization.yaml
│           │       │   ├── http-client
│           │       │   │   ├── apigee-route.yaml
│           │       │   │   └── kustomization.yaml
│           │       │   └── non-sni-client
│           │       │       ├── apigee-route.yaml
│           │       │       └── kustomization.yaml
│           │       └── kustomization.yaml
│           └── telemetry
│               ├── apigee-telemetry.yaml
│               ├── components
│               │   ├── http-proxy
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── imagepullsecret
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── logger
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── metrics
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── nodeselector
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── openshift-scc
│               │   │   ├── kustomization.yaml
│               │   │   └── scc.yaml
│               │   ├── workload-identity-logger
│               │   │   ├── kustomization.yaml
│               │   │   ├── patch.yaml
│               │   │   └── service-accounts.yaml
│               │   └── workload-identity-metrics
│               │       ├── kustomization.yaml
│               │       ├── patch.yaml
│               │       └── service-accounts.yaml
│               └── kustomization.yaml
├── README.md
├── templates
│   ├── certificate-org-envgroup.yaml
│   ├── secret-apigee-cassandra-backup-and-restore-gcp-sa-key.yaml
│   ├── secret-apigee-cassandra-backup-and-restore-key-file.yaml
│   ├── secret-gcp-sa-key.yaml
│   └── secret-ingress-tls-cert-key.yaml
└── tools
    ├── apigee-hybrid-setup.sh
    ├── apigee-pull-push.sh
    ├── common.sh
    ├── create-service-account.sh
    └── dump_kubernetes.sh

Versi file di atas dapat ditemukan di tag pratinjau-1 repositori github di: https://github.com/apigee/apigee-hybrid-install/releases/tag/preview-1.

Folder di atas berisi manifes Kubernetes untuk runtime Apigee hybrid dan menggunakan Kustomize untuk pengelolaan konfigurasi. Manifes diatur berdasarkan konsep Menyesuaikan dasar & overlay. Folder dasar berisi konfigurasi minimum yang diperlukan untuk setiap komponen apigee. Folder overlay berisi beberapa fitur(konfigurasi) tambahan yang ditentukan sebagai komponen. Komponen dapat diaktifkan dengan menghapus komentar pada referensi komponen di kustomization.yaml

Contoh : Untuk mengaktifkan gcs-backup untuk datastore apigee, komponen gcs-backup telah dihapus komentarnya di customization.yaml di bawah.

Jalur : ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/datastore/kustomization.yaml

namespace: "apigee" # kpt-set: ${APIGEE_NAMESPACE}

resources:
- apigee-datastore.yaml

components:
# - ./components/http-proxy
# - ./components/nodeselector/
# - ./components/imagepullsecret
# - ./components/workload-identity
# - ./components/openshift-scc
- ./components/gcs-backup (uncommented)
# - ./components/gcs-restore
# - ./components/non-gcs-backup
# - ./components/non-gcs-restore

Setiap nilai yang memerlukan penyesuaian harus ditetapkan di patch.yaml yang sesuai untuk gcs-backup. Dalam file di bawah, nilai CLOUD_STORAGE_BUCKET_PATH harus ditetapkan oleh pengguna

Jalur: $INSTALL_DIR/overlays/instances/$INSTANCE_DIR/datastore/components/gcs-backup/cron-patch.yaml

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: apigee-cassandra-backup
  namespace: apigee
spec:
  schedule: "${YOUR_BACKUP_SCHEDULE_CODE}" # To be modified
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: apigee-cassandra-backup
            env:
            - name: APIGEE_CLOUDPROVIDER
              value: "GCP"
            - name: DATABASE_STORAGE_BUCKET
              value: "${CLOUD_STORAGE_BUCKET_PATH}" # To be modified. REQUIRED
            volumeMounts:
            - name: apigee-cassandra-backup
              mountPath: /var/secrets/google
          volumes:
          - name: apigee-cassandra-backup
            secret:
              secretName: "apigee-cassandra-backup-and-restore-svc-account"

Demikian pula, setiap fitur/konfigurasi yang memerlukan penyesuaian dapat diaktifkan dengan menghapus komentar pada komponen di kustomization.yaml komponen apigee. Selain itu, sesuai kebutuhan, nilai yang sesuai untuk kolom di patch.yaml komponen harus ditetapkan sebagaimana mestinya.

Penjelasan singkat tentang folder dan file:

basis

Folder ini memiliki template dengan konfigurasi minimum yang diperlukan oleh setiap komponen apigee. Anda tidak perlu mengubah manifes di folder ini.

overlay

Folder ini berisi template komponen kustomize untuk konfigurasi tambahan

inisialisasi

namespaces.yaml

Namespace tempat komponen bidang data Apigee akan diinstal. Nama namespace default adalah apigee

sertifikat

Berisi resource Issuer dan Certificate yang digunakan untuk menerbitkan sertifikat ke webhook. Juga berisi Issuer yang digunakan untuk menerbitkan sertifikat ke berbagai pod untuk komunikasi TLS.

rbac

Berisi Role, ClusterRole, RoleBinding, dan ClusterRoleBinding yang akan digunakan oleh berbagai komponen.

crds

    Contains the definition of all the CRDs which are used by Apigee.

webhooks

Berisi ValidatingWebhookConfiguration danMutatingWebhookConfiguration yang akan digunakan untuk melakukan validasi pada resource kustom.

masuk

Berisi konfigurasi yang berlaku untuk semua POD Ingress. Mis. Modifikasi header umum, health check, dll.

openshift

Berisi definisi SecurityContextConstraints openshift.

Pengontrol

apigee-controller

apigee-hybrid-config.yaml

Berisi ConfigMap yang disediakan sebagai input di apigee-controller-manager.yaml. ConfigMap ini berisi konfigurasi seperti imageHub, imagePullSecrets, forwardProxy, dan lainnya.

apigee-controller-deployment.yaml

Berisi dua Layanan untuk pengontrol dan webhook, serta Deployment untuk pengontrol. Jika Anda ingin menggunakan image pribadi untuk pengontrol, Anda harus melakukan perubahan di sini.

istiod

Apigee-istio-mesh-config.yaml Berisi konfigurasi mesh untuk Istio yang digunakan oleh Apigee. Hal ini tidak berlaku untuk penginstalan ASM/Istio lainnya di cluster.

apigee-ingressgateway-manager-deployment-patch.yaml

Berisi layanan dan deployment Istiod. Ini adalah istiod pribadi yang hanya digunakan untuk kasus penggunaan Apigee.

instances/{instanceName}

datastore

apigee-datastore.yaml

Berisi resource kustom ApigeeDatastore yang mengelola cassandra.

secrets.yaml

Berisi kredensial default untuk datastore.

redis

apigee-redis.yaml

Berisi resource kustom ApigeeRedis yang mengelola redis.

secrets.yaml

Berisi kredensial default untuk datastore.

organisasi

apigee-organization.yaml

Berisi resource kustom ApigeeOrganization yang mengelola subkomponen lain seperti connectAgent, watcherAndSynchronizer, MART, UDCA, dan Ingress.

secrets.yaml

Berisi Secret yang dirujuk dalam apigee-organization.yaml. Beberapa secret dikomentari karena dihasilkan oleh skrip. Jika Anda menonaktifkan pembuatannya, Anda harus membuatnya secara manual

lingkungan

Berisi semua lingkungan di organisasi Anda. Anda harus membuat folder terpisah untuk setiap lingkungan dengan menyalin folder yang sudah disediakan untuk Anda dan mengonfigurasinya sesuai persyaratan.

dev

apigee-environment.yaml

Berisi resource kustom ApigeeEnvironment yang mengelola subkomponen lain seperti runtime.

secrets.yaml

Berisi Secret yang dirujuk dalam apigee-environment.yaml. Beberapa secret dikomentari karena dihasilkan oleh skrip. Jika menonaktifkan pembuatannya, Anda harus membuatnya secara manual

telemetri

apigee-telemetry.yaml

Berisi resource kustom ApigeeTelemetry.

secrets.yaml

Berisi Secret yang dirujuk dalam apigee-telemetry.yaml. Beberapa secret dikomentari karena dihasilkan oleh skrip. Jika Anda menonaktifkan pembuatannya, Anda harus membuatnya secara manual

route-config

dev-envgroup

apigee-route-config.yaml

Berisi resource kustom ApigeeRouteConfig.

secrets.yaml

Berisi Secret yang dirujuk dalam apigee-route-config.yaml. Bagian ini dikomentari karena dibuat secara otomatis oleh skrip apigee-hybrid-setup.sh dan disimpan di sana untuk memberikan contoh tampilan secret jika Anda membuatnya secara manual.

diagnostik

diagnostic-collector.yaml

Resource yang akan digunakan untuk menampilkan deployment diagnostik

alat

apigee-hybrid-setup.sh

apigee-create-service-account.sh

dump-kubernetes.sh

apigee-pull-push.sh

Menyimpan kunci akun layanan di repositori eksternal

Vault (oleh Hashicorp) adalah sistem pengelolaan secret yang populer dan memiliki beberapa integrasi dengan secret store yang disediakan oleh Google, Azure, AWS, dan lainnya. Hashicorp Vault memungkinkan Anda mengambil secret dari sumber eksternal, lalu menggunakannya dalam resource Kubernetes. Ada beberapa cara untuk menggunakan Vault guna mendapatkan secret. Langkah-langkah berikut akan berfungsi sebagai contoh dasar tentang cara menggunakan Penyedia CSI Vault untuk memasang kunci akun layanan Google Cloud yang disimpan di beberapa mesin secret yang disediakan oleh Vault.

---

Catatan: Dalam contoh ini, kita menginstal Vault dalam mode developer untuk tujuan pengujian. Untuk sistem produksi yang sebenarnya, Anda dapat menginstal helm dengan salah satu mode lain yang tercantum di sini. Untuk mengetahui langkah-langkah mendetail tentang cara menginstal Vault untuk kasus penggunaan produksi, lihat Panduan Deployment Vault di Kubernetes | Vault.

---

1. Kita akan menggunakan Helm untuk menginstal resource terkait Vault di cluster Anda. Ikuti langkah-langkah di Menginstal Helm tentang cara menyiapkan helm di sistem Anda.

2. Ikuti langkah-langkah di Menginstal diagram Helm Vault, yaitu:

   1. Menambahkan repositori Hashicorp ke helm

      helm repo add hashicorp https://helm.releases.hashicorp.com
      

   2. Memperbarui repositori helm

      helm repo update
      

   3. Menginstal Vault

      helm install vault hashicorp/vault \
      --set "server.dev.enabled=true" \
      --set "injector.enabled=false" \
      --set "csi.enabled=true"
      

3. Sekarang kita akan menyimpan secret di dalam Vault.

   1. Mendapatkan shell di dalam pod dev vault

      kubectl exec -it vault-0 -- /bin/sh
       ```
      

   2. Kita akan menggunakan mesin secret kunci/nilai untuk menyimpan data dalam contoh ini.

      vault kv put secret/runtime-gcp-sa-key key="${BASE_64_ENCODED_KEY}"
      

   3. Untuk memverifikasi bahwa kunci berhasil disimpan, gunakan:

      vault kv get secret/runtime-gcp-sa-key
      

4. Siapkan autentikasi untuk mengizinkan pod runtime mengambil kunci. Seperti yang telah dibahas di Akun layanan Kubernetes, akun layanan Kubernetes memberikan identitas ke pod dan memungkinkannya mengautentikasi dengan sistem lain.

   1. Mendapatkan shell di dalam pod dev vault

      kubectl exec -it vault-0 -- /bin/sh
      

   2. Mengaktifkan metode autentikasi kubernetes

      vault auth enable kubernetes
      

   3. Menulis konfigurasi autentikasi

      vault write auth/kubernetes/config \
      issuer="https://kubernetes.default.svc.cluster.local" \
      token_reviewer_jwt="$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)" \
      kubernetes_host="https://$KUBERNETES_PORT_443_TCP_ADDR:443" \
      kubernetes_ca_cert=@/var/run/secrets/kubernetes.io/serviceaccount/ca.crt \
      disable_iss_validation=true
      

   4. Membuat kebijakan autentikasi

      vault policy write apigee-runtime-app - <<EOF
      path "secret/data/runtime-gcp-sa-key" {
      capabilities = ["read"]
      }
      EOF
      

   5. Mengikat kebijakan dengan akun layanan

      vault write auth/kubernetes/role/apigee-runtime-role \
      bound_service_account_names=apigee-runtime-sa \
      bound_service_account_namespaces=${APIGEE_NAMESPACE} \
      policies=apigee-runtime-app \
      ttl=20m
      

   Di sini, kita mengasumsikan bahwa akun layanan berada di dalam namespace apigee. Jika memiliki beberapa namespace lain untuk menginstal apigee, Anda akan menggunakan nama tersebut.

   1. Keluar dari shell di dalam vault-0

      exit
      

5. Menginstal driver CSI secret store

   # Add repo to helm
   helm repo add secrets-store-csi-driver https://raw.githubusercontent.com/kubernetes-sigs/secrets-store-csi-driver/master/charts
   # Install driver in cluster
   helm install csi secrets-store-csi-driver/secrets-store-csi-driver
   

6. Buat resource kubernetes SecretProviderClass yang mereferensikan secret yang Anda buat di dalam vault

   cat > spc-vault.yaml <<EOF
   apiVersion: secrets-store.csi.x-k8s.io/v1alpha1
   kind: SecretProviderClass
   metadata:
   name: vault-apigee-runtime-gcp-sa-key
   spec:
   provider: vault
   parameters:
     vaultAddress: "http://vault.default:8200"
     roleName: "apigee-runtime-role"
     objects: |
       - objectName: "client_secret.json"
         secretPath: "secret/data/runtime-gcp-sa-key"
         secretKey: "key"
   EOF
   

7. Terapkan yaml

   kubectl apply -f spc-vault.yaml
   

8. Buat akun layanan kubernetes yang izinnya telah kita tetapkan di langkah (4.e)

   kubectl create serviceaccount -n ${APIGEE_NAMESPACE} apigee-runtime-sa
   

9. Ubah file apigee-environment.yaml untuk lingkungan dan tambahkan baris berikut:

   apiVersion: apigee.cloud.google.com/v1alpha2
   kind: ApigeeEnvironment
   # existing content
   spec:
   name: {ENV_NAME}
   organizationRef: {ORG_NAME}
   components:
    runtime:
   # existing content
      pod
      containers:
      - name: apigee-runtime
        podServiceAccountName: apigee-runtime-sa
   # existing content
        volumeMounts:
        - name: secrets-store-inline
          mountPath: "/opt/apigee/sa"
          readOnly: true
      volumes:
      - name: secrets-store-inline
        csi:
          driver: secrets-store.csi.k8s.io
          readOnly: true
          volumeAttributes:
            secretProviderClass: "vault-apigee-runtime-gcp-sa-key"
   

10. Terapkan perubahan:

    kubectl apply -k ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/environments/$ENV_NAME
    

Upgrade Apigee Hybrid

---

Catatan: - Prosedur ini mencakup upgrade antarversi hybrid yang mendukung model penginstalan baru. Panduan ini tidak mencakup migrasi dari pengalaman apigeectl ke model penginstalan baru.

---

Anda harus telah menyelesaikan semua persyaratan yang disebutkan di Prasyarat. Selain itu, sebaiknya Anda melakukan mulai ulang bertahap semua komponen untuk memeriksa apakah cluster berfungsi dengan baik. Urutan mulai ulang adalah Cassandra, Redis, ApigeeOrganization, dan ApigeeEnvironment.

Membuat Cadangan

1. Buat salinan cadangan penyiapan hybrid saat ini. Pencadangan akan diperlukan jika Anda perlu melakukan rollback upgrade kembali ke versi saat ini.

   tar -czvf apigee-hybrid-install.v-X.Y.Z.tar.gz $HYBRID_INSTALL_BASE_DIR
   

2. Membuat cadangan database cassandra. Pencadangan Cassandra adalah langkah penting untuk melindungi dari skenario bencana.

Mengupgrade platform Kubernetes jika diperlukan

Langkah ini tidak diperlukan setiap saat, tetapi Anda harus mengupgrade platform Kubernetes seperti kubernetes, openshift, dan komponen seperti cert-manager, cassandra, dll. jika tidak lagi didukung oleh apigee hybrid versi yang lebih baru. Dokumentasi akan berisi versi yang didukung untuk platform dan komponen.

Mendownload file penyiapan

Download repositori dan ganti folder bases dan tools di penyiapan hybrid apigee yang ada dengan yang lebih baru:

1. Clone tag pratinjau-1 repositori GitHub di https://github.com/apigee/apigee-hybrid-install/releases/tag/preview-1

   Repositori yang di-clone akan memiliki struktur yang menyerupai struktur yang dijelaskan dalam Struktur Folder Penyiapan Apigee Hybrid:

2. ganti folder inisialisasi, alat, dan pengontrol di penyiapan hybrid apigee yang ada.

   export HYBRID_INSTALL_HOME=PATH_TO_PREVIOUS_HYBRID_INSTALL_DIRECTORY
   mv -f bases $HYBRID_INSTALL_HOME/bases
   mv -f tools $HYBRID_INSTALL_HOME/tools
   

Memperbarui izin akun layanan jika diperlukan

Langkah ini juga tidak diperlukan setiap saat, tetapi Anda harus membuat akun layanan baru atau memperbarui izin akun layanan yang ada jika diperlukan. Panduan upgrade akan memberikan detail tentang akun layanan yang perlu diubah atau dibuat dan peran yang perlu ditambahkan.

• Jika Anda perlu mengubah izin akun layanan yang ada, gunakan perintah gcloud yang sesuai. Panduan upgrade akan memiliki perintah dan peran mendetail yang perlu ditambahkan.

  gcloud projects add-iam-policy-binding $PROJECT_ID \
    --member="serviceAccount:apigee-component@$PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/$NEW_ROLE"
  

• Jika versi hybrid apigee yang lebih baru mungkin memerlukan akun layanan tambahan untuk komponen baru / yang ada, Anda harus membuatnya. Anda dapat menggunakan skrip apigee-create-service-account.sh yang dikirim dalam folder alat untuk membuat akun layanan baru. Karena skrip akan diperbarui sebagai bagian dari langkah 4, skrip tersebut akan memiliki detail dan profil baru yang diperlukan untuk akun layanan baru yang perlu dibuat.

  Nama akun layanan yang baru dibuat harus direferensikan dalam CR komponen yang sesuai.

  ./tools/create-service-account --env prod --profile apigee-component
  

Mengupgrade pengontrol

Ubah kolom versi untuk komponen yang tercantum di ${INSTALL_DIR}/overlays/instances/$INSTANCE_DIR/kustomization.yaml ke versi campuran yang relevan.

Berikut adalah contoh file $INSTALL_DIR/overlays/instances/$INSTANCE_DIR/kustomization.yaml. Nilai kolom versi harus diperbarui ke versi yang relevan

resources:
- datastore/
- environments/
- organization/
- redis/
- route-config/
- telemetry/

patches:
- target:
    group: apigee.cloud.google.com
    version: v1alpha1
    kind: ApigeeDatastore
  patch: |-
    - op: add
      path: /spec/version
      value: 1-6-1 (Modify the version)
- target:
    group: apigee.cloud.google.com
    version: v1alpha2
    kind: ApigeeEnvironment
  patch: |-
    - op: add
      path: /spec/version
      value: 1-6-1 (Modify the version)

Ikuti rangkaian langkah yang sama seperti yang diberikan di Membuat resource dan pengontrol inisialisasi dalam alur kerja penginstalan Apigee Hybrid. Anda dapat menggunakan skrip atau mengikuti langkah-langkah manual yang disediakan untuk mengupgrade resource dan pengontrol inisialisasi.

Mengupdate komponen Kubernetes Apigee

Anda harus melakukan perubahan berikut: - Jika ada perubahan arsitektur atau pengenalan kolom baru atau penghentian penggunaan kolom lama, Anda harus mengubah CR dengan perubahan yang sesuai sesuai dengan petunjuk yang diberikan dalam panduan upgrade. - Minimal, Anda perlu memperbarui kolom versi dalam CR (yang akan menunjukkan versi apigee hybrid yang diinstal) ke versi apigee hybrid yang lebih baru.

Terapkan perubahan untuk CR apigee. Untuk lingkungan non-prod, Anda dapat menerapkan semua perubahan ke komponen apigee secara bersamaan

kubectl apply -f ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}

Rollback Apigee Hybrid

1. Memulihkan apigee-hybrid-setup

   Berpindahlah ke direktori yang berisi penyiapan Apigee hybrid versi sebelumnya. Jika tidak tersedia, pulihkan dari file zip yang dibuat di langkah 1[link] selama upgrade hybrid apigee.

2. Melakukan rollback komponen Kubernetes

   Menerapkan perubahan untuk CR apigee

   kubectl apply -k ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}
   

3. Pengontrol rollback

   Ikuti kumpulan langkah yang sama yang disediakan membuat resource dan pengontrol inisialisasi dalam alur kerja penginstalan Apigee Hybrid. Anda dapat menggunakan skrip atau mengikuti langkah-langkah manual yang disediakan untuk melakukan rollback resource dan pengontrol inisialisasi.

4. Pembersihan

   Anda harus membersihkan resource tambahan baru yang dibuat selama upgrade, seperti komponen baru atau akun layanan yang diperkenalkan di versi hybrid yang lebih baru. Semua resource yang perlu dibersihkan dan langkah-langkah untuk membersihkannya akan diberikan dalam panduan upgrade.

Menghapus lingkungan

---

Perhatian: Jika Anda memiliki beberapa lingkungan, pastikan secret apa pun yang Anda hapus tidak direferensikan di lingkungan lain. Untuk memeriksanya, lakukan kubectl get env -n ${APIGEE_NAMESPACE} ${ENV_RESOURCE_NAME} -o yaml, lalu grep resource apa pun yang ingin Anda hapus.

---

Berikut adalah langkah-langkah untuk menghapus semua resource yang terkait dengan lingkungan dari cluster kubernetes Anda:

1. Mendapatkan nama CR lingkungan. Hal ini dapat dilakukan dengan mendapatkan semua lingkungan:

   kubectl get env -n ${APIGEE_NAMESPACE}
   

   Simpan nama resource dalam variabel lingkungan APIGEE_ENV.

2. Hapus kunci enkripsi lingkungan. Misalnya, jika belum mengubah nama kunci enkripsi, Anda dapat menghapusnya menggunakan:

   kubectl delete secret -n ${APIGEE_NAMESPACE} $APIGEE_ENV-encryption-keys
   

3. Hapus secret akun layanan Google Cloud:

   kubectl delete secret -n ${APIGEE_NAMESPACE} $(kubectl get env $APIGEE_ENV -n ${APIGEE_NAMESPACE} -o=jsonpath='{.spec.components.*.appServiceAccountSecretName}')
   

4. Menghapus akun layanan kubernetes:

   kubectl delete secret -n ${APIGEE_NAMESPACE} $(kubectl get env $APIGEE_ENV -n ${APIGEE_NAMESPACE} -o=jsonpath='{.spec.components.*.podServiceAccountName}')
   

5. Hapus resource kustom lingkungan Apigee:

   kubectl -n ${APIGEE_NAMESPACE} delete env $APIGEE_ENV
   

Menghapus penyiapan hybrid

---

Perhatian: Ini adalah tampilan langkah-langkah untuk penginstalan campuran apigee normal, langkah-langkahnya akan sedikit berbeda untuk kasus lanjutan seperti memiliki organisasi kedua dalam cluster yang sama, dll.

---

Berikut adalah langkah-langkah untuk menghapus semua resource yang terkait dengan apigee hybrid dari cluster kubernetes Anda:

1. Anda harus menghapus tugas penyiapan pengguna dan penyiapan skema apigee.

   # To list all jobs in ${APIGEE_NAMESPACE}
   kubectl -n ${APIGEE_NAMESPACE} get jobs
   # To delete all jobs in ${APIGEE_NAMESPACE}
   kubectl -n ${APIGEE_NAMESPACE} delete jobs $(kubectl -n ${APIGEE_NAMESPACE} get jobs -o custom-columns=':.metadata.name')
   

2. Anda harus menghapus komponen platform data campuran apigee yang di-deploy. Gunakan perintah berikut untuk menghapus semua komponen:

   kubectl delete -k ${INSTALL_DIR}/overlays/instances/$INSTANCE_NAME
   

3. Langkah ini hanya diperlukan jika Anda belum mengandalkan nama default untuk secret akun layanan Kubernetes, secret akun layanan Google Cloud, dll. Jika Anda telah mengandalkan nama default, nama tersebut akan dihapus pada langkah berikutnya. Jika tidak, Anda harus menghapusnya secara manual menggunakan perintah berikut:

   kubectl delete secret -n ${APIGEE_NAMESPACE} $(kubectl get ${APIGEE_COMPONENT} ${APIGEE_COMPONENT_NAME} -n ${APIGEE_NAMESPACE} -o=jsonpath='{.spec.components.*.appServiceAccountSecretName}')
   kubectl delete secret -n ${APIGEE_NAMESPACE} $(kubectl get ${APIGEE_COMPONENT} ${APIGEE_COMPONENT_NAME} -n ${APIGEE_NAMESPACE} -o=jsonpath='{.spec.components.*.podServiceAccountName}')
   

4. Untuk OpenShift, Anda harus menghapus scc (Security Context Constraints) yang dibuat selama penginstalan apigee hybrid.

   kubectl delete scc ${SECURITY_CONTEXT_CONSTRAINTS_NAME}
   

5. Jalankan perintah di bawah untuk menghapus peran, penetapan peran, CRD, deployment pengontrol, dll.

   kubectl delete -k ${INSTALL_DIR}/overlays/initialization/ingress
   kubectl delete -k ${INSTALL_DIR}/overlays/initialization/rbac
   kubectl delete -k ${INSTALL_DIR}/overlays/initialization/webhooks
   kubectl delete -k ${INSTALL_DIR}/overlays/initialization/crds
   kubectl delete -k ${INSTALL_DIR}/overlays/initialization/certificates
   

6. Jalankan perintah di bawah untuk menghapus namespace apigee

   kubectl delete -f ${INSTALL_DIR}/overlays/initialization/namespace.yaml
   

   Atau, gunakan perintah:

   kubectl delete $APIGEE_NAMESPACE
   

Penginstalan Multi-Instance

Penyiapan multi-instance mengacu pada penyiapan campuran yang dapat mencakup beberapa region atau juga dalam region yang sama. Apigee merekomendasikan untuk mengatur konfigurasi instance ke-2 dalam struktur direktori terpisah karena konfigurasi lingkungan (replika,dll.) selalu berbeda di antara instance. Konfigurasi setiap instance dipisahkan dan diatur secara independen dalam struktur folder masing-masing.

Misalnya - Untuk penyiapan Aktif-Pasif dalam skenario multi-region, Anda dapat mengonfigurasi region ke-2 dalam standby hangat dengan ukuran dan konfigurasi yang berbeda.

Dalam struktur folder di bawah, Anda dapat membuat salinan direktori instance1 yang disebut instance2 dan mengubah konfigurasi datastore dan ingress sesuai kebutuhan.

Struktur folder apigee-hybrid-setup untuk penyiapan multi-instance.]

.
├── bases
│   ├── controllers
│   │   ├── apigee-controller
│   │   │   ├── apigee-controller-deployment.yaml
│   │   │   └── kustomization.yaml
│   │   └── istiod
│   │       ├── apigee-ingressgateway-manager-deployment.yaml
│   │       └── kustomization.yaml
│   └── initialization
│       ├── certificates
│       │   ├── certificates-and-issuers.yaml
│       │   └── kustomization.yaml
│       ├── crds
│       │   ├── customresourcedefinition-apigeedatastores.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeedeployments.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeenvironments.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeorganizations.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeredis.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeerouteconfigs.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeeroutes.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-apigeetelemetries.apigee.cloud.google.com.yaml
│       │   ├── customresourcedefinition-cassandradatareplications.apigee.cloud.google.com.yaml
│       │   └── kustomization.yaml
│       ├── ingress
│       │   ├── envoyfilter-1.11.yaml
│       │   └── kustomization.yaml
│       ├── openshift
│       │   ├── kustomization.yaml
│       │   └── scc.yaml
│       ├── rbac
│       │   ├── apigee-controller
│       │   │   ├── kustomization.yaml
│       │   │   └── rbac.yaml
│       │   └── apigee-embedded-ingress-controller
│       │       ├── cluster-role-bindings.yaml
│       │       ├── cluster-roles.yaml
│       │       ├── kustomization.yaml
│       │       └── service-account.yaml
│       └── webhooks
│           ├── kustomization.yaml
│           ├── mutatingwebhookconfiguration.yaml
│           └── validatingwebhookconfiguration.yaml
├── instances
│   └── instance1 (Add the 2nd instance under instances directory similar to instance1)
│       ├── datastore
│       │   ├── apigee-datastore.yaml
│       │   ├── components
│       │   │   ├── http-proxy
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   ├── imagepullsecret
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   ├── nodeselector
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   └── workload-identity
│       │   │       ├── apigee-workload-identities.yaml
│       │   │       ├── kustomization.yaml
│       │   │       └── patch.yaml
│       │   ├── kustomization.yaml
│       │   └── secrets.yaml
│       ├── environments
│       │   ├── kustomization.yaml
│       │   └── test
│       │       ├── apigee-environment.yaml
│       │       ├── components
│       │       │   ├── http-proxy
│       │       │   │   ├── kustomization.yaml
│       │       │   │   └── patch.yaml
│       │       │   ├── imagepullsecret
│       │       │   │   ├── kustomization.yaml
│       │       │   │   └── patch.yaml
│       │       │   ├── nodeselector
│       │       │   │   ├── kustomization.yaml
│       │       │   │   └── patch.yaml
│       │       │   └── workload-identity
│       │       │       ├── apigee-workload-identities.yaml
│       │       │       ├── kustomization.yaml
│       │       │       └── patch.yaml
│       │       ├── kustomization.yaml
│       │       └── secrets.yaml
│       ├── kustomization.yaml
│       ├── organization
│       │   ├── apigee-organization.yaml
│       │   ├── components
│       │   │   ├── http-proxy
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   ├── imagepullsecret
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   ├── nodeselector
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   └── workload-identity
│       │   │       ├── apigee-workload-identities.yaml
│       │   │       ├── kustomization.yaml
│       │   │       └── patch.yaml
│       │   ├── kustomization.yaml
│       │   └── secrets.yaml
│       ├── redis
│       │   ├── apigee-redis.yaml
│       │   ├── components
│       │   │   ├── imagepullsecret
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   ├── nodeselector
│       │   │   │   ├── kustomization.yaml
│       │   │   │   └── patch.yaml
│       │   │   └── workload-identity
│       │   │       ├── apigee-workload-identities.yaml
│       │   │       ├── kustomization.yaml
│       │   │       └── patch.yaml
│       │   ├── kustomization.yaml
│       │   └── secrets.yaml
│       ├── route-config
│       │   ├── kustomization.yaml
│       │   └── test-env-group
│       │       ├── apigee-route-config.yaml
│       │       ├── components
│       │       │   ├── http-and-non-sni-client
│       │       │   │   ├── apigee-route.yaml
│       │       │   │   └── kustomization.yaml
│       │       │   ├── http-client
│       │       │   │   ├── apigee-route.yaml
│       │       │   │   └── kustomization.yaml
│       │       │   └── non-sni-client
│       │       │       ├── apigee-route.yaml
│       │       │       └── kustomization.yaml
│       │       └── kustomization.yaml
│       └── telemetry
│           ├── apigee-telemetry.yaml
│           ├── components
│           │   ├── http-proxy
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   ├── imagepullsecret
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   ├── logger
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   ├── metrics
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   ├── nodeselector
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   ├── workload-identity-logger
│           │   │   ├── apigee-workload-identities.yaml
│           │   │   ├── kustomization.yaml
│           │   │   └── patch.yaml
│           │   └── workload-identity-metrics
│           │       ├── apigee-workload-identities.yaml
│           │       ├── kustomization.yaml
│           │       └── patch.yaml
│           └── kustomization.yaml
├── overlays
│   ├── controllers
│   │   ├── apigee-controller
│   │   │   ├── apigee-hybrid-config.yaml
│   │   │   ├── components
│   │   │   │   ├── imagepullsecret
│   │   │   │   │   ├── kustomization.yaml
│   │   │   │   │   └── patch.yaml
│   │   │   │   └── nodeselector
│   │   │   │       ├── kustomization.yaml
│   │   │   │       └── patch.yaml
│   │   │   └── kustomization.yaml
│   │   ├── istiod
│   │   │   ├── apigee-ingressgateway-manager-deployment-patch.yaml
│   │   │   ├── apigee-istio-mesh-config.yaml
│   │   │   ├── components
│   │   │   │   ├── imagepullsecret
│   │   │   │   │   ├── kustomization.yaml
│   │   │   │   │   └── patch.yaml
│   │   │   │   └── nodeselector
│   │   │   │       ├── kustomization.yaml
│   │   │   │       └── patch.yaml
│   │   │   └── kustomization.yaml
│   │   └── kustomization.yaml
│   ├── initialization
│   │   ├── certificates
│   │   │   ├── apigee-ingressgateway-manager-certificate.yaml
│   │   │   └── kustomization.yaml
│   │   ├── crds
│   │   │   └── kustomization.yaml
│   │   ├── ingress
│   │   │   └── kustomization.yaml
│   │   ├── namespace.yaml
│   │   ├── openshift
│   │   │   ├── kustomization.yaml
│   │   │   └── scc.yaml
│   │   ├── rbac
│   │   │   ├── apigee-controller
│   │   │   │   └── kustomization.yaml
│   │   │   ├── apigee-embedded-ingress-controller
│   │   │   │   └── kustomization.yaml
│   │   │   └── kustomization.yaml
│   │   └── webhooks
│   │       ├── kustomization.yaml
│   │       ├── mutatingwebhookconfiguration.yaml
│   │       └── validatingwebhookconfiguration.yaml
│   └── instances
│       └── instance1
│           ├── datastore
│           │   ├── apigee-datastore.yaml
│           │   ├── components
│           │   │   ├── http-proxy
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── openshift-scc
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── scc.yaml
│           │   │   └── workload-identity
│           │   │       ├── apigee-workload-identities.yaml
│           │   │       ├── kustomization.yaml
│           │   │       └── patch.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── environments
│           │   ├── kustomization.yaml
│           │   └── test
│           │       ├── apigee-environment.yaml
│           │       ├── components
│           │       │   ├── http-proxy
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   ├── imagepullsecret
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   ├── nodeselector
│           │       │   │   ├── kustomization.yaml
│           │       │   │   └── patch.yaml
│           │       │   └── workload-identity
│           │       │       ├── apigee-workload-identities.yaml
│           │       │       ├── kustomization.yaml
│           │       │       └── patch.yaml
│           │       ├── kustomization.yaml
│           │       └── secrets.yaml
│           ├── kustomization.yaml
│           ├── organization
│           │   ├── apigee-organization.yaml
│           │   ├── components
│           │   │   ├── http-proxy
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   └── workload-identity
│           │   │       ├── apigee-workload-identities.yaml
│           │   │       ├── kustomization.yaml
│           │   │       └── patch.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── redis
│           │   ├── apigee-redis.yaml
│           │   ├── components
│           │   │   ├── imagepullsecret
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   ├── nodeselector
│           │   │   │   ├── kustomization.yaml
│           │   │   │   └── patch.yaml
│           │   │   └── workload-identity
│           │   │       ├── apigee-workload-identities.yaml
│           │   │       ├── kustomization.yaml
│           │   │       └── patch.yaml
│           │   ├── kustomization.yaml
│           │   └── secrets.yaml
│           ├── route-config
│           │   ├── kustomization.yaml
│           │   └── test-envgroup
│           │       ├── apigee-route-config.yaml
│           │       ├── components
│           │       │   ├── http-and-non-sni-client
│           │       │   │   ├── apigee-route.yaml
│           │       │   │   └── kustomization.yaml
│           │       │   ├── http-client
│           │       │   │   ├── apigee-route.yaml
│           │       │   │   └── kustomization.yaml
│           │       │   └── non-sni-client
│           │       │       ├── apigee-route.yaml
│           │       │       └── kustomization.yaml
│           │       └── kustomization.yaml
│           └── telemetry
│               ├── apigee-telemetry.yaml
│               ├── components
│               │   ├── http-proxy
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── imagepullsecret
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── logger
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── metrics
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── nodeselector
│               │   │   ├── kustomization.yaml
│               │   │   └── patch.yaml
│               │   ├── openshift-scc
│               │   │   ├── kustomization.yaml
│               │   │   └── scc.yaml
│               │   ├── workload-identity-logger
│               │   │   ├── apigee-workload-identities.yaml
│               │   │   └── kustomization.yaml
│               │   └── workload-identity-metrics
│               │       ├── apigee-workload-identities.yaml
│               │       ├── kustomization.yaml
│               │       └── patch.yaml
│               └── kustomization.yaml
├── README.md
├── templates
│   ├── ingress-certificate.yaml
│   ├── ingress-cert-secret.yaml
│   └── service-account-key-secret.yaml
└── tools
    ├── apigee-hybrid-setup.sh
    ├── common.sh
    ├── create-service-account.sh
    └── dump_kubernetes.sh

Penyiapan Multi-Instance di GKE

Prasyarat

Sebelum mengonfigurasi beberapa instance hybrid, Anda diharapkan telah menyelesaikan prasyarat berikut:

• Menyiapkan cluster Kubernetes di beberapa region(sama atau berbeda) dengan blok CIDR yang berbeda
• Menyiapkan komunikasi lintas region
• Buka port Cassandra 7000 dan 7001 di antara cluster Kubernetes di semua region (7000 dapat digunakan sebagai opsi cadangan selama pemecahan masalah). Lihat juga Mengonfigurasi port.

---

Catatan: Apigee merekomendasikan agar Anda memastikan waktu server Anda disinkronkan. Beberapa fitur seperti masa berlaku dan pencabutan token bergantung pada waktu sistem yang akurat. Jika Anda menghosting komponen runtime di data center yang berbeda, pastikan waktu sistem disinkronkan.

Anda dapat menggunakan alat seperti ntpdate untuk memverifikasi bahwa waktu server disinkronkan.

---

Mengonfigurasi host seed multi-region

1. Buat salinan folder $INSTANCE_NAME dari instance yang ada dan tambahkan di folder instance.
2. Ubah nilai kolom namespace jika berbeda dengan namespace instance1.
3. Ikuti langkah-langkah yang ditentukan dalam Menentukan sertifikat TLS ingress untuk mengubah konfigurasi ingress untuk instance lainnya.

4. Lihat Mengelola gateway ingress Apigee untuk mengetahui informasi tentang cara mengonfigurasi IP load balancer untuk instance lainnya

   ---

   Catatan: Sebaiknya jangan ubah konfigurasi komponen lainnya kecuali yang tercantum dalam langkah-langkah mendatang.

   ---

5. Tetapkan konteks kubectl ke cluster asli sebelum mengambil nama seed

   kubectl config use-context original-cluster-name
   

6. Jalankan perintah kubectl berikut untuk mengidentifikasi alamat host seed untuk Cassandra di region saat ini.

   kubectl get pods -o wide -n apigee -l app=apigee-cassandra
   

7. Setiap IP Pod yang ditampilkan dari perintah sebelumnya dapat dianggap sebagai host seed multi-region.

8. Pada instance ke-2, konfigurasikan nilai multiRegionSeedHost di CR datastore apigee di ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/datastore/apigee-datastore.yaml

Menyiapkan instance baru

1. Menetapkan konteks ke cluster yang ada

   kubectl config use-context existing-cluster-name
   

2. Mengekspor secret apigee-ca ke file

   kubectl -n cert-manager get secret apigee-root-certificate -o yaml > apigee-root-certificate.yaml
   

3. Tetapkan konteks ke nama cluster region baru:

   kubectl config use-context NEW_CLUSTER_NAME
   

4. Mengimpor secret ke cluster baru

   kubectl -n cert-manager apply -f apigee-root-certificate.yaml
   

5. Instal hybrid di instance (region) baru dengan mengikuti langkah-langkah yang diuraikan dalam Membuat resource dan pengontrol inisialisasi.

6. Siapkan Cassandra di semua pod di pusat data baru. Dapatkan apigeeorg dari cluster dengan perintah berikut:

   kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name"
   

7. Buat file resource khusus (YAML) replikasi data cassandra. File dapat bernama apa saja. Dalam contoh berikut, file akan memiliki nama datareplication.yaml. File harus berisi hal berikut

   apiVersion: apigee.cloud.google.com/v1alpha1
   kind: CassandraDataReplication
   metadata:
   name: REGION_EXPANSION
   namespace: NAMESPACE
   spec:
   organizationRef: APIGEEORG_VALUE
   force: false
   source:
     region: SOURCE_REGION
   

   Dengan keterangan:

   • REGION_EXPANSION adalah nama yang Anda berikan untuk metadata ini. Anda dapat memilih nama seperti "cassandra-data-replication"
   • NAMESPACE adalah namespace yang sama dengan yang dipilih untuk instance ke-2. Nama ini biasanya "apigee".
   • APIGEEORG_VALUE adalah output nilai dari perintah kubectl get apigeeorg -n apigee -o json | jq ".items[].metadata.name" di langkah sebelumnya.
   • SOURCE_REGION adalah nilai dari nilai datacenter cassandra dari status nodetool dari cluster sumber.

8. Terapkan CassandraDataReplication dengan perintah berikut:

   kubectl apply -f datareplication.yaml
   

9. Verifikasi status build ulang menggunakan perintah berikut.

   ---

   Catatan: Operasi pembuatan ulang dapat memerlukan waktu hingga beberapa jam, bergantung pada ukuran data.

   ---

   kubectl -n apigee get apigeeds -o json | jq ".items[].status.cassandraDataReplication"
   

   Hasilnya akan terlihat seperti

   {
   "rebuildDetails": {
     "apigee-cassandra-default-0": {
       "state": "complete",
       "updated": 1623105760
     },
     "apigee-cassandra-default-1": {
       "state": "complete",
       "updated": 1623105765
     },
     "apigee-cassandra-default-2": {
       "state": "complete",
       "updated": 1623105770
     }
   },
   "state": "complete",
   "updated": 1623105770
   }
   

10. Verifikasi proses build ulang dari log. Selain itu, verifikasi ukuran data menggunakan perintah status nodetool:

    kubectl logs apigee-cassandra-default-0 -f -n apigee
    

    Lihat datastore/secrets.yaml untuk JMX_user dan JMX_password

    kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password status
    

11. Hapus multiRegionSeedHost dari CR datastore apigee dan jalankan perintah di bawah untuk menerapkan perubahan

    kubectl apply k apply -k ${INSTALL_DIR}/overlays/instances/${INSTANCE_DIR}/datastore
    

12. Memeriksa status cluster Cassandra

    Perintah berikut berguna untuk melihat apakah penyiapan cluster berhasil di dua pusat data. Perintah ini memeriksa status nodetool untuk kedua region.

    kubectl exec apigee-cassandra-default-0 -n apigee  -- nodetool -u JMX_user -pw JMX_password status
    
    

    Datacenter: us-central1
    =======================
    Status=Up/Down
    |/ State=Normal/Leaving/Joining/Moving
    --  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
    UN  10.12.1.45  112.09 KiB  256          100.0%            3c98c816-3f4d-48f0-9717-03d0c998637f  ra-1
    UN  10.12.4.36  95.27 KiB  256          100.0%            0a36383d-1d9e-41e2-924c-7b62be12d6cc  ra-1
    UN  10.12.5.22  88.7 KiB   256          100.0%            3561f4fa-af3d-4ea4-93b2-79ac7e938201  ra-1
    Datacenter: us-west1
    ====================
    Status=Up/Down
    |/ State=Normal/Leaving/Joining/Moving
    --  Address     Load       Tokens       Owns (effective)  Host ID                               Rack
    UN  10.0.4.33   78.69 KiB  256          100.0%               a200217d-260b-45cd-b83c-182b27ff4c99  ra-1
    UN  10.0.0.21   78.68 KiB  256          100.0%               9f3364b9-a7a1-409c-9356-b7d1d312e52b  ra-1
    UN  10.0.1.26   15.46 KiB  256          100.0%               1666df0f-702e-4c5b-8b6e-086d0f2e47fa  ra-1
    

Pemecahan masalah

Panduan Dukungan, Diagnosis, & Pemecahan Masalah

https://cloud.google.com/apigee/docs/api-platform/troubleshoot/playbooks/troubleshooting-apigee-hybrid.

Pembersihan Manual setelah menggunakan forceDelete dalam penyiapan Apigee Hybrid multi-Region

• Dalam contoh berikut, ada 2 region - us-east1 dan us-west1.
• Di region us-west1, datastore apigee dihapus menggunakan penghapusan paksa.
• Di region us-east1, cassandra masih aktif dan berjalan.

• Memverifikasi bahwa apigeeds dihapus menggunakan perintah

  kubectl get apigeeds -n apigee
  No resources found in apigee namespace.
  

• Ubah konteks kubectl ke region lain tempat cluster cassandra masih aktif dan berjalan (di sini us-east1).

• Memverifikasi datastore dalam status berjalan

  kubectl get apigeeds -n apigee
  NAME      STATE     AGE
  default      running    23h
  

• Exec ke salah satu pod cassandra di region up (di sini us-east1)

  kubectl exec -it -n apigee apigee-cassandra-default-0 -- bash
  apigee@apigee-cassandra-default-0:~$
  

• Periksa status nodetool, status ini akan menampilkan semua node yang nonaktif di region yang dihapus (di sini us-west1)

  apigee@apigee-cassandra-default-0:~$ nodetool -u ${APIGEE_JMX_USER} -pw ${APIGEE_JMX_PASSWORD} status
  

  Datacenter: us-east1
  ====================
  Status=Up/Down
  |/ State=Normal/Leaving/Joining/Moving
  --     Address         Load           Tokens   Owns    Host ID                                                           Rack
  UN  10.52.0.212   685.01 KiB  256          ?         e1aa61e3-4eae-4549-9b58-506d495d87ab   ra-1
  UN  10.52.0.72     606.75 KiB  256          ?         477dfc03-f93e-40ea-810a-d15769822ad5     ra-1
  UN  10.52.0.104   648.3 KiB    256          ?         a8854cff-c2e3-4f0c-a342-e692787efcab        ra-1
  Datacenter: us-west1
  ====================
  Status=Up/Down
  |/ State=Normal/Leaving/Joining/Moving
  --     Address         Load             Tokens   Owns     Host ID                                                           Rack
  DN  10.60.0.143   567.06 KiB    256          ?           355d6ace-ab77-42cb-8138-9993bfd62d0e    ra-1
  DN  10.60.0.40     535.99 KiB    256          ?           4ed2c903-ff56-40fa-a15e-80a3de3cb22d      ra-1
  DN  10.60.0.17     573.08 KiB    256          ?           f9a50d19-c04a-4d0d-a088-612384bed9f5     ra-1
  

• Menghapus semua node di region yang dihapus (di sini us-west1)

  apigee@apigee-cassandra-default-0:~$ nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD removenode 355d6ace-ab77-42cb-8138-9993bfd62d0e
  apigee@apigee-cassandra-default-0:~$ nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD removenode 4ed2c903-ff56-40fa-a15e-80a3de3cb22d
  apigee@apigee-cassandra-default-0:~$ nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD removenode f9a50d19-c04a-4d0d-a088-612384bed9f5
  

• Pastikan tidak ada node dari region yang dihapus (di sini us-west1) yang tersisa

  apigee@apigee-cassandra-default-0:~$ nodetool -u $APIGEE_JMX_USER -pw $APIGEE_JMX_PASSWORD status
  
  

  Datacenter: us-east1
  ====================
  Status=Up/Down
  |/ State=Normal/Leaving/Joining/Moving
  --     Address         Load             Tokens  Owns   Host ID                                                           Rack
  UN  10.52.0.212   699.71 KiB    256          ?        e1aa61e3-4eae-4549-9b58-506d495d87ab  ra-1
  UN  10.52.0.72     586.77 KiB    256          ?        477dfc03-f93e-40ea-810a-d15769822ad5    ra-1
  UN  10.52.0.104   623.6 KiB      256          ?        a8854cff-c2e3-4f0c-a342-e692787efcab       ra-1
  

• Setelah selesai, hapus tugas penyiapan pengguna di region up (di sini us-east1). Tugas akan dibuat ulang secara otomatis dalam beberapa detik.

  kubectl get jobs -n apigee
  
  

  ​​NAME                                                                                    COMPLETIONS   DURATION   AGE
  apigee-cassandra-schema-setup-apigee--0d2504c                    0/1           5m54s      5m54s
  apigee-cassandra-user-setup--apigee--0d2504c                          0/1            7s         7s
  
  

  kubectl delete job apigee-cassandra-user-setup--apigee--0d2504c
  

• Menunggu tugas penyiapan pengguna selesai

  kubectl get jobs -n apigee
  

  ​​NAME                                                                                    COMPLETIONS   DURATION   AGE
  apigee-cassandra-schema-setup-apigee--0d2504c                    1/1           5m54s      5m54s
  apigee-cassandra-user-setup--apigee--0d2504c                      1/1           7m                7m
  

• Pastikan keyspace tidak memiliki region yang dihapus.

• Buat pod proses debug cassandra.

  • Ikuti hybrid versi 1.5+, ikuti dokumentasi panduan pemecahan masalah cassandra (misalnya, untuk hybrid 1.5 - link, hybrid 1.6 - link), lalu jalankan ke pod yang dibuat

• Login ke cqlsh di pod proses debug menggunakan perintah

  apigee@cassandra-debug-client:~$ cqlsh apigee-cassandra-default-0.apigee-cassandra-default.apigee.svc.cluster.local -u ddl_user --ssl
  Password:
  

• Memverifikasi bahwa region us-west1 dihapus dari semua ruang kunci

  ddl_user@cqlsh> SELECT * FROM system_schema.keyspaces;
  

  keyspace_name              | durable_writes | replication
  ---------------------------+----------------+-----------------------------------------------------------------------------------
  cache_prince_hybrid_hybrid |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
    rtc_prince_hybrid_hybrid |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
                  system_auth |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
                system_schema |           True |                            {'class': 'org.apache.cassandra.locator.LocalStrategy'}
  quota_prince_hybrid_hybrid |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
    kms_prince_hybrid_hybrid |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
           system_distributed |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
                       system |           True |                            {'class': 'org.apache.cassandra.locator.LocalStrategy'}
                       perses |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
    kvm_prince_hybrid_hybrid |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
                system_traces |           True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'us-east1': '3'}
  (11 rows)