19. Bootstrap cluster admin root

Perkiraan waktu penyelesaian: 7 jam

Pemilik komponen yang dapat dioperasikan: KUB/SERV/OBJ/FILE/PNET

Profil keterampilan: engineer deployment

Panduan ini membuat cluster admin root yang berfungsi sebagai bidang kontrol untuk cluster internal dan cluster infrastruktur org.

19.1. Menyiapkan konfigurasi perutean

Pastikan rute statis telah ditambahkan selama penginstalan server Bootstrapper. Jika rute statis tidak ada, tambahkan rute statis ke bootstrapper:

DATA_CIDR=$(kubectl get cidrclaim -n gpc-system instance-external-cidr -o jsonpath={.spec.ipv4Spec.staticCidrBlocks[0]})
DATA_GATEWAY=$(kubectl get subnetclaims -n root control-plane-subnet -o jsonpath={.status.ipv4SubnetStatus.gateway})
ip route replace ${DATA_CIDR} via ${DATA_GATEWAY}

Rute ini menyediakan akses ke server API cluster admin root dari antarmuka dataplane pada bootstrapper. Untuk mengetahui informasi selengkapnya tentang server API di GDC, lihat Server API global dan per zona.

19.2. Membuat cluster admin root

Perintah berikut membuat cluster admin root dengan tiga node bidang kontrol. Mode tenant default adalah mode multi-tenant.

gdcloud system admin-cluster install -v=3 \
  --tenant-mode=multi \
  --root-admin-node-count=3 \
  --generate-admin-yaml \
  --addon-manager-manifests-set harbor.postgresqlHA.enabled=true \
  --addon-manager-manifests-set harbor.productionEnvironment.enabled=true \
  --addon-manager-manifests-set storage.mode=ontap \
  --addon-manager-manifests-set gpuFeature.enabled=true \
  --addon-manager-manifests-set rootAdmin.controller.adminLBPoolSize=23 \
  --addon-manager-manifests-set rootAdmin.controller.systemLBPoolSize=60 \
  --addon-manager-manifests-set network.noInternalSubnet=false \
  --addon-manager-manifests-set minStage=FEATURE_THRESHOLD

Catatan: Parameter --addon-manager-manifests-set minStage=FEATURE_THRESHOLD tidak diperlukan jika nilai minimum fitur adalah production. Nilai FEATURE_THRESHOLD harus sama dengan nilai yang ditetapkan untuk deployment secara keseluruhan.

Pembuatan cluster admin root memerlukan file konfigurasi untuk CR cluster. Konfigurasi dibuat secara otomatis secara default. Konfigurasi cluster yang disesuaikan juga diizinkan dengan menyetel flag --generate-admin-yaml ke false dan menentukan --admin-yaml-path untuk mengarah ke jalur konfigurasi target.

Setelah penginstalan cluster admin root selesai, kubeconfig cluster admin root akan disimpan di /root/release/root-admin/root-admin-kubeconfig.

Catatan: Internet Protocol versi 6 (IPv6) tersedia untuk cluster admin root secara default setelah bootstrapping selesai.

URL antarmuka pengguna (UI) administrator pengguna dicetak setelah penginstalan cluster. Ingat untuk digunakan dalam operasi selanjutnya. Anda juga dapat mengambilnya menggunakan perintah berikut:

gdcloud system admin-cluster describe

19.3. Men-deploy komponen ke cluster admin root

Perintah berikut men-deploy template siklus proses komponen yang dapat dioperasikan ke cluster admin root.

gdcloud system component deploy --kubeconfig KUBECONFIG --names=* --pivot-from=/root/.kube/config

19.4. Mengonfigurasi gerbang fitur untuk admin root

Peringatan: Ikuti petunjuk di bagian ini hanya jika Anda menetapkan nilai minimum tahap fitur selain production.

Jika Anda memiliki nilai minimum tahap fitur yang berbeda dari production, Anda harus memperbarui gerbang fitur yang sesuai agar cocok dengan nilai minimum, dengan mengikuti OOPS-P0072.

19.5. Mengonfigurasi stub resolver di bootstrapper

Gunakan perintah berikut untuk menyiapkan resolver stub DNS di bootstrapper. Stub resolver ini diperlukan untuk mengakses konsol.

gdcloud system dns install

Konfigurasi ini memastikan bahwa semua nama domain organisasi dapat diselesaikan dari bootstrapper seperti yang ditunjukkan dalam diagram berikut:

19.6. Menetapkan alamat IP iLo

Langkah-langkah berikut menetapkan alamat IP ILO ke static untuk node admin.

  ADMIN_NODE=NODE NAME
  RACK=$(kubectl --kubeconfig KUBECONFIG get servers -n gpc-system $ADMIN_NODE -o jsonpath='{.metadata.labels.system\.private\.gdc\.goog/rack-name}')
  ILO_IP=$(kubectl --kubeconfig KUBECONFIG get servers -n gpc-system $ADMIN_NODE -o jsonpath='{.spec.bmc.ip}')
  ILO_GATEWAY=$(kubectl --kubeconfig KUBECONFIG get subnetclaims -n root $RACK-mgmtsw01-server-bmc-subnet -o jsonpath='{.status.ipv4SubnetStatus.gateway}')
  BMC_CREDS=$(kubectl --kubeconfig KUBECONFIG get servers -n gpc-system $ADMIN_NODE -o jsonpath='{.spec.bmc.credentialsRef.name}')
  ILO_USER=$(kubectl --kubeconfig KUBECONFIG get secrets -n gpc-system $BMC_CREDS -o jsonpath='{.data.username}' | base64 --decode)
  ILO_PASS=$(kubectl --kubeconfig KUBECONFIG get secrets -n gpc-system $BMC_CREDS -o jsonpath='{.data.password}' | base64 --decode)

  echo Target Server: $ADMIN_NODE
  echo ILO IP: $ILO_IP
  echo ILO Gateway: $ILO_GATEWAY
  echo ILO Username: $ILO_USER
  echo ILO Password: $ILO_PASS

Pastikan informasi sebelumnya sudah benar, berdasarkan informasi di cluster. Jalankan perintah berikut jika informasi sebelumnya akurat.

1. Nonaktifkan DHCP.

   curl -k -u ${ILO_USER}:${ILO_PASS} -H "Content-Type: application/json" -H "OData-Version: 4.0" -X PATCH https://${ILO_IP}/redfish/v1/Managers/1/EthernetInterfaces/1 --data '{"DHCPv4": {"DHCPEnabled": false}}' | jq '.'
   

   Hasil yang diharapkan:

   MessageId: iLO.2.15.ResetRequired

2. Konfigurasi alamat IP dan gateway.

   curl -k -u ${ILO_USER}:${ILO_PASS} -H "Content-Type: application/json" -H "OData-Version: 4.0" -X PATCH https://${ILO_IP}/redfish/v1/Managers/1/EthernetInterfaces/1 --data '{"IPv4Addresses":[{"Address":"'${ILO_IP}'","Gateway":"'${ILO_GATEWAY}'","SubnetMask":"255.255.255.0"}],"IPv4StaticAddresses": [{"Address": "'${ILO_IP}'", "Gateway": "'${ILO_GATEWAY}'", "SubnetMask": "255.255.255.0"}]}' | jq .
   

   Hasil yang diharapkan:

   MessageId: Base.1.4.Success

3. Reset pengelola iLO.

   curl -k -u ${ILO_USER}:${ILO_PASS}  -H "Content-Type: application/json" -H "OData-Version: 4.0" https://${ILO_IP}/redfish/v1/Managers/1/Actions/Manager.Reset --data '{"ResetType":"ForceRestart"}' -X POST | jq .
   

   Hasil yang diharapkan:

   MessageId: iLO.2.15.ResetInProgress

4. Pastikan setelan Ethernet telah diterapkan. Jika respons terhenti, reset belum selesai; batalkan perintah curl saat ini, lalu tunggu 20 detik dan coba lagi.

   curl --insecure -u ${ILO_USER}:${ILO_PASS} https://${ILO_IP}/redfish/v1/Managers/1/EthernetInterfaces/1 -X GET | jq .
   

Konfirmasi keberhasilan dengan memverifikasi bahwa respons HTTP untuk setiap langkah cocok dengan hasil yang diharapkan.

Ulangi langkah-langkah sebelumnya untuk semua node admin root yang ada di cluster.

19.7. Membuat konektivitas air gap jaringan OI dan Google Distributed Cloud (GDC)

Bagian ini menjelaskan cara menyediakan file konfigurasi yang digunakan oleh Operations Suite Infrastructure (OI) dan jaringan Distributed Cloud untuk membuat konektivitas.

Langkah-langkah ini memerlukan akses ke beberapa file Distributed Cloud serta konektivitas ke cluster admin root instance Distributed Cloud agar informasi jaringan runtime dapat diambil.

Penting: Jika Anda belum pernah menggunakan program bootstrapping Distributed Cloud, Anda mungkin memerlukan bantuan dari engineer deployment Distributed Cloud untuk mendapatkan akses ke program bootstrapping dan memastikan akses ke Kubernetes API cluster admin root.

19.7.1. Sebelum memulai

Pada tahap proses deployment ini, semua hal berikut harus terpenuhi:

1. Kedua switch OIR telah dikabelkan, diaktifkan, diupgrade ke versi yang sesuai, dan telah menerapkan konfigurasi dasar dan ACL.

2. Kedua firewall OIF telah dikabelkan, diaktifkan, diupgrade ke versi yang sesuai, diaktifkan untuk mode FIPS-CC, dan telah menerapkan konfigurasi dasar.

3. Untuk menyelesaikan penyediaan konektivitas Distributed Cloud secara keseluruhan, instance Distributed Cloud harus menyelesaikan bootstrap jaringan dan berpindah dari cluster jenis ke cluster admin root.

Penting: Langkah-langkah yang memerlukan penggunaan file cellcfg harus tetap diselesaikan meskipun langkah 3 belum sepenuhnya selesai, tetapi cellcfg sudah tersedia. Hal ini memungkinkan switch dikonfigurasi dan siap untuk konektivitas Distributed Cloud. Setelah cluster aktif dan siap sepenuhnya, langkah tambahan diperlukan untuk membuat dan menerapkan kebijakan keamanan firewall.

19.7.2. Menyiapkan lingkungan

Siapkan lingkungan untuk langkah-langkah berikut dengan mengumpulkan informasi berikut dan menetapkan variabel lingkungan.

OI dapat terhubung dengan dua cara: secara lokal atau dari jarak jauh. Koneksi lokal menghubungkan OI ke Distributed Cloud secara langsung menggunakan koneksi fiber antar-rak di pusat data yang sama. Koneksi jarak jauh terhubung ke lokasi yang berbeda menggunakan transportasi jarak jauh. Spesifikasi ini dapat diberikan dalam file interconnect.yaml, yang diperlukan untuk menyediakan konfigurasi interkoneksi Distributed Cloud. File ini berisi semua informasi yang diperlukan untuk mengonfigurasi interkoneksi GDC.

19.7.2.1. Spesifikasi YAML Interconnect

Atribut	Deskripsi	Contoh
zones [ ] peta	Informasi tentang sel Distributed Cloud yang perlu dihubungkan dengan deployment OI. Untuk terhubung ke daftar sel Distributed Cloud, tentukan daftar zones dengan informasi setiap sel Distributed Cloud di setiap zona. Opsi zona	Contoh: zones: - zoneName: kb - uplinkSpeed: 10 localInstanceIDs: 2 remoteInstanceIDs: - 1 - cellCfg: path/to/cellcfg - zoneName: ah - uplinkSpeed: 100 localInstanceIDs: 3 - cellCfg: path/to/cellcfg

19.7.2.2. Opsi zona

Membawa informasi tentang sel Distributed Cloud dalam file interconnect.yaml:

Atribut	Deskripsi	Penggunaan
zoneName string	Singkatan sel Distributed Cloud yang harus dihubungkan oleh deployment OI.	zones: - zoneName: kb
uplinkSpeed uint32	(Opsional) Memberikan kecepatan uplink koneksi: (10 atau 100).	Nilai:10, 100 Default: 10 uplinkSpeed: 100
localInstance int	InstanceID situs deployment OI dari file ocit.yaml. Koneksi lokal menghubungkan situs Operations Suite Infrastructure Core Rack (OIR) ke Distributed Cloud secara langsung menggunakan koneksi fiber antar-rak di pusat data yang sama.	zones: - zoneName: kb localInstanceIDs: 1
remoteInstance [ ] int	InstanceID(s) situs deployment OI dari file ocit.yaml Koneksi jarak jauh terhubung ke satu atau beberapa lokasi berbeda menggunakan transportasi jarak jauh. Daftar nilai remoteInstance dapat diberikan, sehingga konfigurasi untuk semua situs OIR dibuat untuk terhubung ke sel Distributed Cloud tertentu.	zones: - zoneName: kb remoteInstanceIDs: - 1 zones: - zoneName: kb remoteInstanceIDs: - 1 - 2 - 3

Jika ini adalah koneksi lokal, konfigurasi file interconnect.yaml sebagai:

zones:
  - zoneName: ah
    uplinkSpeed: 100
    localInstanceID: 1
    cellCfg: /path/to/cellcfg

Jika ini adalah koneksi jarak jauh, konfigurasi file interconnect.yaml sebagai:

zones:
  - zoneName: ah
    uplinkSpeed: 100
      remoteInstanceIDs:
      - 2
    cellCfg: /path/to/cellcfg

Untuk deployment OI multi-situs, tentukan file interconnect.yaml sebagai:

zones:
  - zoneName: ah
    uplinkSpeed: 100
    localInstanceID: 1
    remoteInstanceIDs:
      - 2
    cellCfg: /path/to/cellcfg

Peringatan: Selesaikan langkah-langkah ini dan gunakan jalur lengkap yang sesuai atau tidak akan berhasil dieksekusi.

19.7.3. Membuat konfigurasi tombol

Langkah-langkah ini menghasilkan konfigurasi patch untuk diterapkan ke perangkat jaringan guna menyediakan konektivitas ke Distributed Cloud.

occonfigtool generate cell config -c /path/to/interconnect.yaml -o path/to/ocit.yaml

Tindakan ini akan menghasilkan file konfigurasi berikut untuk setiap situs:

File Konfigurasi	Perangkat	Fungsi
occoresw101.incremental	occoresw101	Konfigurasi untuk menerapkan patch pada perangkat agar dapat terhubung ke instance Distributed Cloud
occoresw101.acl	occoresw101	Konfigurasi untuk menerapkan patch ACL untuk penegakan traffic dengan jaringan Distributed Cloud.
occoresw102.incremental	occoresw102	Konfigurasi untuk menerapkan patch pada perangkat agar dapat terhubung ke instance Distributed Cloud
occoresw102.acl	occoresw102	Konfigurasi untuk menerapkan patch ACL untuk penegakan traffic dengan jaringan Distributed Cloud.
ocsw101.incremental	ocs1w01	Konfigurasi untuk menerapkan patch pada perangkat agar dapat terhubung ke instance Distributed Cloud
ocsw101.acl	ocsw101	Konfigurasi untuk menerapkan patch ACL untuk penegakan traffic dengan jaringan Distributed Cloud.
ocsw102.incremental	ocsw102	Konfigurasi untuk menerapkan patch pada perangkat agar dapat terhubung ke instance Distributed Cloud
ocsw102.acl	ocsw102	Konfigurasi untuk menerapkan patch ACL untuk penegakan traffic dengan jaringan Distributed Cloud.

Catatan: Untuk deployment Infrastruktur Operations Suite (OI) multi-situs, konfigurasi dibuat untuk setiap situs yang disebutkan dalam file interconnect.yaml. Identifikasi file yang dihasilkan untuk setiap situs menggunakan InstanceID. File yang dihasilkan memiliki awalan dengan format berikut: <segment_type><device_type><InstanceID><device_id>

19.7.4. Membuat kebijakan firewall

Untuk membuat aturan firewall, occonfigtool perlu mengakses Kubernetes API untuk cluster admin root. Pastikan variabel lingkungan KUBECONFIG disetel ke root-admin-kubeconfig:

export KUBECONFIG=/root/release/root-admin/root-admin-kubeconfig
export OCIT_CONFIG_FILE=/path/to/ocit.yaml

Buat aturan firewall dengan menjalankan perintah berikut:

occonfigtool generate fwrules -o ${OCIT_CONFIG_FILE:?}

File Konfigurasi	Perangkat	Fungsi
firewall-rules.base	occorefw01	Konfigurasi untuk menerapkan patch pada perangkat agar dapat terhubung ke instance Distributed Cloud

19.7.5. Menerapkan konfigurasi

Dengan menggunakan file output, terapkan konfigurasi ke perangkat jaringan masing-masing menggunakan prosedur yang sama seperti pada langkah sebelumnya untuk switch dan firewall.

19.8. Mengupdate resource RoutePolicy Distributed Cloud

Distributed Cloud menggunakan kebijakan rute untuk menerapkan jaringan mana yang diizinkan untuk diiklankan ke dalam tabel perutean.

Saat menambahkan OI sebagai jaringan eksternal, kita perlu memperbarui CR RoutePolicy agar dapat menggunakan jaringan baru.

Tindakan ini memerlukan akses ke root-admin-cluster menggunakan kubectl. Pastikan variabel KUBECONFIG yang sesuai ditetapkan:

export KUBECONFIG=/root/deploy/root-admin/root-admin-kubeconfig

Untuk mengonfirmasi, lakukan hal berikut:

kubectl get routepolicy -n gpc-system

Output berikut, atau yang serupa, akan terlihat:

NAME                                     AGE
customerpeering-routepolicy              19d
datacenter-routepolicy                   19d
mgmtnetworkoperationcenter-routepolicy   19d
networkoperationcenter-routepolicy       19d

Untuk langkah-langkah ini, kita akan berfokus pada networkoperationcenter-routepolicy dan mgmtnetworkoperationcenter-routepolicy.

19.8.1.1. Membuat patch kebijakan rute jaringan data

Dari ocinfo.opscenter.local.txt, ambil subnet berikut (termasuk jaringan dan panjang awalan).

Catatan: Untuk deployment OI multi-situs, ulangi langkah ini untuk semua situs. Gunakan subnet dari file ocinfo.opscenter.local.txt dari situs yang tercantum.

• OCCORE-SERVERS, digunakan dalam contoh berikut sebagai $OCCORE_SERVERS_NET
• OC-WORKSTATIONS, digunakan dalam contoh berikut sebagai $OC_WORKSTATIONS_NET

Gunakan nilai ini untuk menyesuaikan kebijakan rute dengan mengisi variabel berikut:

export OCCORE_SERVERS_NET=$OCCORE_SERVERS_NET
export OC_WORKSTATIONS_NET=$OC_WORKSTATIONS_NET

Contoh:

export OCCORE_SERVERS_NET=172.21.0.0/24
export OC_WORKSTATIONS_NET=172.21.32.0/24

Setelah variabel lingkungan ditetapkan, jalankan perintah kubectl berikut:

kubectl patch routepolicy/networkoperationcenter-routepolicy -n gpc-system \
  --type=json -p="[
    {
        'op': 'add',
        'path': '/spec/in/ipPrefixList/0',
        'value': {
            'action': 'Permit',
            'ipPrefix': '${OCCORE_SERVERS_NET:?}',
            'prefixLengthMatchers': [
                {
                    'operator': 'LE',
                    'prefixLength': 32
                }
            ]
        }
    }
]"

kubectl patch routepolicy/networkoperationcenter-routepolicy -n gpc-system \
  --type=json -p="[
    {
        'op': 'add',
        'path': '/spec/in/ipPrefixList/0',
        'value': {
            'action': 'Permit',
            'ipPrefix': '${OC_WORKSTATIONS_NET:?}',
            'prefixLengthMatchers': [
                {
                    'operator': 'LE',
                    'prefixLength': 32
                }
            ]
        }
    }
]"

Contoh output:

routepolicy.system.private.gdc.goog/networkoperationcenter-routepolicy patched

19.8.1.2. Kebijakan rute jaringan pengelolaan patch

Dari ocinfo.opscenter.local.txt, ambil subnet berikut (termasuk jaringan dan panjang awalan).

Catatan: Untuk penerapan OI multi-situs, ulangi langkah ini untuk semua situs. Gunakan subnet dari file ocinfo.opscenter.local.txt dari daftar situs.

• OCCORE-JUMPHOSTS, digunakan dalam contoh berikut sebagai $OCCORE_JUMPHOSTS_NET
• OCCORE-ILOS, digunakan dalam contoh berikut sebagai $OCCORE_ILOS_NET

Gunakan nilai ini untuk menyesuaikan kebijakan rute dengan mengisi variabel berikut:

export OCCORE_JUMPHOSTS_NET=$OCCORE_JUMPHOSTS_NET
export OCCORE_ILOS_NET=$OCCORE_ILOS_NET

Contoh:

export OCCORE_JUMPHOSTS_NET=172.21.2.0/27
export OCCORE_ILOS_NET=172.21.2.32/27

Setelah variabel lingkungan ditetapkan, jalankan perintah kubectl berikut:

kubectl patch routepolicy/mgmtnetworkoperationcenter-routepolicy -n gpc-system \
  --type=json -p="[
    {
        'op': 'add',
        'path': '/spec/in/ipPrefixList/0',
        'value': {
            'action': 'Permit',
            'ipPrefix': '${OCCORE_JUMPHOSTS_NET:?}',
            'prefixLengthMatchers': [
                {
                    'operator': 'LE',
                    'prefixLength': 32
                }
            ]
        }
    }
]"

kubectl patch routepolicy/mgmtnetworkoperationcenter-routepolicy -n gpc-system \
  --type=json -p="[
    {
        'op': 'add',
        'path': '/spec/in/ipPrefixList/0',
        'value': {
            'action': 'Permit',
            'ipPrefix': '${OCCORE_ILOS_NET:?}',
            'prefixLengthMatchers': [
                {
                    'operator': 'LE',
                    'prefixLength': 32
                }
            ]
        }
    }
]"

Contoh output:

routepolicy.system.private.gdc.goog/mgmtnetworkoperationcenter-routepolicy patched

19.9. Memvalidasi konektivitas jaringan OI Distributed Cloud

Penting: Selesaikan langkah-langkah validasi di Membangun konektivitas jaringan OI dan Distributed Cloud) sebelum memvalidasi koneksi Distributed Cloud. Perhatikan bahwa jika konfigurasi incremental yang dilakukan pada langkah sebelumnya telah diterapkan, validasi pada langkah tersebut mungkin tidak cocok dengan tepat.

Pada tahap deployment ini, hal berikut harus terpenuhi:

• occoresw101 dan occoresw102 dikonfigurasi dengan file konfigurasi base, acl, incremental, dan incremental-acl.
• ocsw101 dan ocsw102 dikonfigurasi dengan file konfigurasi base, acl, incremental, dan incremental-acl.
• occorefw101 dan occoref102 dikonfigurasi dengan file konfigurasi base dan firewall-rules.base.
• Uplink antara pusat data dan pusat operasi terhubung dan beroperasi.
• Uplink fisik antara Distributed Cloud diverifikasi.

Catatan: Untuk deployment Infrastruktur Operations Suite (OI) multi-situs, file konfigurasi dibuat dan diterapkan untuk setiap situs.

Jika salah satu kondisi sebelumnya tidak terpenuhi, output berikut mungkin sangat berbeda bergantung pada status saat ini dan kemungkinan tidak menghasilkan perilaku yang diharapkan dalam produksi.

19.9.1. Output yang diharapkan

Cuplikan berikut menunjukkan output dari lingkungan yang berfungsi dengan baik dari perintah berikut:

• show ip bgp summary vrf all
• show ip bgp vrf all
• show ip route vrf all
• show lldp neighbors

Catatan: Tambahkan | no-more di akhir setiap perintah untuk mencegah penomoran halaman, misalnya, show ip bgp vrf all | no-more.

Cuplikan ini dapat bertindak sebagai perbandingan terhadap lingkungan produksi menggunakan perintah yang sama.

19.9.2. Validasi utama

Berikut adalah hal-hal penting yang perlu dicari dalam output berikut:

• Tidak ada sesi BGP dalam status Idle, Active, atau Closing.
• Semua sesi BGP menampilkan nilai State/PrxRcd yang lebih besar dari 0.
• Semua sesi BGP menampilkan timer Up/Down yang terus meningkat.
• Awalan Distributed Cloud externalCIDR (ditemukan di CIQ) ada di tabel perutean dan tabel BGP VRF GDCH-DATA, GDCH-DATA-TRANSIT, OC-WORKSTATIONS, dan OCCORE-SERVERS.
• Distributed Cloud oobManagementCIDRs (yang ada di CIQ) ada di tabel perutean dan tabel BGP VRF GDCH-MGMT, GDCH-MGMT-TRANSIT, dan HW-INFRA.

19.9.3. OCCORESW

Tabel berikut menunjukkan output yang diharapkan pada setiap occore switch untuk interkoneksi Distributed Cloud. Anda harus menyelesaikan semua Validasi Jaringan sebelum melakukan langkah ini. Tetangga dan rute BGP yang dibahas di sini harus ada bersama dengan tetangga dan rute BGP yang disebutkan sebelumnya. Validasi output di semua switch.

VRF	Tetangga BGP	Rute yang diharapkan diterima dari tetangga BGP	Rute yang diharapkan diiklankan ke tetangga BGP
GDCH-DATA-TRANSIT	AGGSW01	Gabungkan alamat ringkasan dengan subnet /19 untuk sel Distributed Cloud	Awalan OCCORE-SERVERS Awalan OC-WORKSTATION
GDCH-DATA-TRANSIT	AGGSW02	Gabungkan alamat ringkasan dengan subnet /19 untuk sel Distributed Cloud	Awalan OCCORE-SERVERS Awalan OC-WORKSTATION
GDCH-DATA-TRANSIT	Sesi BGP HairPinned menggunakan OCCOREFW ke VRF OC-DATA	Alamat ringkasan gabungan (dengan subnet /19) untuk sel Distributed Cloud
OC-DATA	Sesi BGP OCSW01	Alamat ringkasan gabungan (dengan subnet /19) untuk sel Distributed Cloud
OC-DATA	Sesi BGP OCSW02	Alamat ringkasan gabungan (dengan subnet /19) untuk sel Distributed Cloud
OC-DATA	Sesi BGP OCCORESW	Alamat ringkasan gabungan (dengan subnet /19) untuk sel Distributed Cloud
GDCH-MGMT-TRANSIT	MGMTAGGSW01	Alamat ringkasan gabungan (dengan subnet /24) dari semua jaringan pengelolaan OOB GDCH	Awalan OCCORE-JUMPHOSTS Awalan OCCORE-ILOS
GDCH-MGMT-TRANSIT	MGMTAGGSW02	Alamat ringkasan gabungan (dengan subnet /24) dari semua jaringan pengelolaan OOB Distributed Cloud	Awalan OCCORE-JUMPHOSTS Awalan OCCORE-ILOS
GDCH-MGMT-TRANSIT	Sesi BGP HairPinned menggunakan OCCOREFW ke HW-INFRA VRF	Alamat ringkasan gabungan (dengan subnet /24) dari semua jaringan pengelolaan OOB Distributed Cloud

19.9.4. OCSW

Tabel berikut menunjukkan output yang diharapkan pada setiap oc switch setelah prosedur interkoneksi Distributed Cloud dilakukan. Anda harus menyelesaikan semua Validasi Jaringan sebelum melakukan langkah ini. Tetangga dan rute BGP yang dibahas di sini harus ada bersama dengan tetangga dan rute BGP yang disebutkan sebelumnya. Validasi output di semua switch.

VRF	Tetangga BGP	Rute yang diharapkan diterima dari tetangga BGP
OC-DATA	Sesi BGP OCCORESW01	Alamat ringkasan gabungan (dengan subnet /19) untuk sel GDCH
OC-DATA	Sesi BGP OCCORESW02	Alamat ringkasan gabungan (dengan subnet /19) untuk sel GDCH

Cuplikan perintah output dapat ditemukan di Distributed Cloud validations show command.

Catatan: Bagian berikut membahas validasi pada deployment multi-situs. Bagian ini dapat diabaikan dengan aman jika deployment Anda bukan multi-situs.

19.9.5. Validasi deployment OI multi-situs

Bagian berikut menjelaskan cara memvalidasi deployment multi-situs dengan beberapa sel Distributed Cloud yang saling terhubung. Pada tahap ini, topologi dengan dua situs akan terlihat seperti ini:

• Koneksi biru menunjukkan situs 1 terhubung ke sel Distributed Cloud 01 dan sel 02.
• Koneksi merah menunjukkan situs 2 terhubung ke sel Distributed Cloud 01 dan sel 02.
• Koneksi hijau menunjukkan interkoneksi situs 1 dan situs 2.

Untuk semua situs di semua tombol, Anda harus menyelesaikan langkah-langkah yang tercantum di bagian ini

1. Validasi Jaringan.
2. Validasi Multisitus Jaringan.
3. Validasi Network Distributed Cloud.

19.10. Melakukan langkah-langkah akhir jaringan OI

Pada tahap ini, semua konfigurasi harus telah dibuat dan diterapkan ke semua perangkat.

Daftar akses jaringan kini dalam status yang mengizinkan alur yang diharapkan tertentu, tetapi juga memiliki aturan default yang mengizinkan semua traffic.

Anda harus menyerahkan deployment ke operasi sekarang. Operational Suite berbeda dalam fungsi, penerapan, dan layanan yang diberikan di antara pelanggan. Akibatnya, persyaratan trafficnya bervariasi.

Setelah operasi menerima deployment, tugas mereka adalah menangani ACL dan mengamankan sepenuhnya alur traffic jaringan.

Runbook operasional disediakan untuk melakukan tugas-tugas ini.

19.11. Mengupgrade penyimpanan objek

Selama bootstrap penyimpanan objek, node diinstal dengan versi minor StorageGRID terbaru yang didukung. Namun, versi target mungkin perlu diupdate ke versi patch hotfix terbaru.

Tentukan versi StorageGRID target dari metadata rilis dengan perintah berikut:

kubectl get releasemetadata -o jsonpath='{.items[0].spec.infraComponents.objectStorage.storageGridOSImageVersion}'

Jika versi StorageGRID saat ini tidak ada di versi target, lakukan upgrade penyimpanan objek dengan versi target.

19.12. Potensi masalah

Penting: Anda mungkin mengalami masalah ini saat menginstal Distributed Cloud versi 1.9.x.

19.12.1. Virtual Machine Penyimpanan tidak merekonsiliasi

TLDR: Storage Virtual Machine tidak siap selama pembuatan cluster admin root.

Masalah: Setelah membuat cluster admin root, resource Storage Virtual Machine tidak direkonsiliasi dan menampilkan peristiwa peringatan seperti:

StorageVirtualMachine Reconcile error, retrying: SVM status update failed,
error: failed to get network interface info: Get
"https://172.22.147.128/api/network/ip/interfaces?fields=%2A%2A&max_records=4096&svm.name=root-admin":
EOF

Kesalahan konfigurasi pada kluster penyimpanan yang mencegah SSL karena alasan keamanan dapat menyebabkan masalah ini.

Solusi:

Hubungkan ke serial atau hubungkan ke cluster penyimpanan menggunakan SSH dan jalankan:

security ssl modify -server-enabled true -client-enabled true -vserver
CELL_ID-stge-clus-01

Setelah terhubung, resource Mesin Virtual Penyimpanan dapat melakukan rekonsiliasi.

19.12.2. Bootstrap gagal saat Penginstalan Sertifikat Server TLS firewall

Anda mungkin mengalami kegagalan TLSServerCertification saat melakukan tugas bootstrap bidang kontrol admin root yang dijelaskan di langkah 20.

Solusi:

Untuk mencoba kembali penginstalan sertifikat server firewall, lihat petunjuk yang tercantum dalam manual layanan IO FW-R1008. Setelah Anda menyelesaikan penginstalan yang berhasil, gunakan perintah gdcloud dengan perintah --start-phase untuk melanjutkan bootstrap root-admin.