Arsitektur

Dokumen ini menjelaskan arsitektur deployment, cluster, dan jaringan dari perangkat Google Distributed Cloud (GDC) dengan air gap.

Arsitektur deployment

Diagram berikut mengilustrasikan cara hardware appliance cocok dalam jaringan pelanggan yang mencakup komponen opsional seperti HSM, server NTP, dan klien tambahan dalam jaringan. Perangkat ini dilengkapi dengan bidang pengelolaan, bidang data, server, dan server yang mendukung 1 GPU, yang semuanya dirancang untuk menjalankan beban kerja secara langsung di edge.

Arsitektur cluster

Perangkat air-gapped GDC mengoperasikan satu cluster yang mencakup ketiga node bare metalnya, yang dikenal sebagai cluster infrastruktur org. Server API pengelolaan khusus, yang berjalan sebagai workload pod di cluster, menghosting API bidang pengelolaan. Workload pengguna, yang mencakup VM dan pod Kubernetes, dapat berjalan di cluster ini. Tidak ada cluster pengguna dalam model cluster ini.

Arsitektur jaringan

EL8000 mencakup backplane yang membuat empat jaringan Layer 2 (L2) terpisah di dalam perangkat:

1. Konsol Integrated Lights-Out (iLO) (1GbEth)
2. Jaringan pengelolaan (1GbEth)
3. Jaringan data A (10GbEth)
4. Jaringan data B (10GbEth)

Diagram berikut menunjukkan cara jaringan L2 terhubung ke switch Mellanox (https://www.hpe.com/psnow/doc/a00043975enw.html?jumpid=in_pdp-psnow-qs). Setiap jaringan di blade terhubung ke satu switch jaringan. Semua jaringan konsol iLO di setiap blade server terhubung ke switch jaringan 1. Jaringan pengelolaan terhubung ke switch jaringan 2 dan jaringan data terhubung ke switch 3 dan 4.

Port jaringan pelanggan (15 dan 17) memiliki akses ke cluster (VLAN 100) dan hanya traffic ke CIDR Ingress yang diizinkan. CIDR Ingress tersedia untuk layanan dan rentangnya diiklankan melalui Border Gateway Protocol (BGP) ke jaringan pelanggan.

Port jaringan pengelolaan (16 dan 18) memiliki akses ke pengelolaan sistem (VLAN 501) sehingga pelanggan dapat menggunakan perangkat di jaringan yang lebih luas dan hanya menggunakan koneksi lokal untuk melakukan tugas administrasi sistem.

Topologi jaringan yang lebih rendah

Jaringan fisik

GDC terdiri dari cluster hybrid yang beroperasi dalam mode single tenant. Cluster hybrid, yang kami sebut sebagai cluster infrastruktur, terdiri dari cluster sistem dan admin yang digabungkan:

Desain fisik berpusat pada Mellanox SN2010 yang berfungsi sebagai gateway antara Cluster Infra Appliance dan jaringan pelanggan eksternal.

Cluster infrastruktur terdiri dari 3 Node Bare Metal (BM). Koneksi di BM dapat dikategorikan sebagai berikut:

• Konektivitas jaringan data (subnet 198.18.2.0/24) yang berada di VLAN 100. BM memiliki NIC dengan 2 port, NIC0P1 dan NIC0P2, yang digabungkan dan terhubung ke switch TOR. BM1 dan BM2 terhubung langsung ke switch, sedangkan BM3 terhubung ke TOR menggunakan switch yang tidak dikelola.
• Konektivitas jaringan pengelolaan ( subnet 198.18..0/24) menggunakan VLAN 501. Antarmuka ILO dan MGMT terhubung melalui VLAN ini menggunakan antarmuka 1G. Antarmuka ILO dan antarmuka MGMT di node BM terhubung ke switch menggunakan switch yang tidak dikelola.
• Mungkin: menambahkan jaringan OTS di VLAN 200-203(?), subnet 198.18.1.x

Koneksi dari switch Mellanox ke router pelanggan memberikan konektivitas eksternal. Antarmuka 10G digunakan untuk konektivitas ini, dan protokol BGP digunakan untuk mengiklankan IP jaringan eksternal kepada pelanggan. Pelanggan menggunakan IP eksternal untuk mengakses layanan yang diperlukan yang disediakan oleh unit Appliance.

Catatan: diagram jaringan fisik yang ditampilkan sebelumnya menunjukkan perangkat bootstrapper yang terhubung ke port 12 switch. Bootstrapper ini adalah untuk menyediakan unit alat sebagai bagian dari fase bootstrap sisi rendah. Koneksi ini tidak akan ada saat perangkat dikirimkan kepada pelanggan.

Jaringan logis

Ada dua virtual local area network (VLAN) yang memisahkan berbagai traffic:

1. VLAN 100: Cluster (Alamat protokol internet virtual (VIP) Ingress, IP cluster/node) dengan subnet IPv4 yang disediakan oleh pelanggan.
2. VLAN 501: Pengelolaan (iLO, Mgmt) dengan subnet IPv4 yang disediakan oleh pelanggan.

Topologi jaringan atas

Cluster dikonfigurasi menggunakan load balancing Layer 2 (L2). VIP Ingress untuk cluster berasal dari subnet yang sama dengan node. Saat VIP Ingress ditetapkan ke node, node menggunakan Address Resolution Protocol (ARP) sehingga node dapat dijangkau dari TOR.

Peer TOR dengan jaringan pelanggan menggunakan BGP, dan mengiklankan rentang Ingress cluster (awalan gabungan yang disediakan oleh pelanggan) ke jaringan pelanggan. Saat rak dipindahkan ke lokasi baru, kita dapat mengiklankan rentang Ingress cluster ke jaringan pelanggan baru. Saat rak dipindahkan ke lokasi baru, Anda harus memperbarui alamat IP secara manual di antarmuka TOR yang terhubung ke jaringan pelanggan, dan memperbarui informasi peering BGP untuk menambahkan peer BGP baru.

Semua IP yang digunakan oleh cluster dialokasikan dari externalCidrBlock rak, atau dikodekan secara permanen (untuk IP internal cluster). Dalam diagram berikut, contoh externalCidrBlock adalah 10.0.0.0/24:

Rentang IP cluster

Ada beberapa rentang IP yang perlu dikonfigurasi dalam cluster bare metal.

• CIDR Pod: rentang IP yang digunakan untuk menetapkan IP ke pod di cluster. Rentang ini menggunakan mode island, sehingga jaringan fisik (ToR) tidak perlu mengetahui CIDR pod. Satu-satunya persyaratan adalah rentang tidak boleh tumpang-tindih dengan layanan apa pun yang perlu diakses oleh pod cluster. CIDR pod tidak dapat diubah setelah cluster dibuat.
• CIDR layanan: digunakan untuk layanan cluster internal dengan persyaratan yang sama seperti CIDR pod.
• CIDR Node: Alamat IP node cluster Kubernetes. Alamat ini juga tidak dapat diubah setelah cluster dibuat.
• Rentang Ingress: rentang alamat IP yang digunakan untuk layanan apa pun di cluster yang diekspos secara eksternal. Klien eksternal menggunakan IP ini untuk mengakses layanan dalam cluster. Rentang ini perlu diiklankan ke jaringan pelanggan agar klien dapat menjangkau IP Ingress.
• VIP bidang kontrol: diiklankan oleh cluster untuk akses ke api-server Kubernetes (mirip dengan VIP Ingress). VIP ini harus berasal dari subnet yang sama dengan node saat cluster berada dalam mode load balancing L2.

CIDR Pod dan CIDR Layanan untuk cluster dikodekan secara permanen. CIDR Pod adalah 192.168.0.0/16 dan CIDR Layanan adalah 10.96.0.0/12. Cluster menggunakan dua CIDR yang sama, karena IP ini tidak diekspos di luar cluster.

Catatan: Alamat IP Virtual Machine (VM) ditetapkan dari rentang instance-default-vpc-cidr, yang ditetapkan pada 192.168.0.0/16. Jika perangkat terhubung ke jaringan pelanggan melalui switch TOR, pastikan rentang IP jaringan pelanggan tidak bertentangan dengan rentang 192.168.0.0/16. Rentang IP yang tumpang-tindih dapat menyebabkan perutean traffic peralatan yang salah.

Node disediakan dengan alamat IP dari set externalCidrBlock di GDC cell.yaml. Alamat IP ini diberikan oleh pelanggan sebelum rak disediakan.

Rentang Ingress dan VIP bidang kontrol untuk cluster juga dialokasikan dari externalCidrBlock. TOR harus mengiklankan externalCidrBlock ke jaringan pelanggan sehingga VIP ini dapat diakses oleh klien di luar rak.

Catatan: Alamat IP Virtual Machine (VM) ditetapkan dari rentang instance-default-vpc-cidr, yang ditetapkan pada 192.168.0.0/16. Jika perangkat terhubung ke jaringan pelanggan melalui switch TOR, pastikan rentang IP jaringan pelanggan tidak bertentangan dengan rentang 192.168.0.0/16. Rentang IP yang tumpang-tindih dapat menyebabkan perutean traffic peralatan yang salah.