Configuration requise

GKE On-Prem nécessite les éléments suivants :

• Un environnement VMware vSphere 6.5, qui inclut vSphere 6.5, vCenter 6.5 et vSphere ESXI 6.5.
• Un équilibreur de charge réseau de couche 4. Par défaut, GKE On-Prem s'intègre à F5 BIG-IP en version 12.x ou 13.x. Vous pouvez également choisir d'activer l'équilibrage de charge manuel et d'utiliser votre propre équilibreur de charge L4.

Avant de commencer, prenez le temps de lire la présentation de GKE On-Prem.

Configuration matérielle requise

GKE On-Prem vous offre le choix parmi un large éventail d'options matérielles. Pour en savoir plus sur les exigences matérielles héritées de vSphere, consultez la page des spécifications matérielles pour VMware/vSphere 6.5.

Google collabore avec plusieurs partenaires OEM afin de fournir des solutions matérielles validées. Choisissez les options proposées par ces partenaires pour bénéficier de solutions de travail connues et de l'assistance collaborative, dans le cadre de laquelle Google et ses partenaires travaillant ensemble pour résoudre les problèmes d'installation.

Nos partenaires OEM incluent actuellement les entreprises suivantes. Cette liste est mise à jour à mesure que de nouvelles plates-formes et de nouveaux partenaires rejoignent la gamme de solutions Anthos :

• Cisco
• Dell
• HPE
• Intel
• Lenovo

Exigences concernant vSphere

Vous devez installer GKE On-Prem dans un environnement VMware vSphere 6.5. Pour en savoir plus sur l'installation de vSphere, consultez la page Overview of the vSphere Installation and Setup Process dans la documentation de VMware.

vSphere 6.5 comprend les composants suivants :

• VMware ESXi
• VMware vCenter Server
• VMware vCenter Server Appliance

Suivez les instructions ci-dessous pour savoir comment configurer une installation vSphere existante afin de l'utiliser avec GKE On-Prem.

Exigences d'édition de licence et de version

Actuellement, GKE On-Prem nécessite VMware vSphere 6.5. Plus précisément, vous avez besoin des produits VMware sous licence suivants :

• VMware ESXI 6.5, avec une édition de licence Enterprise Plus, installé sur chacun des hôtes de votre centre de données.
• VMware vCenter 6.5, avec une édition de licence standard, installé sur un hôte de votre centre de données.

Pour plus d'informations, consultez les ressources VMware suivantes :

• Comparer les éditions VMware vSphere
• Comparaison des fonctionnalités de VMware vSphere

Droits de compte d'utilisateur vCenter

Le compte utilisateur vSphere que vous utilisez pour installer les clusters GKE On-Prem doit disposer de droits suffisants. Le rôle Administrateur de vCenter fournit à ses utilisateurs un accès complet à tous les objets vCenter.

Vous pouvez également choisir de créer un rôle personnalisé doté de l'ensemble minimal de droits requis, détaillé dans le tableau ci-dessous.

Cliquez sur la flèche d'affichage pour consulter le tableau des droits vSphere requis.

Entité	Droit
Stockage cloud natif	Inclus dans l'index de recherche
Datastore	Allouer de l'espace Parcourir le datastore Opérations sur les fichiers de bas niveau Supprimer le fichier Mettre à jour les fichiers de machines virtuelles Mettre à jour les métadonnées de machines virtuelles
Dossier	Créer un dossier Supprimer le dossier Déplacer le dossier Renommer le dossier
Inventaire des hôtes	Modifier un cluster
Ajout de tags vSphere	Créer un tag vSphere
Serveur vCenter racine	Valider la session
Réseau	Attribuer un réseau
Ressource	Appliquer la recommandation Attribuer une machine virtuelle au pool de ressources Migrer une machine virtuelle hors tension Migrer une machine virtuelle sous tension Interroger vMotion
Vues du stockage	View
Système	Anonyme Lire View
Tasks	Créer une tâche Mettre à jour la tâche
vApp	Importation Configuration de l'application vApp Configuration de l'instance vApp
Machines virtuelles	Configuration Ajouter un disque existant Ajouter un disque Ajouter ou supprimer un appareil Analyses Modifier le nombre de processeurs Modifier une ressource Configurer ManagedBy Suivi des modifications de disque Bail de disque Afficher les paramètres de connexion Étendre le disque virtuel Périphérique USB hôte Mémoire Modifier les paramètres de l'appareil Vérifier la compatibilité avec la tolérance aux pannes Interroger des fichiers sans propriétaire Périphérique brut Recharger à partir du chemin Supprimer le disque Renommer Réinitialiser les informations sur les invités Définir une annotation Paramètres Emplacement du fichier d'échange Activer/désactiver le parent de duplication Mettre à niveau la compatibilité des machines virtuelles Opérations d'invité Modification de l'alias d'opération d'invité Requête d'alias d'opération d'invité Modifications d'opération d'invité Exécution du programme d'opération d'invité Requêtes concernant les opérations d'invités Interaction Répondre à la question Opération de sauvegarde sur une machine virtuelle Configurer le support CD Configurer le support disquette Interaction avec la console Créer une capture d'écran Défragmenter tous les disques Connexion de l'appareil Glisser-déposer Gestion de système d'exploitation invité par l'API VIX Injecter des codes d'analyse USB HID Mettre en pause ou reprendre Exécuter des opérations d'effacement ou de réduction Mettre hors tension Mettre sous tension Enregistrer une session sur une machine virtuelle Revoir une session sur une machine virtuelle Réinitialiser Rétablir la tolérance aux pannes Suspendre Suspendre la tolérance aux pannes Tester le basculement Tester le redémarrage d'une VM secondaire Désactiver la tolérance aux pannes Activer la tolérance aux pannes Installer VMware Tools Inventaire Créer à partir de données existantes Créer Déplacer Enregistrer Supprimer Annuler l'enregistrement Provisionnement Autoriser l'accès au disque Autoriser l'accès aux fichiers Autoriser l'accès au disque en lecture seule Autoriser le téléchargement d'une machine virtuelle Autoriser l'importation de fichiers d'une machine virtuelle Cloner le modèle Cloner une machine virtuelle Créer un modèle à partir d'une machine virtuelle Personnaliser Déployer le modèle Marquer comme modèle Marquer comme machine virtuelle Modifier la spécification de personnalisation Promouvoir des disques Lire les spécifications de personnalisation Configuration de service Autoriser les notifications Autoriser l'interrogation des notifications d'événements globaux Gérer des configurations de service Modifier la configuration de service Interroger les configurations de service Lire la configuration de service Gestion des instantanés Créer un instantané Supprimer un instantané Renommer un instantané Rétablir un instantané Duplication de vSphere Configurer la duplication Gérer la duplication Surveiller la duplication

Pour en savoir plus sur la gestion des autorisations, consultez la page Managing Permissions for vCenter Components.

Machines virtuelles créées lors de l'installation

Lors d'une nouvelle installation, GKE On-Prem crée plusieurs machines virtuelles (VM ou "nœuds") dans vSphere. Le tableau suivant décrit les spécifications de ces VM et leur rôle.

En outre, GKE On-Prem crée un disque persistant de 100 Go afin de stocker les données du cluster d'administrateur.

Cluster d'administrateur

Nom	Préfixe système	Champ de configuration	Spécifications	Objectif
Plan de contrôle du cluster d'administrateur	gke-admin-master	Non disponible	4 processeurs virtuels 16 384 Mo de RAM 40 Go d'espace disque	Exécute le plan de contrôle administrateur dans le cluster d'administrateur.
VM de modules complémentaires	gke-admin-node	Non disponible	Deux VM s'exécutant avec les spécifications suivantes : 4 processeurs virtuels 16 384 Mo de RAM 40 Go d'espace disque	Exécutez les modules complémentaires du plan de contrôle administrateur dans le cluster d'administrateur.
Plan de contrôle du cluster d'utilisateur	[USER_CLUSTER_NAME]-user-N	usercluster.masternode	4 processeurs virtuels 8 192 Mo de RAM 40 Go d'espace disque	Chaque cluster d'utilisateur possède son propre plan de contrôle. Les VM de plan de contrôle utilisateur s'exécutent dans le cluster d'administrateur. Vous pouvez choisir de créer un ou trois plans de contrôle utilisateur. Si vous choisissez de créer trois plans de contrôle utilisateur, GKE On-Prem crée trois VM (une pour chaque plan de contrôle) avec ces spécifications.

Clusters d'utilisateur

Nom	Préfixe système	Champ de configuration	Spécifications	Usage
Nœuds de calcul du cluster utilisateur	[USER_CLUSTER_NAME]-user	usercluster.workernode	Il s'agit des valeurs par défaut pour les nœuds de calcul de cluster utilisateur : 4 processeurs virtuels 8 192 Mo de RAM 40 Go d'espace disque	Un "nœud" de cluster utilisateur (également appelé "machine") est une machine virtuelle où s'exécutent les charges de travail. Lorsque vous créez un cluster utilisateur, vous décidez du nombre de nœuds qu'il doit exécuter. La configuration requise pour chaque nœud dépend des charges de travail que vous exécutez. Pour en savoir plus sur le nombre maximal de clusters et de nœuds que vous pouvez créer, consultez la page Quotas et limites. Vous pouvez ajouter des VM à un cluster d'utilisateur existant ou les en supprimer. Consultez la page Redimensionner un cluster.

PersistentVolumeClaims dans les clusters d'administrateur et d'utilisateur

Votre datastore vSphere doit disposer d'un espace suffisant pour répondre aux exigences des PersistentVolumeClaims (PVCs) créés par Prometheus et la suite Google Cloud Operations dans les clusters d'administrateur et d'utilisateur. Par exemple, Prometheus a besoin d'un espace de stockage suffisant pour enregistrer quelques jours de métriques, et la suite Google Cloud Operations a besoin d'espace de stockage pour mettre en mémoire tampon les journaux en cas de panne du réseau.

Chaque cluster possède les PVC suivantes:

• Statefulset Prometheus local : 250 Gio * 2 instances dupliquées = 500 Gio
• Statefulset Prometheus Stackdriver : 250 Gio * 1 instance dupliquée = 250 Gio
• Statefulset de l'agrégateur de journaux : 100 Gio * 2 instances dupliquées = 200 Gio

Protocole NTP

Toutes les VM de votre environnement vSphere doivent utiliser le même serveur NTP (Network Time Protocol).

Si votre poste de travail d'administrateur et vos nœuds de cluster utilisent des adresses IP statiques, vous devez spécifier l'adresse IP d'un serveur NTP dans le champ tod de votre fichier hostconfig.

Si votre poste de travail d'administrateur et vos nœuds de cluster obtiennent leurs adresses IP auprès d'un serveur DHCP, vous pouvez configurer ce serveur de sorte qu'il fournisse l'adresse d'un serveur NTP. Si DHCP ne spécifie pas de serveur NTP, GKE On-Prem utilise ntp.ubuntu.com par défaut.

Exigences relatives à l'équilibreur de charge

GKE On-Prem propose deux modes d'équilibrage de charge : intégré et manuel. Le mode intégré est compatible avec F5 BIG-IP. Le mode manuel est compatible avec les équilibreurs de charge suivants :

• Citrix
• Seesaw

Quel que soit l'équilibreur de charge que vous choisissez, votre environnement doit répondre aux exigences suivantes en matière de mise en réseau.

Réserver des adresses IP virtuelles pour l'équilibrage de charge

Vous devez réserver plusieurs adresses IP virtuelles que vous comptez utiliser pour l'équilibrage de charge. Réservez une adresse IP virtuelle pour chacun des objectifs suivants :

Composant	Description
Plan de contrôle d'administrateur	Accède au serveur d'API Kubernetes du cluster. Le fichier kubeconfig du cluster d'administrateur fait référence à cette adresse IP virtuelle dans son champ server.
Modules complémentaires du plan de contrôle d'administrateur	Gère la communication entre les VM des modules du plan de contrôle d'administrateur.
Entrée du plan de contrôle d'administrateur	Permet d'interagir avec les services exécutés dans le cluster d'administrateur. Istio gère l'entrée dans le cluster et les Services doivent être explicitement configurés pour un accès externe.
Une adresse IP virtuelle pour chaque plan de contrôle du cluster d'utilisateur	Permet d'accéder aux serveurs d'API Kubernetes de chaque cluster d'utilisateur. Le fichier kubeconfig de chaque cluster d'utilisateur fait référence à l'une de ces adresses IP virtuelles.
Une adresse IP virtuelle pour chaque contrôleur d'entrée de cluster d'utilisateur	Utilisée pour interagir avec les services exécutés dans les clusters d'utilisateur.
Une adresse IP virtuelle pour les mises à niveau de cluster	Utilisée par GKE On-Prem lors des mises à niveau de cluster.

Réserver des blocs CIDR

Vous devez réserver des blocs CIDR pour les plages suivantes :

Plage	Description
Plage d'adresses IP des pods	Bloc IPv4 CIDR (/C) réservé pour les adresses IP des pods Kubernetes. À partir de cette plage, des plages plus petites /24 sont attribuées par nœud. Si vous avez besoin d'un cluster à N nœuds, assurez-vous que ce bloc /C est suffisamment grand pour accepter N blocs /24. Vous devez réserver une plage d'adresses IP de pods pour votre cluster d'administrateur et une plage d'adresses IP de pods pour chaque cluster d'utilisateur que vous souhaitez créer. Par exemple, si le cluster peut atteindre 10 nœuds, /C doit être un bloc /20, car il accepte jusqu'à 16 plages /24 en dessous.
Plage d'adresses IP des services	Bloc IPv4 CIDR (/S) réservé pour les adresses IP des services Kubernetes. La taille du bloc détermine le nombre de services. Une adresse IP de service est nécessaire pour le contrôleur d'entrée proprement dit, et dix adresses IP ou plus pour les services Kubernetes tels que le DNS du cluster, etc. Vous devez réserver une plage d'adresses IP de service pour le cluster d'administrateur et une plage d'adresses IP de service pour chaque cluster d'utilisateur que vous souhaitez créer. N'utilisez pas la même plage d'adresses IP de service pour le cluster d'administrateur et les clusters d'utilisateur. Pour cela, utilisez un bloc de taille /24 (256 adresses) ou plus. Les plages de taille inférieure à /24 peuvent limiter le nombre de services pouvant être hébergés par cluster.

Ouvrir votre pare-feu pour les événements de cycle de vie du cluster

Assurez-vous que votre pare-feu autorise le trafic suivant. Sauf indication contraire, le protocole par défaut est TCP :

De	À	Événements liés au cycle de vie
Plan de contrôle d'administrateur, plans de contrôle d'utilisateur, nœuds de cluster utilisateur	Accès sortant vers *.googleapis.com, qui renvoie les plages d'adresses IP de netblock Google (port 443) pour accéder à Google Cloud Storage et à Container Registry.	Amorçage de cluster Ajouter ou réparer des machines en cluster
VM d'administration et de plan de contrôle d'utilisateur	Adresse IP vCenter (port 443)	Ajouter des machines
VM de poste de travail d'administrateur	Adresse IP vCenter (port 443)	Amorçage de cluster
VM de poste de travail d'administrateur	SSH (port 22) vers les plans de contrôle d'administrateur et d'utilisateur	Amorçage de cluster Mises à jour du plan de contrôle

Exigences et contraintes relatives à la connectivité des services et des pods

Tenez compte des domaines de connectivité suivants lors de la préparation de GKE On-Prem :

Category	Exigence/contrainte
Routage	Vous devez vous assurer que les VM vSphere peuvent assurer le routage les unes vers les autres.
IP ranges	Pour le cluster d'administrateur, et pour chaque cluster d'utilisateur que vous souhaitez créer, vous devez réserver deux blocs IPv4 CIDR distincts : un pour les adresses IP de pod et un autre pour les adresses IP de service.
SSL	Non disponible
Encapsulation	Le fournisseur CNI à utiliser est Calico.

Exigences et contraintes relatives aux clusters

Tenez compte des éléments suivants lorsque vous planifiez vos clusters On-Prem GKE :

Catégorie	Exigence/contrainte
Routage	F5 BIG-IP uniquement : accès API au plan de contrôle F5 BIG-IP qui autorise l'utilisation d'adresses IP virtuelles pour équilibrer la charge sur les VM vSphere. Vous devez configurer votre réseau afin d'assurer le routage des adresses IP virtuelles qui seront configurées sur l'équilibreur de charge. Vous devez configurer votre équilibreur de charge pour qu'il puisse effectuer le routage vers les nœuds de cluster. Pour F5 BIG-IP, les services NodePort des clusters sont exposés en tant qu'adresses IP virtuelles L4. Avec d'autres équilibreurs de charge, vous pouvez configurer manuellement les services NodePort pour qu'ils soient exposés en tant qu'adresses IP virtuelles L4.
Visibilité des services	Pour chaque cluster d'utilisateur utilisant l'entrée en mode HTTPS, vous ajoutez des entrées DNS qui pointent vers l'adresse IP virtuelle du contrôleur d'entrée du cluster.

Exigences F5 BIG-IP

F5 BIG-IP s'intègre à GKE On-Prem, ce qui en fait le choix recommandé. Découvrez comment installer F5 BIG-IP.

Pour configurer l'équilibreur de charge F5 BIG-IP, procédez comme suit :

Autorisations pour compte utilisateur F5 BIG-IP

GKE On-Prem nécessite un compte utilisateur F5 BIG-IP doté du rôle Administrateur. Consultez la documentation de F5 sur les Rôles utilisateur.

Lors de l'installation, vous devez fournir à GKE On-Prem vos identifiants F5 BIG-IP. Le compte que vous renseignez doit posséder le rôle Administrateur, comme stipulé dans le Guide de l'utilisateur des connecteurs de conteneurs F5, selon lequel "le contrôleur BIG-IP requiert des autorisations d'administrateur pour être entièrement fonctionnel".

Partitions F5 BIG-IP

Vous devez créer à l'avance une partition d'administration F5 BIG-IP pour chaque cluster que vous avez l'intention de créer. Dans un premier temps, vous devez créer au moins deux partitions : une pour le cluster d'administrateur et une autre pour un cluster d'utilisateur. Consultez la documentation de F5 pour découvrir comment configurer des partitions d'administration pour contrôler l'accès utilisateur.

N'utilisez pas de partition d'administration pour un autre usage que le cluster associé.