Créer un build privé avec Gemini pour bénéficier de l'assistance de Google Cloud

Ce tutoriel explique comment utiliser Gemini pour Google Cloud, un collaborateur de Google Cloud basé sur l'IA, afin de parcourir les journaux et de configurer un environnement de compilation pour un ensemble de microservices dans Google Kubernetes Engine.

Ce tutoriel s'adresse aux ingénieurs DevOps, quel que soit leur niveau d'expérience.

Objectifs

  • Demandez une requête de journalisation à Gemini afin de pouvoir observer les journaux des pods.
  • Découvrez comment mettre en place un environnement de compilation privé en posant des questions contextuelles à Gemini.
  • Utilisez Gemini pour apprendre à stocker des images de conteneurs de manière privée et sécurisée.

Produits Google Cloud utilisés

Ce tutoriel utilise les produits Google Cloud facturables suivants. Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.

  • Google Kubernetes Engine (GKE) : GKE est un service Kubernetes géré qui vous permet de déployer et de gérer des applications conteneurisées à grande échelle.

  • Cloud Logging : Logging est un système de gestion des journaux en temps réel compatible avec le stockage, la recherche, l'analyse et la surveillance.

  • Cloud Build. Cloud Build est un service qui exécute vos compilations sur l'infrastructure Google Cloud. Cloud Build peut importer du code source à partir de divers dépôts ou espaces Cloud Storage, exécuter une compilation selon vos spécifications et produire des artefacts tels que des conteneurs Docker ou des archives Java.

  • Artifact Registry Artifact Registry est un outil centralisé qui vous permet de gérer les images de conteneurs et les packages de langages. Il vous permet de stocker de manière centralisée les artefacts et les dépendances de compilation dans le cadre d'une expérience Google Cloud intégrée.

  • Gémeaux : Gemini est un collaborateur permanent de Google Cloud qui propose une assistance basée sur l'IA générative à un large éventail d'utilisateurs, y compris des développeurs et des data scientists. Pour offrir une expérience d'assistance intégrée, Gemini est intégré à de nombreux produits Google Cloud.

Avant de commencer

  1. Assurez-vous que Gemini est configuré pour votre compte utilisateur et votre projet Google Cloud. Assurez-vous également d'avoir installé le plug-in Cloud Code dans l'IDE de votre choix. Si vous préférez utiliser l'éditeur Cloud Shell ou Cloud Workstations comme IDE, Cloud Code et Geni Code Assist sont déjà disponibles par défaut.

  2. Activez Google Kubernetes Engine API.

    Activer l'API

  3. Dans la console Google Cloud, activez Cloud Shell.

    Activer Cloud Shell

    En bas de la fenêtre de la console Google Cloud, une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement shell dans lequel Google Cloud CLI est déjà installé, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

  4. Créez un cluster GKE à l'aide de la commande gcloud container clusters create:

    gcloud container clusters create test --region us-central1

    L'exécution de la commande prend quelques minutes. Le résultat ressemble à ce qui suit :

    Creating cluster test in us-central1... Cluster is being health-checked (master is healthy)...done.

Created https://container.googleapis.com/v1/projects/agmsb-gke-lab/zones/us-central1/clusters/test.

To inspect the contents of your cluster, go to: https://console.cloud.google.com/kubernetes/workload_/gcloud/us-central1/test?project=agmsb-gke-lab
kubeconfig entry generated for test.

NAME: test
LOCATION: us-central1
MASTER_VERSION: 1.27.3-gke.100
MASTER_IP: 34.72.99.149
MACHINE_TYPE: e2-medium
NODE_VERSION: 1.27.3-gke.100
NUM_NODES: 9
STATUS: RUNNING

  5. Clonez un dépôt et utilisez kubectl pour déployer un ensemble de microservices qui constituent une application Web d'e-commerce sur le cluster GKE:

    git clone https://github.com/GoogleCloudPlatform/microservices-demo && cd microservices-demo

kubectl apply -f ./release/kubernetes-manifests.yaml

  6. Après quelques minutes, récupérez l'adresse IP externe permettant d'accéder à votre application Web dans un navigateur:

    kubectl get service frontend-external | awk '{print $4}'

Comprendre les journaux des charges de travail dans GKE

Pour l'exemple suivant, supposons que vous êtes un ingénieur DevOps chargé d'hériter d'un ensemble existant de microservices exécutés dans un cluster GKE. Pour comprendre l'environnement, vous décidez d'inspecter les journaux des différents microservices.

Dans l'IDE intégré à Code Assist de votre choix, vous pouvez discuter avec Gemini pour obtenir de l'aide. Dans le volet Gemini, vous saisissez des invites, qui sont des questions ou des instructions décrivant l'aide dont vous avez besoin, et Gemini renvoie des réponses.

Gemini n'utilise pas vos requêtes ni ses réponses comme données pour entraîner ses modèles. Pour en savoir plus, consultez la section Utilisation de vos données par Gemini pour Google Cloud.

Vous savez que les microservices ont été déployés sur l'espace de noms default. Pour demander à Gemini de vous aider à inspecter les journaux, procédez comme suit:

  1. Dans la barre d'activité de votre IDE, cliquez sur chat_spark Gemini Code Assist pour ouvrir le volet Gemini Code Assist.

  2. Dans le volet Gemini Code Assist, saisissez la requête suivante:

    How can I write a Cloud Logging query to search for logs from Pods in
a namespace called "default" in a Google Kubernetes Engine cluster named "test"?

    Gemini renvoie une réponse semblable à celle-ci:

    To write a Cloud Logging query to search for logs from Pods in a
namespace called "default" in GKE cluster called "test", you
can use the following query:

resource.type="k8s_container"
resource.labels.namespace_name="default"
resource.labels.cluster_name="test"

This query will search for all logs from Pods in the "default"
namespace in the "test" GKE cluster. You can also use the
Cloud Logging console to search for logs from Pods in a specific
namespace and cluster. To do this, follow these steps:

1. Go to the Cloud Logging console.
2. In the Query builder pane, click
   Resource.
3. In the Resource type list, select Kubernetes
   Container.
4. In the Namespace name field, enter default.
5. In the Cluster name field, enter test.
6. Click Add.
7. In the Query results pane, you will see a list of logs
   from Pods in the "default" namespace in the "test" GKE
   cluster.

  3. Pour inspecter ces journaux, cliquez sur chaque journal renvoyé par la requête. Dans un journal individuel, si vous cliquez sur Explain this query (Expliquer cette requête), la réponse est semblable à la suivante:

    Sure. Here are the bullet points that explain the log entry:

• The log entry is about a GET request to the /_healthz path.
• The request was successful and returned a 200 status code.
• The request took 0 milliseconds to complete.
• The request was made by the x-liveness-probe session.
• The request was made from the frontend-755cdc7957-pv8x5 pod
  in the default namespace.

Créer un environnement de compilation privé pour les images de conteneurs

Maintenant que vous comprenez mieux les charges de travail grâce à l'observation des journaux, vous décidez de configurer l'infrastructure et de créer les futures images de conteneurs de votre équipe sur un ensemble de nœuds de calcul privés. Dans cette section, vous allez inviter Gemini à vous aider à comprendre comment exécuter un environnement de compilation afin de pouvoir migrer vos compilations vers votre projet Google Cloud.

  1. Dans la barre d'activité de votre IDE, cliquez sur chat_spark Gemini Code Assist pour ouvrir le volet Gemini Code Assist.

  2. Dans le volet Gemini Code Assist, saisissez la requête suivante:

    How can I build a private build environment that is not connected to
the internet in Google Cloud? I want to be able to use Docker to
build my container images in this environment.

    Gemini renvoie une réponse semblable à celle-ci:

    To build a private build environment that is not connected to the internet
in Google Cloud, you can use a Cloud Build private pool. A private pool
is a group of build workers that are not connected to the public internet.
You can create a private pool in a Virtual Private Cloud (VPC) network,
which provides an additional layer of security for your build environment.

To create a private pool, you will need to:

1. Create a VPC network.
2. Create a private pool in the VPC network.
3. Configure your build config file to use the private pool.

Once you have created a private pool, you can use it to build your
container images using Docker. To do this, you will need to:

1. Create a Dockerfile.
2. Create a build config file.
3. Run the `gcloud builds submit` command.

The `gcloud builds submit` command will build your container image
using the private pool.

Find more information for your question here:

• https://cloud.google.com/build/docs/private-pools/create-manage-private-pools

  3. Les pools privés Cloud Build semblent être une voie viable, c'est pourquoi vous demandez de l'aide à Gemini pour créer votre premier pool privé. Saisissez la requête suivante :

    Can you give me a gcloud command to create my first Cloud Build
private worker pool?

    Gemini renvoie une réponse semblable à celle-ci: 

    Here's how you can create your first private worker pool using the gcloud
command:

1. Define your pool configuration:

First, you need to define the configuration of your private pool. This
includes details like the pool name, region, machine type, disk size, and
network settings. You can do this by creating a JSON file named
workerpool.json with the following structure:

{
  "name": "my-first-privatepool",
  "location": "us-central1",
  "machineType": "e2-standard-2",
  "diskSizeGb": 800,
  "network": "projects/your-project-id/global/networks/default",
  "assignExternalIP": true
}

2. Create the pool using gcloud:

Once you have the configuration file ready, you can use the following gcloud
command to create the private worker pool:

gcloud builds worker-pools create \
  --project=gsm-project-382212 \
  --location=us-central1 \
  --worker-pool-id=my-first-privatepool \
  --file=workerpool.json

Explanation of the command:

- gcloud builds worker-pools create : This is the command to create a new worker pool.
- --project=gsm-project-382212 : This specifies the project ID where you want to create the pool.
- --location=us-central1 : This specifies the region where you want to create the pool.
- --worker-pool-id=my-first-privatepool : This specifies the ID for your private pool.
- --file=workerpool.json : This specifies the path to your configuration file.

3. Verify the pool creation:

After running the command, you can verify that the pool has been created by
running the following command:

gcloud builds worker-pools list

Additional notes:

- You can customize the configuration file to meet your specific needs. For
example, you can change the machine type, disk size, or network settings.
- You can also create private worker pools using the Cloud Build API or th
 Cloud Console.

I hope this helps! Let me know if you have any other questions.

  4. Dans la réponse précédente, il semble que vous deviez transmettre un fichier de configuration pour remplacer la variable PRIVATEPOOL_CONFIG_FILE. Vous demandez donc à Gemini de vous aider à créer un fichier de configuration. Saisissez la requête suivante :

    Can you show me an example of a Cloud Build private pool config file?

    Gemini renvoie une réponse semblable à celle-ci:

    Sure. Here is an example of a Cloud Build private pool config file:

privatePoolV1Config:
   networkConfig:
     egressOption: NO_PUBLIC_EGRESS<br>
     peeredNetwork: 'projects/my-project/global/networks/my-network'
     peeredNetworkIpRange: '10.1.2.0/24'
   workerConfig:
     diskSizeGb: '100'
     machineType: 'e2-standard-4'

This config file creates a private pool with the following
properties:

• The pool is not connected to the public internet.
• The pool is connected to the `my-network` VPC network.
• The pool's workers have a `100GB` boot disk and a
  `e2-standard-4` machine type.

For more information, see the Cloud Build documentation.

  5. Vous commencez à créer votre propre fichier de configuration lorsque les nœuds de calcul de la compilation n'ont pas accès à l'Internet public. Accédez à la console Google Cloud, puis lancez l'éditeur Cloud Shell.

  6. Dans Cloud Shell, exécutez la commande suivante, en définissant egressOption sur NO_PUBLIC_EGRESS:

    cat << EOF >> cloudbuild-privatepool-config.yaml

privatePoolV1Config:
  networkConfig:
    egressOption: NO_PUBLIC_EGRESS

EOF

  7. Vous n'êtes pas sûr des autres options disponibles dans le fichier de configuration. Vous demandez donc de l'aide à Gemini:

    Is there a default value for any of these options?

    Gemini renvoie une réponse semblable à celle-ci:

    Yes, there are default values for some of the options in the private
pool config file. For example, the default value for egressOption is
ALLOW_PUBLIC_EGRESS, which means that the private pool will have
access to the public internet. The default value for diskSizeGb is
100, and the default value for machineType is e2-medium.

For a full list of the default values, see the Cloud Build documentation.

  8. Vous constatez que Gemini fournit certaines des valeurs par défaut déjà définies dans le fichier de configuration. En lisant la documentation, vous décidez que votre fichier de configuration est correct. Dans Cloud Shell, transmettez la commande gcloud que Gemini vous a fournie précédemment dans le nouveau fichier de configuration:

    gcloud builds worker-pools create max-pool-test \
    --config-from-file cloudbuild-privatepool-config.yaml \
    --region us-central1

  9. Une fois les nœuds de calcul créés, vous vous rendez compte que les conteneurs n'auront pas accès aux gestionnaires de packages publics, tels que pip. Vous voulez confirmer que vous comprenez l'hébergement de packages privés. Saisissez l'invite suivante:

    If I create a private pool with NO_PUBLIC_EGRESS enabled, can I use
Artifact Registry to host my packages privately and access them from
a private pool?

    Gemini renvoie une réponse semblable à celle-ci:

    Yes, you can use Artifact Registry to host your packages privately
and access them from a private pool. To do this, you will need to
create a private pool with NO_PUBLIC_EGRESS enabled and then
configure your Artifact Registry repository to use the private pool.
For more information, see the Cloud Build documentation.

  10. Vous décidez de créer un dépôt Artifact Registry. Dans le volet Gemini, saisissez la requête suivante:

    How can I use gcloud to create a private Docker repository for
container images in Artifact Registry?

    Gemini renvoie une réponse semblable à celle-ci: 

    To create a private Docker repository for container images in
Artifact Registry, you can use the following command:

gcloud artifacts repositories create REPOSITORY_NAME \\\
    --repository-format=docker \\\
    --location=LOCATION \\\
    --description="DESCRIPTION" \\\
    --kms-key=KMS_KEY

Where:

• REPOSITORY_NAME is the name of your repository.
• LOCATION is the location of your repository.
• DESCRIPTION is a description of your repository.
• KMS_KEY is the name of your Cloud Key Management Service key that
  you want to use to encrypt your repository data.

For more information, see the gcloud artifacts repositories create
documentation.

  11. En voyant la variable KMS_KEY, vous réalisez que vous n'avez pas encore créé de clé Cloud KMS. Saisissez la requête suivante :

    Do I need a KMS_KEY?

    Gemini renvoie une réponse semblable à celle-ci:

    No, you don't need a KMS_KEY to create a private Docker repository
for container images in Artifact Registry. However, if you want to
encrypt your container images, you can use a Cloud Key Management Service key. For more
information, see the Artifact Registry CMEK documentation.

  12. Une fois les réponses à vos questions, exécutez dans Cloud Shell la commande gcloud fournie par Gemini:

    gcloud artifacts repositories create max-docker-repo-test \
    --repository-format=docker \
    --location=us-central1 \
    --description="test container repository"

Avec l'aide de Gemini, vous avez créé l'ensemble privé de nœuds de calcul et le dépôt privé pour compiler et héberger vos artefacts.

Effectuer un nettoyage

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud, vous pouvez supprimer le projet Google Cloud que vous avez créé pour ce tutoriel. Vous pouvez également supprimer les différentes ressources.

  1. Dans la console Google Cloud, accédez à la page Gérer les ressources.

    Accéder à la page Gérer les ressources

  2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
  3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étapes suivantes