Application de fonction d'événement de stockage

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Architecture

L'application de fonction d'événement de stockage est un répertoire d'images et un outil de création de vignettes. Il se compose des éléments suivants:

  • Application cliente dans laquelle les utilisateurs peuvent importer des images
    • API hébergée par le conteneur et site statique – Golang – Cloud Run
    • Stockage – Stockage de fichiers – Cloud Storage
  • Processeur d'images qui crée des vignettes des images.
    • Functions as a Service – Golang – Cloud Functions
  • Un pipeline de déploiement
    • Déploiement – Cloud Build

Get Started

Cliquez sur le lien suivant pour accéder à une copie du code source dans Cloud Shell. Une seule commande suffit ensuite pour lancer une copie de travail de l'application dans votre projet.

Ouvrir dans Cloud Shell

Afficher le code source sur GitHub


Composants de l'application de la fonction d'événement Storage

L'architecture de l'application de fonction d'événement Storage utilise plusieurs produits. Vous trouverez ci-dessous la liste des composants, ainsi que des informations complémentaires, y compris des liens vers des vidéos similaires, la documentation du produit et des tutoriels interactifs.
Vidéo Docs Tutoriels
Cloud Run Cloud Run vous permet d'exécuter des applications dans un conteneur, mais sans serveur, sans avoir à configurer le nombre d'instances, de processeurs ou de mémoire. Importez un conteneur et obtenez une URL.
Cloud Storage Cloud Storage permet de stocker des fichiers et de diffuser des images via HTTP(S).
Cloud Functions Cloud Functions est une plate-forme de services qui vous permet d'écouter des fichiers Cloud Storage importés et d'exécuter du code pour en créer des vignettes.
Cloud Build Cloud Build est l'outil qui empaquette les conteneurs et les déploie pour qu'ils soient disponibles en tant que services Cloud Run.

Scripts

Le script d'installation utilise un exécutable écrit dans go et les outils CLI Terraform pour effectuer un projet vide et y installer l'application. Le résultat doit être une application opérationnelle et une URL pour l'adresse IP d'équilibrage de charge.

./main.tf

Activer les services

Les services Google Cloud sont désactivés par défaut dans un projet. Pour utiliser l'une des solutions, nous devons activer les éléments suivants:

  • Cloud Build : crée des images de conteneurs et les déploie sur Cloud Run.
  • Cloud Storage : héberge des fichiers statiques.
  • Cloud Functions – Plate-forme Functions as a Service
  • Cloud Run : outil sans serveur qui héberge le conteneur et fournit une URL permettant d'accéder à l'application.
  • Artifact Registry : stocke les images Docker à utiliser avec Cloud Build.
variable "gcp_service_list" {
    description = "The list of apis necessary for the project"
    type        = list(string)
    default = [
        "cloudbuild.googleapis.com",
        "storage.googleapis.com",
        "cloudfunctions.googleapis.com",
        "run.googleapis.com",
        "artifactregistry.googleapis.com",
    ]
}

resource "google_project_service" "all" {
    for_each                   = toset(var.gcp_service_list)
    project                    = var.project_number
    service                    = each.key
    disable_dependent_services = false
    disable_on_destroy         = false
}

Définir des autorisations

Définit les rôles et les autorisations IAM permettant à Cloud Build de déployer tous les services.

  • Autoriser le compte de service Cloud Build à effectuer des déploiements sur Cloud Run
  • Autoriser le compte de service Cloud Build à effectuer des activités liées à ce compte
  • Autoriser le compte de service Cloud Build à publier sur Cloud Run
  • Activer le compte de service Cloud Build pour stocker des conteneurs dans Artifact Registry
variable "build_roles_list" {
    description = "The list of roles that build needs for"
    type        = list(string)
    default = [
        "roles/run.developer",
        "roles/iam.serviceAccountUser",
        "roles/run.admin",
        "roles/cloudfunctions.admin",
        "roles/artifactregistry.admin",
    ]
}

resource "google_project_iam_member" "allbuild" {
    for_each   = toset(var.build_roles_list)
    project    = var.project_number
    role       = each.key
    member     = "serviceAccount:${local.sabuild}"
    depends_on = [google_project_service.all]
}

Créer des buckets de stockage

crée un espace de stockage pour les images et les vignettes importées, et fournit un emplacement de stockage temporaire pour l'importation Cloud Functions ;

resource "google_storage_bucket" "target_bucket" {
    name     = var.bucket
    project  = var.project_number
    location = var.location
}

resource "google_storage_bucket" "function_bucket" {
    name     = "${var.project_id}-function-deployer"
    project  = var.project_number
    location = var.location
}

Créer un dépôt Artifact Registry

Le code suivant décrit les paramètres du dépôt Artifact Registry dans lequel les conteneurs sont stockés.

resource "google_artifact_registry_repository" "app" {
    provider      = google-beta
    format        = "DOCKER"
    location      = var.region
    project       = var.project_id
    repository_id = "${var.basename}-app"
    depends_on    = [google_project_service.all]
}

Créer un conteneur pour l'application Cloud Run

La commande suivante crée une image et l'importe dans Artifact Registry pour l'utiliser avec Cloud Build.

resource "null_resource" "cloudbuild_app" {
    provisioner "local-exec" {
        working_dir = "${path.module}/code/app"
        command     = "gcloud builds submit . --substitutions=_REGION=${var.region},_BASENAME=${var.basename}"
    }

    depends_on = [
        google_artifact_registry_repository.app,
        google_project_service.all
    ]
}

Déployer dans Cloud Run

La commande suivante utilise Cloud Build pour déployer l'application Web cliente sur Cloud Run.

resource "google_cloud_run_service" "app" {
    name     = "${var.basename}-app"
    location = var.region
    project  = var.project_id

    template {
        spec {
            containers {
                image = "${var.region}-docker.pkg.dev/${var.project_id}/${var.basename}-app/prod"
                env {
                name  = "BUCKET"
                value = var.bucket
                }
            }
        }

        metadata {
            annotations = {
                "autoscaling.knative.dev/maxScale" = "1000"
                "run.googleapis.com/client-name"   = "terraform"
            }
        }
    }
    autogenerate_revision_name = true
    depends_on = [
        null_resource.cloudbuild_app,
    ]
}

data "google_iam_policy" "noauth" {
    binding {
        role = "roles/run.invoker"
        members = [
        "allUsers",
        ]
    }
}

resource "google_cloud_run_service_iam_policy" "noauth_app" {
    location    = google_cloud_run_service.app.location
    project     = google_cloud_run_service.app.project
    service     = google_cloud_run_service.app.name
    policy_data = data.google_iam_policy.noauth.policy_data
}

Déployer le code de la fonction dans Cloud Functions

Déployez directement les fonctions et activez-les.

resource "google_storage_bucket_object" "archive" {
    name   = "index.zip"
    bucket = google_storage_bucket.function_bucket.name
    source = "index.zip"
    depends_on = [
        google_project_service.all,
        google_storage_bucket.function_bucket,
        null_resource.cloudbuild_function
    ]
}

resource "google_cloudfunctions_function" "function" {
    name    = var.basename
    project = var.project_id
    region  = var.region
    runtime = "go116"

    available_memory_mb   = 128
    source_archive_bucket = google_storage_bucket.function_bucket.name
    source_archive_object = google_storage_bucket_object.archive.name
    entry_point           = "OnFileUpload"
    event_trigger {
        event_type = "google.storage.object.finalize"
        resource   = google_storage_bucket.target_bucket.name
    }

    depends_on = [
        google_storage_bucket.function_bucket,
        google_storage_bucket.target_bucket,
        google_storage_bucket_object.archive,
        google_project_service.all
    ]
}

/code/app/cloudbuild.yaml

Créer un conteneur d'API

La commande suivante crée une image Docker pour l'application Web.

- name: "gcr.io/cloud-builders/docker"
  args: [ "build", "-t", "$_REGION-docker.pkg.dev/$PROJECT_ID/$_BASENAME-app/prod", ".", ]

Transférer le conteneur de l'API vers Artifact Registry

Transférer le conteneur vers Artifact Registry permet à Cloud Run d'obtenir l'image et de la diffuser.

- name: "gcr.io/cloud-builders/docker"
  args: ["push", "$_REGION-docker.pkg.dev/$PROJECT_ID/$_BASENAME-app/prod"]

Substitutions

Créez une variable par défaut afin de pouvoir modifier ces valeurs au moment du déploiement.

substitutions:
  _REGION: us-central1
  _BASENAME: scaler

Conclusion

Vous disposez maintenant d'une solution de création de vignettes qui s'exécute dans votre projet et qui utilise Cloud Functions pour répondre aux modifications dans un bucket de stockage. Vous disposez également de tout le code nécessaire pour modifier ou étendre cette solution