Tutoriel ImageMagick

Ce tutoriel décrit l'utilisation de Cloud Functions, de l'API Google Cloud Vision et de l'outil ImageMagick pour détecter et flouter les images choquantes importées dans un bucket Cloud Storage.

Objectifs

  • Déployer une fonction Cloud Function d'arrière-plan déclenchée par le stockage
  • Utiliser l'API Cloud Vision pour détecter les contenus violents ou réservés aux adultes
  • Utiliser ImageMagick pour flouter les images choquantes
  • Tester la fonction en important une image d'un zombie mangeur de chair

Coûts

Ce tutoriel fait appel à des composants facturables de Cloud Platform, en particulier :

  • Google Cloud Functions
  • Google Cloud Storage
  • API Google Cloud Vision

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.

Les nouveaux utilisateurs de Cloud Platform peuvent bénéficier d'un essai gratuit.

Avant de commencer

    https://cloud.google.com/functions/docs/tutorials/imagemagick cloudfunctions,storage_api,vision Cloud Functions, Cloud Storage, and Cloud Vision gcloud_init
  1. Connectez-vous à votre compte Google.

    Si vous n'en possédez pas déjà un, vous devez en créer un.

  2. Dans Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Cloud.

    Accéder à la page de sélection du projet

  3. Vérifiez que la facturation est activée pour votre projet Google Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Mettez à jour les composants gcloud :
    gcloud components update
  5. Préparez votre environnement de développement.

Visualiser le flux de données

Le flux de données dans l'application du tutoriel ImageMagick comprend plusieurs étapes :

  1. Une image est importée dans un bucket Cloud Storage.
  2. Cloud Function analyse l'image à l'aide de l'API Cloud Vision.
  3. Si un contenu violent ou réservé aux adultes est détecté, Cloud Function utilise ImageMagick pour flouter l'image.
  4. L'image floue est importée dans un autre bucket Cloud Storage pour être utilisée.

Préparer l'application

  1. Créez un bucket Cloud Storage pour importer des images, avec un attribut de nom YOUR_INPUT_BUCKET_NAME encore jamais utilisé :

        gsutil mb gs://YOUR_INPUT_BUCKET_NAME
        
  2. Créez un bucket Cloud Storage destiné à recevoir des images floues, où YOUR_OUTPUT_BUCKET_NAME est un nom de bucket unique :

        gsutil mb gs://YOUR_OUTPUT_BUCKET_NAME
        
  3. Clonez le dépôt de l'exemple d'application sur votre machine locale :

    Node.js

    git clone https://github.com/GoogleCloudPlatform/nodejs-docs-samples.git

    Vous pouvez également télécharger l'exemple en tant que fichier ZIP et l'extraire.

    Python

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

    Vous pouvez également télécharger l'exemple en tant que fichier ZIP et l'extraire.

    Go

    git clone https://github.com/GoogleCloudPlatform/golang-samples.git

    Vous pouvez également télécharger l'exemple en tant que fichier ZIP et l'extraire.

  4. Accédez au répertoire qui contient l'exemple de code de Cloud Functions :

    Node.js

    cd nodejs-docs-samples/functions/imagemagick/

    Python

    cd python-docs-samples/functions/imagemagick/

    Go

    cd golang-samples/functions/imagemagick/

Comprendre le code

Importer des dépendances

L'application doit importer plusieurs dépendances afin d'interagir avec les services Google Cloud Platform, ImageMagick et le système de fichiers :

Node.js

const gm = require('gm').subClass({imageMagick: true});
    const fs = require('fs');
    const {promisify} = require('util');
    const path = require('path');
    const vision = require('@google-cloud/vision');

    const {Storage} = require('@google-cloud/storage');
    const storage = new Storage();
    const client = new vision.ImageAnnotatorClient();

    const {BLURRED_BUCKET_NAME} = process.env;

Python

import os
    import tempfile

    from google.cloud import storage, vision
    from wand.image import Image

    storage_client = storage.Client()
    vision_client = vision.ImageAnnotatorClient()

Go


    // Package imagemagick contains an example of using ImageMagick to process a
    // file uploaded to Cloud Storage.
    package imagemagick

    import (
    	"context"
    	"errors"
    	"fmt"
    	"log"
    	"os"
    	"os/exec"

    	"cloud.google.com/go/storage"
    	vision "cloud.google.com/go/vision/apiv1"
    	visionpb "google.golang.org/genproto/googleapis/cloud/vision/v1"
    )

    // Global API clients used across function invocations.
    var (
    	storageClient *storage.Client
    	visionClient  *vision.ImageAnnotatorClient
    )

    func init() {
    	// Declare a separate err variable to avoid shadowing the client variables.
    	var err error

    	storageClient, err = storage.NewClient(context.Background())
    	if err != nil {
    		log.Fatalf("storage.NewClient: %v", err)
    	}

    	visionClient, err = vision.NewImageAnnotatorClient(context.Background())
    	if err != nil {
    		log.Fatalf("vision.NewAnnotatorClient: %v", err)
    	}
    }
    

Analyser les images

La fonction suivante est appelée lorsqu'une image est importée dans le bucket Cloud Storage que vous avez créé pour stocker des images. La fonction utilise l'API Cloud Vision pour détecter le contenu violent ou réservé aux adultes dans les images importées.

Node.js

// Blurs uploaded images that are flagged as Adult or Violence.
    exports.blurOffensiveImages = async event => {
      // This event represents the triggering Cloud Storage object.
      const object = event;

      const file = storage.bucket(object.bucket).file(object.name);
      const filePath = `gs://${object.bucket}/${object.name}`;

      console.log(`Analyzing ${file.name}.`);

      try {
        const [result] = await client.safeSearchDetection(filePath);
        const detections = result.safeSearchAnnotation || {};

        if (
          // Levels are defined in https://cloud.google.com/vision/docs/reference/rest/v1/AnnotateImageResponse#likelihood
          detections.adult === 'VERY_LIKELY' ||
          detections.violence === 'VERY_LIKELY'
        ) {
          console.log(`Detected ${file.name} as inappropriate.`);
          return blurImage(file, BLURRED_BUCKET_NAME);
        } else {
          console.log(`Detected ${file.name} as OK.`);
        }
      } catch (err) {
        console.error(`Failed to analyze ${file.name}.`, err);
        throw err;
      }
    };

Python

# Blurs uploaded images that are flagged as Adult or Violence.
    def blur_offensive_images(data, context):
        file_data = data

        file_name = file_data['name']
        bucket_name = file_data['bucket']

        blob = storage_client.bucket(bucket_name).get_blob(file_name)
        blob_uri = f'gs://{bucket_name}/{file_name}'
        blob_source = {'source': {'image_uri': blob_uri}}
        # Ignore already-blurred files
        if file_name.startswith('blurred-'):
            print(f'The image {file_name} is already blurred.')
            return

        print(f'Analyzing {file_name}.')

        result = vision_client.safe_search_detection(blob_source)
        detected = result.safe_search_annotation

        # Process image
        if detected.adult == 5 or detected.violence == 5:
            print(f'The image {file_name} was detected as inappropriate.')
            return __blur_image(blob)
        else:
            print(f'The image {file_name} was detected as OK.')

Go


    // GCSEvent is the payload of a GCS event.
    type GCSEvent struct {
    	Bucket string `json:"bucket"`
    	Name   string `json:"name"`
    }

    // BlurOffensiveImages blurs offensive images uploaded to GCS.
    func BlurOffensiveImages(ctx context.Context, e GCSEvent) error {
    	outputBucket := os.Getenv("BLURRED_BUCKET_NAME")
    	if outputBucket == "" {
    		return errors.New("BLURRED_BUCKET_NAME must be set")
    	}

    	img := vision.NewImageFromURI(fmt.Sprintf("gs://%s/%s", e.Bucket, e.Name))

    	resp, err := visionClient.DetectSafeSearch(ctx, img, nil)
    	if err != nil {
    		return fmt.Errorf("AnnotateImage: %v", err)
    	}

    	if resp.GetAdult() == visionpb.Likelihood_VERY_LIKELY ||
    		resp.GetViolence() == visionpb.Likelihood_VERY_LIKELY {
    		return blur(ctx, e.Bucket, outputBucket, e.Name)
    	}
    	log.Printf("The image %q was detected as OK.", e.Name)
    	return nil
    }
    

Flouter des images

La fonction suivante est appelée lorsqu'un contenu violent ou réservé aux adultes est détecté dans une image importée. La fonction télécharge l'image choquante, utilise ImageMagick pour flouter l'image, puis importe l'image floutée sur l'image d'origine.

Node.js

// Blurs the given file using ImageMagick, and uploads it to another bucket.
    const blurImage = async (file, blurredBucketName) => {
      const tempLocalPath = `/tmp/${path.parse(file.name).base}`;

      // Download file from bucket.
      try {
        await file.download({destination: tempLocalPath});

        console.log(`Downloaded ${file.name} to ${tempLocalPath}.`);
      } catch (err) {
        throw new Error(`File download failed: ${err}`);
      }

      await new Promise((resolve, reject) => {
        gm(tempLocalPath)
          .blur(0, 16)
          .write(tempLocalPath, (err, stdout) => {
            if (err) {
              console.error('Failed to blur image.', err);
              reject(err);
            } else {
              console.log(`Blurred image: ${file.name}`);
              resolve(stdout);
            }
          });
      });

      // Upload result to a different bucket, to avoid re-triggering this function.
      const blurredBucket = storage.bucket(blurredBucketName);

      // Upload the Blurred image back into the bucket.
      const gcsPath = `gs://${blurredBucketName}/${file.name}`;
      try {
        await blurredBucket.upload(tempLocalPath, {destination: file.name});
        console.log(`Uploaded blurred image to: ${gcsPath}`);
      } catch (err) {
        throw new Error(`Unable to upload blurred image to ${gcsPath}: ${err}`);
      }

      // Delete the temporary file.
      const unlink = promisify(fs.unlink);
      return unlink(tempLocalPath);
    };

Python

# Blurs the given file using ImageMagick.
    def __blur_image(current_blob):
        file_name = current_blob.name
        _, temp_local_filename = tempfile.mkstemp()

        # Download file from bucket.
        current_blob.download_to_filename(temp_local_filename)
        print(f'Image {file_name} was downloaded to {temp_local_filename}.')

        # Blur the image using ImageMagick.
        with Image(filename=temp_local_filename) as image:
            image.resize(*image.size, blur=16, filter='hamming')
            image.save(filename=temp_local_filename)

        print(f'Image {file_name} was blurred.')

        # Upload result to a second bucket, to avoid re-triggering the function.
        # You could instead re-upload it to the same bucket + tell your function
        # to ignore files marked as blurred (e.g. those with a "blurred" prefix)
        blur_bucket_name = os.getenv('BLURRED_BUCKET_NAME')
        blur_bucket = storage_client.bucket(blur_bucket_name)
        new_blob = blur_bucket.blob(file_name)
        new_blob.upload_from_filename(temp_local_filename)
        print(f'Blurred image uploaded to: gs://{blur_bucket_name}/{file_name}')

        # Delete the temporary file.
        os.remove(temp_local_filename)

Go


    // blur blurs the image stored at gs://inputBucket/name and stores the result in
    // gs://outputBucket/name.
    func blur(ctx context.Context, inputBucket, outputBucket, name string) error {
    	inputBlob := storageClient.Bucket(inputBucket).Object(name)
    	r, err := inputBlob.NewReader(ctx)
    	if err != nil {
    		return fmt.Errorf("NewReader: %v", err)
    	}

    	outputBlob := storageClient.Bucket(outputBucket).Object(name)
    	w := outputBlob.NewWriter(ctx)
    	defer w.Close()

    	// Use - as input and output to use stdin and stdout.
    	cmd := exec.Command("convert", "-", "-blur", "0x8", "-")
    	cmd.Stdin = r
    	cmd.Stdout = w

    	if err := cmd.Run(); err != nil {
    		return fmt.Errorf("cmd.Run: %v", err)
    	}

    	log.Printf("Blurred image uploaded to gs://%s/%s", outputBlob.BucketName(), outputBlob.ObjectName())

    	return nil
    }
    

Déployer la fonction

  1. Pour déployer votre fonction Cloud avec un déclencheur Cloud Storage, exécutez la commande suivante dans le répertoire imagemagick :

    Node.js

    gcloud functions deploy blurOffensiveImages --runtime nodejs8 --trigger-bucket YOUR_INPUT_BUCKET_NAME --set-env-vars BLURRED_BUCKET_NAME=YOUR_OUTPUT_BUCKET_NAME
    Vous pouvez attribuer les valeurs suivantes à l'option --runtime, afin de spécifier votre version préférée de Node.js :
    • nodejs6 (obsolète)
    • nodejs8
    • nodejs10 (version bêta)

    Python

    gcloud functions deploy blur_offensive_images --runtime python37 --trigger-bucket YOUR_INPUT_BUCKET_NAME --set-env-vars BLURRED_BUCKET_NAME=YOUR_OUTPUT_BUCKET_NAME

    Go

    gcloud functions deploy BlurOffensiveImages --runtime go111 --trigger-bucket YOUR_INPUT_BUCKET_NAME --set-env-vars BLURRED_BUCKET_NAME=YOUR_OUTPUT_BUCKET_NAME
    Vous pouvez attribuer les valeurs suivantes à l'option --runtime, afin de spécifier votre version préférée de Go :
    • go111
    • go113 (version bêta)

    YOUR_INPUT_BUCKET_NAME correspond au nom du bucket Cloud Storage dans lequel importer les images, et YOUR_OUTPUT_BUCKET_NAME au nom du bucket dans lequel les images floues doivent être enregistrées.

Importer une image

  1. Importez une image choquante, telle que cette image d'un zombie mangeur de chair :

        gsutil cp zombie.jpg gs://YOUR_INPUT_BUCKET_NAME
        

    YOUR_INPUT_BUCKET_NAME est le bucket Cloud Storage que vous avez créé précédemment pour importer des images.

  2. Consultez les journaux pour vous assurer que les exécutions sont terminées :

        gcloud functions logs read --limit 100
        
  3. Vous pouvez afficher les images floues dans le bucket Cloud Storage YOUR_OUTPUT_BUCKET_NAME que vous avez créé précédemment.

Nettoyer

Afin d'éviter que des frais ne soient facturés sur votre compte Google Cloud Platform pour les ressources utilisées dans ce tutoriel, procédez comme suit :

Supprimer le projet

Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.

Pour supprimer le projet :

    console
  1. Dans Cloud Console, accédez à la page Gérer les ressources.

    Accéder à la page Gérer les ressources

  2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
  3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Supprimer une fonction Cloud Functions

La suppression de fonctions Cloud Functions ne supprime pas les ressources stockées dans Cloud Storage.

Pour supprimer la fonction Cloud que vous avez déployée dans ce tutoriel, exécutez la commande suivante :

Node.js

gcloud functions delete blurOffensiveImages 

Python

gcloud functions delete blur_offensive_images 

Go

gcloud functions delete BlurOffensiveImages 

Vous pouvez également supprimer des fonctions Cloud Functions à partir de la console Google  Cloud.