Détecter les anomalies dans les données

---

Attention:L'exploration Dataplex est obsolète. Fin de la prise en charge de l'exploration 30 juin 2025. Nous vous recommandons de transférer vos éléments vers BigQuery Studio pour bénéficier dans tous les outils d'analyse Google Cloud. Voir Migrez de l'outil Explorer vers BigQuery Studio.

Ce document explique comment utiliser Dataplex Explore pour détecter des anomalies dans un ensemble de données sur les transactions de vente au détail.

L'environnement de travail d'exploration de données, ou Explorer, permet aux analystes de données d'interroger et d'explorer de manière interactive de grands jeux de données dans en temps réel. Explorer vous aide à dégager des insights de vos données et à effectuer des requêtes stockées dans Cloud Storage et BigQuery. Explore utilise une plate-forme Spark sans serveur. Vous n'avez donc pas besoin de gérer ni d'évoluer l'infrastructure sous-jacente.

Objectifs

Ce guide vous explique comment effectuer les tâches suivantes :

• Utilisez l'environnement de travail Spark SQL d'Explorer pour écrire et exécuter des requêtes SQL Spark.
• Utilisez un notebook JupyterLab pour afficher les résultats.
• Planifiez l'exécution récurrente de votre notebook pour surveiller les anomalies dans vos données.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Dataplex
• Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.

Avant de commencer

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Install the Google Cloud CLI.

7. To initialize the gcloud CLI, run the following command:

   gcloud init

8. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

9. Make sure that billing is enabled for your Google Cloud project.

Remarque :Explorer n'est disponible que dans les régions us-central1 et europe-west2. Assurez-vous que toutes vos sources de données (buckets Cloud Storage et tables BigQuery) se trouvent dans la même région. En savoir plus

Préparer les données pour l'exploration

1. Téléchargez le fichier Parquet retail_offline_sales_march.

   Télécharger le fichier Parquet

2. Créez un bucket Cloud Storage nommé offlinesales_curated comme suit :

   1. In the Google Cloud console, go to the Cloud Storage Buckets page.

      Go to Buckets page

   2. Click Create bucket.
   3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
      • For Name your bucket, enter a name that meets the bucket naming requirements.
      • For Choose where to store your data, do the following:
        • Select a Location type option.
        • Select a Location option.
      • For Choose a default storage class for your data, select a storage class.
      • For Choose how to control access to objects, select an Access control option.
      • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
   4. Click Create.

3. Importez le fichier offlinesales_march_parquet que vous avez téléchargé dans le bucket Cloud Storage offlinesales_curated que vous avez créé en suivant la procédure décrite dans la section Importer un objet à partir d'un système de fichiers.

4. Créez un lac Dataplex et nommez-le operations en suivant en suivant les étapes de la section Créer un lac de données.

5. Dans le lac operations, ajoutez une zone et nommez-la procurement en procédant comme suit : suivez la procédure décrite dans Ajouter une zone.

6. Dans la zone procurement, ajoutez offlinesales_curated. bucket Cloud Storage que vous avez créé en tant qu'élément, en suivant la les étapes de la section Ajouter un asset.

Sélectionner la table à explorer

1. Dans la console Google Cloud, accédez à la page Explorer de Dataplex. .

2. Dans le champ Lake (Lake), sélectionnez le lac operations.

3. Cliquez sur le lac operations.

4. Accédez à la zone procurement et cliquez sur la table pour explorer ses de métadonnées.

   Dans l'image suivante, la zone d'approvisionnement sélectionnée comporte une table appelée Offline, qui contient les métadonnées suivantes : orderid, product, quantityordered, unitprice, orderdate et purchaseaddress.

   

5. Dans l'Éditeur Spark SQL, cliquez sur  Ajouter. Un script Spark SQL s'affiche.

6. Facultatif: Ouvrez le script dans la vue par onglet fractionné pour afficher les métadonnées et le nouveau script côte à côte. Cliquez sur  Plus dans l'onglet du nouveau script, puis sélectionnez Diviser l'onglet vers la droite ou Diviser l'onglet vers la gauche.

Explorer les données

Un environnement fournit des modèles des ressources de calcul pour que vos requêtes et notebooks Spark SQL s'exécutent dans un lac. Avant de rédiger des requêtes SQL Spark, créez un environnement. dans lequel exécuter vos requêtes.

Explorez vos données à l'aide des requêtes SparkSQL suivantes. Dans Dans l'éditeur SparkSQL, saisissez la requête dans le volet New Script (Nouveau script).

Exemple de 10 lignes du tableau

1. Saisissez la requête suivante :

   select * from procurement.offlinesales where orderid != 'orderid' limit 10;
   

2. Cliquez sur Exécuter.

Obtenir le nombre total de transactions dans l'ensemble de données

1. Saisissez la requête suivante :

   select count(*) from procurement.offlinesales where orderid!='orderid';
   

2. Cliquez sur Exécuter.

Trouver le nombre de types de produits différents dans l'ensemble de données

1. Saisissez la requête suivante :

   select count(distinct product) from procurement.offlinesales where orderid!='orderid';
   

2. Cliquez sur Exécuter.

Identifier les produits dont la valeur de transaction est élevée

Découvrez quels produits ont une valeur de transaction élevée en décomposant les ventes par type de produit et le prix de vente moyen.

1. Saisissez la requête suivante :

   select product,avg(quantityordered * unitprice) as avg_sales_amount from procurement.offlinesales where orderid!='orderid' group by product order by avg_sales_amount desc;
   

2. Cliquez sur Exécuter.

L'image suivante affiche un volet Results qui utilise une colonne appelée product pour identifier les articles dont la valeur de transaction est élevée, comme indiqué dans la colonne avg_sales_amount.

Détecter les anomalies à l'aide du coefficient de variation

La dernière requête a montré que les ordinateurs portables enregistrent un montant de transaction moyen élevé. La La requête suivante montre comment détecter les transactions sur ordinateur portable qui ne sont pas anormales dans l'ensemble de données.

La requête suivante utilise la métrique "coefficient de variation", rsd_value, pour identifier les transactions inhabituelles, dont la répartition est faible par rapport à la valeur moyenne. Un coefficient de variation inférieur indique moins d'anomalies.

1. Saisissez la requête suivante :

   WITH stats AS (
   SELECT product,
         AVG(quantityordered * unitprice)  AS avg_value,
         STDDEV(quantityordered * unitprice) / AVG(quantityordered * unitprice) AS rsd_value
   FROM procurement.offlinesales
   GROUP BY product)
   SELECT orderid, orderdate, product, (quantityordered * unitprice) as sales_amount,
       ABS(1 - (quantityordered * unitprice)/ avg_value) AS distance_from_avg
   FROM procurement.offlinesales INNER JOIN stats USING (product)
   WHERE rsd_value <= 0.2
   ORDER BY distance_from_avg DESC
   LIMIT 10
   

2. Cliquez sur Exécuter.

3. Consultez les résultats du script.

   Dans l'image suivante, un volet "Résultats" utilise une colonne appelée "produit" pour identifier les articles vendus dont la valeur de transaction se situe dans le coefficient de variation de 0,2.

   

Visualiser les anomalies à l'aide d'un notebook JupyterLab

Créez un modèle de ML pour détecter et visualiser les anomalies à grande échelle.

1. Créez un notebook.

2. Ouvrez le bloc-notes dans un nouvel onglet et attendez qu'il se charge. La session dans laquelle vous avez exécuté les requêtes Spark SQL se poursuit.

3. Importez les packages nécessaires et connectez-vous à la table externe BigQuery contenant les données sur les transactions. Exécutez le code suivant :

   from google.cloud import bigquery
   from google.api_core.client_options import ClientOptions
   import os
   import warnings
   warnings.filterwarnings('ignore')
   import pandas as pd
   
   project = os.environ['GOOGLE_CLOUD_PROJECT']
   options = ClientOptions(quota_project_id=project)
   client = bigquery.Client(client_options=options)
   client = bigquery.Client()
   
   #Load data into DataFrame
   
   sql = '''select * from procurement.offlinesales limit 100;'''
   df = client.query(sql).to_dataframe()
   

4. Exécutez l'algorithme de forêt d'isolation pour détecter les anomalies dans l'ensemble de données :

   to_model_columns = df.columns[2:4]
   from sklearn.ensemble import IsolationForest
   clf=IsolationForest(n_estimators=100, max_samples='auto', contamination=float(.12), \
                           max_features=1.0, bootstrap=False, n_jobs=-1, random_state=42, verbose=0)
   clf.fit(df[to_model_columns])
   pred = clf.predict(df[to_model_columns])
   df['anomaly']=pred
   outliers=df.loc[df['anomaly']==-1]
   outlier_index=list(outliers.index)
   #print(outlier_index)
   #Find the number of anomalies and normal points here points classified -1 are anomalous
   print(df['anomaly'].value_counts())
   

5. Tracez les anomalies prédites à l'aide d'une visualisation Matplotlib:

   import numpy as np
   from sklearn.decomposition import PCA
   pca = PCA(2)
   pca.fit(df[to_model_columns])
   res=pd.DataFrame(pca.transform(df[to_model_columns]))
   Z = np.array(res)
   plt.title("IsolationForest")
   plt.contourf( Z, cmap=plt.cm.Blues_r)
   b1 = plt.scatter(res[0], res[1], c='green',
                   s=20,label="normal points")
   b1 =plt.scatter(res.iloc[outlier_index,0],res.iloc[outlier_index,1], c='green',s=20,  edgecolor="red",label="predicted outliers")
   plt.legend(loc="upper right")
   plt.show()
   

Cette image montre les données de transaction, avec les anomalies mises en surbrillance en rouge.

Programmer le notebook

Explorer vous permet de programmer l'exécution périodique d'un notebook. Suivez la procédure pour planifier le notebook Jupyter que vous avez créé.

Dataplex crée une tâche de planification pour exécuter votre notebook régulièrement. Pour surveiller la progression de la tâche, cliquez sur Afficher les plannings

Partager ou exporter le notebook

Explorer vous permet de partager un bloc-notes avec d'autres membres de votre organisation à l'aide d'autorisations IAM.

Examinez les rôles. Accorder ou révoquer le rôle de lecteur Dataplex (roles/dataplex.viewer), éditeur Dataplex (roles/dataplex.editor) et Administrateur Dataplex (roles/dataplex.admin) attribués aux utilisateurs pour ce notebook. Une fois que vous avez partagé un notebook, les utilisateurs disposant des rôles Lecteur ou Éditeur au niveau du lac peuvent y accéder et travailler sur le notebook partagé.

Pour partager ou exporter un notebook, consultez Partager un notebook ou Exporter un notebook.

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Supprimer le projet

Attention : La suppression d'un projet entraîne les effets décrits ci-dessous :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Supprimer des ressources individuelles

1. Supprimez le bucket :

   gcloud storage buckets delete BUCKET_NAME

   Important : Votre bucket doit être vide afin d'être supprimé.
2. Supprimez l'instance.

   gcloud compute instances delete INSTANCE_NAME

Étape suivante

• En savoir plus sur Dataplex Explore
• Planifier des scripts et des notebooks