Détecter les anomalies dans les données

---

Ce document explique comment utiliser Dataplex Explore pour détecter des anomalies dans un ensemble de données de transactions.

Data Workbench, une solution d'exploration des données, permet aux analystes de données d'interroger et d'explorer de grands ensembles de données en temps réel. La fonctionnalité Explorer vous aide à obtenir des insights à partir de vos données, et à interroger des données stockées dans Cloud Storage et BigQuery. Explorer utilise une plate-forme Spark sans serveur. Vous n'avez donc pas besoin de gérer ni de faire évoluer l'infrastructure sous-jacente.

Objectifs

Ce guide vous explique comment effectuer les tâches suivantes :

• Utilisez Spark SQL Workbench d'Explore pour écrire et exécuter des requêtes Spark SQL.
• Utilisez un notebook JupyterLab pour afficher les résultats.
• Planifiez l'exécution récurrente de votre notebook, ce qui vous permet de surveiller vos anomalies.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Dataplex
• Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
2. Installez Google Cloud CLI.

3. Pour initialiser gcloudCLI, exécutez la commande suivante :

   gcloud init

4. Créer ou sélectionner un projet Google Cloud

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   • Créez un projet Google Cloud :

     gcloud projects create PROJECT_ID

   • Sélectionnez le projet Google Cloud que vous avez créé :

     gcloud config set project PROJECT_ID

5. Vérifiez que la facturation est activée pour votre projet Google Cloud.

6. Installez Google Cloud CLI.

7. Pour initialiser gcloudCLI, exécutez la commande suivante :

   gcloud init

8. Créer ou sélectionner un projet Google Cloud

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   • Créez un projet Google Cloud :

     gcloud projects create PROJECT_ID

   • Sélectionnez le projet Google Cloud que vous avez créé :

     gcloud config set project PROJECT_ID

9. Vérifiez que la facturation est activée pour votre projet Google Cloud.

Remarque: L'exploration n'est disponible que dans les régions us-central1 et europe-west2. Assurez-vous que toutes vos sources de données (buckets Cloud Storage et tables BigQuery) se trouvent dans la même région. En savoir plus

Préparer les données pour l'exploration

1. Téléchargez le fichier Parquet, retail_offline_sales_march.

   Télécharger le fichier Parquet

2. Créez un bucket Cloud Storage appelé offlinesales_curated comme suit:

   1. Dans la console Google Cloud, accédez à la page Buckets Cloud Storage.

      Accéder à la page "Buckets"

   2. Cliquez sur Créer un bucket.
   3. Sur la page Créer un bucket, saisissez les informations concernant votre bucket. Pour passer à l'étape suivante, cliquez sur Continuer.
      • Pour nommer votre bucket, saisissez un nom qui répond aux exigences de dénomination des buckets.
      • Pour Choisir l'emplacement de stockage des données, procédez comme suit :
        • Sélectionnez une option de type d'emplacement.
        • Sélectionnez une option Location (Emplacement).
      • Pour Choisir une classe de stockage par défaut pour vos données, sélectionnez une classe de stockage.
      • Pour le champ Choisir comment contrôler l'accès aux objets, sélectionnez une option de Contrôle des accès.
      • Sous Paramètres avancés (facultatif), choisissez une méthode de chiffrement, une règle de conservation ou des libellés de bucket.
   4. Cliquez sur Create (Créer).

3. Importez le fichier offlinesales_march_parquet que vous avez téléchargé dans le bucket Cloud Storage offlinesales_curated que vous avez créé en suivant la procédure décrite dans Importer un objet à partir d'un système de fichiers.

4. Créez un lac Dataplex et nommez-le operations en suivant la procédure décrite dans Créer un lac.

5. Dans le lac operations, ajoutez une zone et nommez-la procurement en suivant la procédure Ajouter une zone.

6. Dans la zone procurement, ajoutez le bucket Cloud Storage offlinesales_curated que vous avez créé en tant qu'élément en suivant la procédure décrite dans Ajouter un élément.

Sélectionnez la table à explorer

1. Dans la console Google Cloud, accédez à la page Explorer de Dataplex.

   Accéder à Explorer

2. Dans le champ Lake (Lac), sélectionnez le lac operations.

3. Cliquez sur le lac operations.

4. Accédez à la zone procurement, puis cliquez sur la table pour explorer ses métadonnées.

   Dans l'image ci-dessous, la zone d'achat sélectionnée contient une table appelée Offline, qui contient les métadonnées suivantes: orderid, product, quantityordered, unitprice, orderdate et purchaseaddress.

   

5. Dans l'éditeur Spark SQL, cliquez sur Ajouter. Un script Spark SQL apparaît.

6. Facultatif: ouvrez le script dans la vue de l'onglet divisé pour afficher les métadonnées et le nouveau script côte à côte. Cliquez sur Plus dans le nouvel onglet de script, puis sélectionnez Diviser l'onglet à droite ou Diviser l'onglet à gauche.

Explorer les données

Un environnement fournit des ressources de calcul sans serveur pour vos requêtes et vos notebooks Spark SQL à exécuter dans un lac. Avant d'écrire des requêtes Spark SQL, créez un environnement dans lequel exécuter vos requêtes.

Explorez vos données à l'aide des requêtes SparkSQL suivantes. Dans l'éditeur SparkSQL, saisissez la requête dans le volet Nouveau script.

Exemple de 10 lignes de la table

1. Saisissez la requête suivante :

   select * from procurement.offlinesales where orderid != 'orderid' limit 10;
   

2. Cliquez sur Exécuter.

Obtenir le nombre total de transactions dans l'ensemble de données

1. Saisissez la requête suivante :

   select count(*) from procurement.offlinesales where orderid!='orderid';
   

2. Cliquez sur Exécuter.

Déterminer le nombre de types de produits différents dans l'ensemble de données

1. Saisissez la requête suivante :

   select count(distinct product) from procurement.offlinesales where orderid!='orderid';
   

2. Cliquez sur Exécuter.

Identifiez les produits à forte valeur de transaction

Pour identifier les produits qui ont une valeur de transaction élevée, répartissez les ventes par type de produit et par prix de vente moyen.

1. Saisissez la requête suivante :

   select product,avg(quantityordered * unitprice) as avg_sales_amount from procurement.offlinesales where orderid!='orderid' group by product order by avg_sales_amount desc;
   

2. Cliquez sur Exécuter.

L'image suivante affiche un volet Results qui utilise une colonne appelée product pour identifier les articles avec des valeurs de transaction importantes, comme indiqué dans la colonne avg_sales_amount.

Détecter les anomalies à l'aide d'un coefficient de variation

La dernière requête a révélé que les ordinateurs portables affichent un nombre moyen de transactions élevé. La requête suivante montre comment détecter les transactions sur ordinateur portable qui ne sont pas anormales dans l'ensemble de données.

La requête suivante utilise la métrique "Coefficient de variation" (rsd_value) pour rechercher les transactions inhabituelles, pour lesquelles la répartition des valeurs est faible par rapport à la valeur moyenne. Un coefficient de variation faible indique moins d'anomalies.

1. Saisissez la requête suivante :

   WITH stats AS (
   SELECT product,
         AVG(quantityordered * unitprice)  AS avg_value,
         STDDEV(quantityordered * unitprice) / AVG(quantityordered * unitprice) AS rsd_value
   FROM procurement.offlinesales
   GROUP BY product)
   SELECT orderid, orderdate, product, (quantityordered * unitprice) as sales_amount,
       ABS(1 - (quantityordered * unitprice)/ avg_value) AS distance_from_avg
   FROM procurement.offlinesales INNER JOIN stats USING (product)
   WHERE rsd_value <= 0.2
   ORDER BY distance_from_avg DESC
   LIMIT 10
   

2. Cliquez sur Exécuter.

3. Consultez les résultats du script.

   Dans l'image ci-dessous, un volet "Résultats" utilise une colonne appelée "produit" pour identifier les articles avec des valeurs de transaction comprises dans la variante de 0,2.

   

Visualiser les anomalies à l'aide d'un notebook JupyterLab

Créez un modèle de ML pour détecter et visualiser les anomalies à grande échelle.

1. Créez un notebook.

2. Ouvrez le notebook dans un onglet distinct et attendez qu'il se charge. La session au cours de laquelle vous avez exécuté les requêtes Spark SQL se poursuit.

3. Importez les packages nécessaires et connectez-vous à la table externe BigQuery qui contient les données de transaction. Exécutez le code suivant :

   from google.cloud import bigquery
   from google.api_core.client_options import ClientOptions
   import os
   import warnings
   warnings.filterwarnings('ignore')
   import pandas as pd
   
   project = os.environ['GOOGLE_CLOUD_PROJECT']
   options = ClientOptions(quota_project_id=project)
   client = bigquery.Client(client_options=options)
   client = bigquery.Client()
   
   #Load data into DataFrame
   
   sql = '''select * from procurement.offlinesales limit 100;'''
   df = client.query(sql).to_dataframe()
   

4. Exécutez l'algorithme de forêt d'isolation pour découvrir les anomalies dans l'ensemble de données:

   to_model_columns = df.columns[2:4]
   from sklearn.ensemble import IsolationForest
   clf=IsolationForest(n_estimators=100, max_samples='auto', contamination=float(.12), \
                           max_features=1.0, bootstrap=False, n_jobs=-1, random_state=42, verbose=0)
   clf.fit(df[to_model_columns])
   pred = clf.predict(df[to_model_columns])
   df['anomaly']=pred
   outliers=df.loc[df['anomaly']==-1]
   outlier_index=list(outliers.index)
   #print(outlier_index)
   #Find the number of anomalies and normal points here points classified -1 are anomalous
   print(df['anomaly'].value_counts())
   

5. Tracez les anomalies prédites à l'aide d'une visualisation Matplotlib:

   import numpy as np
   from sklearn.decomposition import PCA
   pca = PCA(2)
   pca.fit(df[to_model_columns])
   res=pd.DataFrame(pca.transform(df[to_model_columns]))
   Z = np.array(res)
   plt.title("IsolationForest")
   plt.contourf( Z, cmap=plt.cm.Blues_r)
   b1 = plt.scatter(res[0], res[1], c='green',
                   s=20,label="normal points")
   b1 =plt.scatter(res.iloc[outlier_index,0],res.iloc[outlier_index,1], c='green',s=20,  edgecolor="red",label="predicted outliers")
   plt.legend(loc="upper right")
   plt.show()
   

Cette image montre les données de transaction, avec les anomalies surlignées en rouge.

Planifier le notebook

La fonctionnalité Explorer vous permet de programmer l'exécution périodique d'un notebook. Suivez les étapes pour planifier le notebook Jupyter que vous avez créé.

Dataplex crée une tâche de planification pour exécuter régulièrement votre notebook. Pour surveiller la progression de la tâche, cliquez sur Afficher les planifications.

Partager ou exporter le notebook

Explorer vous permet de partager un notebook avec d'autres membres de votre organisation à l'aide d'autorisations IAM.

Examinez les rôles. Attribuez ou révoquez les rôles Dataplex Lecteur (roles/dataplex.viewer), Éditeur Dataplex (roles/dataplex.editor) et Administrateur Dataplex (roles/dataplex.admin) pour les utilisateurs de ce notebook. Une fois que vous avez partagé un notebook, les utilisateurs disposant des rôles de lecteur ou d'éditeur au niveau du lac peuvent accéder au lac et travailler sur le notebook partagé.

Pour savoir comment partager ou exporter un notebook, consultez Partager un notebook ou Exporter un notebook.

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Supprimer le projet

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Supprimez un projet Google Cloud :

gcloud projects delete PROJECT_ID

Supprimer des ressources individuelles

1. Supprimez le bucket :

   gsutil rb BUCKET_NAME

   Important : Votre bucket doit être vide afin d'être supprimé.
2. Supprimez l'instance.

   gcloud compute instances delete INSTANCE_NAME

Étapes suivantes

• En savoir plus sur Dataplex Explore
• Planifiez les scripts et les notebooks.