Ce document explique comment utiliser Dataplex Explore pour détecter des anomalies dans un ensemble de données de transactions de détail.
L'outil d'exploration de données, ou Explorer, permet aux analystes de données d'interroger et d'explorer de grands ensembles de données en temps réel de manière interactive. La fonction Explorer vous aide à dégager des insights de vos données et vous permet d'interroger les données stockées dans Cloud Storage et BigQuery. La fonction Explorer utilise une plate-forme Spark sans serveur. Vous n'avez donc pas besoin de gérer ni de faire évoluer l'infrastructure sous-jacente.
Objectifs
Ce guide vous explique comment effectuer les tâches suivantes :
- Utilisez l'environnement de travail Spark SQL d'Explorer pour écrire et exécuter des requêtes Spark SQL.
- Utilisez un notebook JupyterLab pour afficher les résultats.
- Planifiez une exécution récurrente de votre notebook afin de surveiller les anomalies dans vos données.
Coûts
Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :
Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.
Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
- Installez Google Cloud CLI.
-
Pour initialiser gcloudCLI, exécutez la commande suivante :
gcloud init
-
Créez ou sélectionnez un projet Google Cloud.
-
Créez un projet Google Cloud :
gcloud projects create PROJECT_ID
Remplacez
PROJECT_ID
par le nom du projet Google Cloud que vous créez. -
Sélectionnez le projet Google Cloud que vous avez créé :
gcloud config set project PROJECT_ID
Remplacez
PROJECT_ID
par le nom de votre projet Google Cloud.
-
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
- Installez Google Cloud CLI.
-
Pour initialiser gcloudCLI, exécutez la commande suivante :
gcloud init
-
Créez ou sélectionnez un projet Google Cloud.
-
Créez un projet Google Cloud :
gcloud projects create PROJECT_ID
Remplacez
PROJECT_ID
par le nom du projet Google Cloud que vous créez. -
Sélectionnez le projet Google Cloud que vous avez créé :
gcloud config set project PROJECT_ID
Remplacez
PROJECT_ID
par le nom de votre projet Google Cloud.
-
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
Préparer les données pour l'exploration
Téléchargez le fichier Parquet
retail_offline_sales_march
.Créez un bucket Cloud Storage nommé
offlinesales_curated
comme suit:- Dans la console Google Cloud, accédez à la page Buckets Cloud Storage.
- Cliquez sur Créer un bucket.
- Sur la page Créer un bucket, saisissez les informations concernant votre bucket. Pour passer à l'étape suivante, cliquez sur Continuer.
- Pour nommer votre bucket, saisissez un nom qui répond aux exigences de dénomination des buckets.
-
Pour Choisir l'emplacement de stockage des données, procédez comme suit :
- Sélectionnez une option de type d'emplacement.
- Sélectionnez une option Location (Emplacement).
- Pour Choisir une classe de stockage par défaut pour vos données, sélectionnez une classe de stockage.
- Pour le champ Choisir comment contrôler l'accès aux objets, sélectionnez une option de Contrôle des accès.
- Sous Paramètres avancés (facultatif), choisissez une méthode de chiffrement, une règle de conservation ou des libellés de bucket.
- Cliquez sur Create (Créer).
Importez le fichier
offlinesales_march_parquet
que vous avez téléchargé dans le bucket Cloud Storageofflinesales_curated
que vous avez créé en suivant les étapes décrites dans la section Importer un objet à partir d'un système de fichiers.Créez un lac Dataplex et nommez-le
operations
en suivant la procédure décrite dans la section Créer un lac.Dans le lac
operations
, ajoutez une zone et nommez-laprocurement
en suivant les étapes décrites dans la section Ajouter une zone.Dans la zone
procurement
, ajoutez le bucket Cloud Storageofflinesales_curated
que vous avez créé en tant qu'élément en suivant les étapes décrites dans Ajouter un élément.
Sélectionnez la table à explorer
Dans la console Google Cloud, accédez à la page Explorer de Dataplex.
Dans le champ Lake (Lac), sélectionnez le lac
operations
.Cliquez sur le lac
operations
.Accédez à la zone
procurement
et cliquez sur la table pour explorer ses métadonnées.Dans l'image suivante, la zone d'approvisionnement sélectionnée comporte une table appelée
Offline
, qui contient les métadonnées suivantes:orderid
,product
,quantityordered
,unitprice
,orderdate
etpurchaseaddress
.Dans l'éditeur Spark SQL, cliquez sur
Add (Ajouter). Un script Spark SQL s'affiche.Facultatif: ouvrez le script en mode onglet fractionné pour afficher les métadonnées et le nouveau script côte à côte. Cliquez sur
Plus dans le nouvel onglet de script, puis sélectionnez Diviser l'onglet à droite ou Diviser l'onglet à gauche.
Explorer les données
Un environnement fournit des ressources de calcul sans serveur pour vos requêtes et vos notebooks Spark SQL afin qu'ils s'exécutent dans un lac. Avant d'écrire des requêtes Spark SQL, créez un environnement dans lequel exécuter vos requêtes.
Explorez vos données à l'aide des requêtes SparkSQL suivantes. Dans l'éditeur SparkSQL, saisissez la requête dans le volet New Script (Nouveau script).
Échantillonner les 10 lignes de la table
Saisissez la requête suivante :
select * from procurement.offlinesales where orderid != 'orderid' limit 10;
Cliquez sur Exécuter.
Obtenir le nombre total de transactions dans l'ensemble de données
Saisissez la requête suivante :
select count(*) from procurement.offlinesales where orderid!='orderid';
Cliquez sur Exécuter.
Trouver le nombre de types de produits différents dans l'ensemble de données
Saisissez la requête suivante :
select count(distinct product) from procurement.offlinesales where orderid!='orderid';
Cliquez sur Exécuter.
Rechercher les produits dont la valeur de transaction est élevée
Répartissez les ventes par type de produit et par prix de vente moyen afin d'avoir une idée des produits ayant une valeur de transaction élevée.
Saisissez la requête suivante :
select product,avg(quantityordered * unitprice) as avg_sales_amount from procurement.offlinesales where orderid!='orderid' group by product order by avg_sales_amount desc;
Cliquez sur Exécuter.
L'image suivante affiche un volet Results
qui utilise une colonne appelée product
pour identifier les articles de vente avec des valeurs de transaction élevées, affichées dans la colonne appelée avg_sales_amount
.
Détecter les anomalies à l'aide d'un coefficient de variation
La dernière requête a montré que les ordinateurs portables ont un montant moyen élevé pour les transactions. La requête suivante montre comment détecter les transactions d'ordinateur portable qui ne sont pas anormales dans l'ensemble de données.
La requête suivante utilise le "coefficient de variation" de la métrique rsd_value
pour rechercher les transactions qui ne sont pas inhabituelles, pour lesquelles la répartition des valeurs est faible par rapport à la valeur moyenne. Un coefficient de variation faible indique
moins d'anomalies.
Saisissez la requête suivante :
WITH stats AS ( SELECT product, AVG(quantityordered * unitprice) AS avg_value, STDDEV(quantityordered * unitprice) / AVG(quantityordered * unitprice) AS rsd_value FROM procurement.offlinesales GROUP BY product) SELECT orderid, orderdate, product, (quantityordered * unitprice) as sales_amount, ABS(1 - (quantityordered * unitprice)/ avg_value) AS distance_from_avg FROM procurement.offlinesales INNER JOIN stats USING (product) WHERE rsd_value <= 0.2 ORDER BY distance_from_avg DESC LIMIT 10
Cliquez sur Exécuter.
Consultez les résultats du script.
Dans l'image suivante, un volet de résultats utilise une colonne appelée "product" pour identifier les articles de vente dont les valeurs de transaction sont comprises dans le coefficient de variation de 0,2.
Visualiser les anomalies à l'aide d'un notebook JupyterLab
Créer un modèle de ML pour détecter et visualiser les anomalies à grande échelle
Ouvrez le notebook dans un onglet distinct et attendez qu'il se charge. La session dans laquelle vous avez exécuté les requêtes Spark SQL se poursuit.
Importez les packages nécessaires et connectez-vous à la table externe BigQuery qui contient les données de transaction. Exécutez le code suivant :
from google.cloud import bigquery from google.api_core.client_options import ClientOptions import os import warnings warnings.filterwarnings('ignore') import pandas as pd project = os.environ['GOOGLE_CLOUD_PROJECT'] options = ClientOptions(quota_project_id=project) client = bigquery.Client(client_options=options) client = bigquery.Client() #Load data into DataFrame sql = '''select * from procurement.offlinesales limit 100;''' df = client.query(sql).to_dataframe()
Exécutez l'algorithme de forêt d'isolation pour détecter les anomalies dans l'ensemble de données:
to_model_columns = df.columns[2:4] from sklearn.ensemble import IsolationForest clf=IsolationForest(n_estimators=100, max_samples='auto', contamination=float(.12), \ max_features=1.0, bootstrap=False, n_jobs=-1, random_state=42, verbose=0) clf.fit(df[to_model_columns]) pred = clf.predict(df[to_model_columns]) df['anomaly']=pred outliers=df.loc[df['anomaly']==-1] outlier_index=list(outliers.index) #print(outlier_index) #Find the number of anomalies and normal points here points classified -1 are anomalous print(df['anomaly'].value_counts())
Tracez les anomalies prédites à l'aide d'une visualisation Matplotlib:
import numpy as np from sklearn.decomposition import PCA pca = PCA(2) pca.fit(df[to_model_columns]) res=pd.DataFrame(pca.transform(df[to_model_columns])) Z = np.array(res) plt.title("IsolationForest") plt.contourf( Z, cmap=plt.cm.Blues_r) b1 = plt.scatter(res[0], res[1], c='green', s=20,label="normal points") b1 =plt.scatter(res.iloc[outlier_index,0],res.iloc[outlier_index,1], c='green',s=20, edgecolor="red",label="predicted outliers") plt.legend(loc="upper right") plt.show()
Cette image montre les données de transaction, avec les anomalies encadrées en rouge.
Planifier le notebook
La fonction Explorer vous permet de planifier l'exécution régulière d'un notebook. Suivez les étapes pour planifier le notebook Jupyter que vous avez créé.
Dataplex crée une tâche de planification pour exécuter régulièrement votre notebook. Pour surveiller la progression des tâches, cliquez sur Afficher les planifications.
Partager ou exporter le notebook
Explorer vous permet de partager un notebook avec d'autres membres de votre organisation à l'aide des autorisations IAM.
Examinez les rôles. Accordez ou révoquez les rôles de lecteur Dataplex (roles/dataplex.viewer
), d'éditeur Dataplex (roles/dataplex.editor
) et d'administrateur Dataplex (roles/dataplex.admin
) pour les utilisateurs de ce notebook. Une fois que vous avez partagé un notebook, les utilisateurs disposant des rôles de lecteur ou d'éditeur au niveau du lac peuvent accéder au lac et travailler sur le notebook partagé.
Pour partager ou exporter un notebook, consultez les pages Partager un notebook ou Exporter un notebook.
Effectuer un nettoyage
Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.
Supprimer le projet
Supprimez un projet Google Cloud :
gcloud projects delete PROJECT_ID
Supprimer des ressources individuelles
-
Supprimez le bucket :
gcloud storage buckets delete BUCKET_NAME
- Supprimez l'instance.
gcloud compute instances delete INSTANCE_NAME
Étapes suivantes
- En savoir plus sur l'exploration Dataplex
- Planifiez des scripts et des notebooks.