Essayer BigQuery DataFrames
Utilisez ce guide de démarrage rapide pour effectuer les tâches d'analyse et de machine learning (ML) suivantes à l'aide de l'API BigQuery DataFrames dans un notebook BigQuery:
- Créer un DataFrame sur l'ensemble de données public
bigquery-public-data.ml_datasets.penguins
. - Calculer la masse moyenne d'un pingouin.
- Créer un modèle de régression linéaire.
- Créer un DataFrame sur un sous-ensemble de données "penguin" à utiliser comme données d'entraînement.
- Nettoyer les données d'entraînement.
- Définir les paramètres du modèle.
- Ajuster au modèle.
- Attribuer des scores au modèle.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
Vérifiez que l'API BigQuery est activée.
Si vous avez créé un nouveau projet, l'API BigQuery est automatiquement activée.
Autorisations requises
Pour créer et exécuter des notebooks, vous avez besoin des rôles IAM (Identity and Access Management) suivants :
- Utilisateur BigQuery (
roles/bigquery.user
) - Utilisateur de l'environnement d'exécution de notebook (
roles/aiplatform.notebookRuntimeUser
) - Créateur de code (
roles/dataform.codeCreator
)
Créer un notebook
Suivez les instructions de la section Créer un notebook à partir de l'éditeur BigQuery pour créer un notebook.
Essayer BigQuery DataFrames
Essayez BigQuery DataFrames en procédant comme suit :
- Créez une nouvelle cellule de code dans le notebook.
Copiez le code suivant et collez-le dans la cellule de code :
import bigframes.pandas as bpd # Set BigQuery DataFrames options bpd.options.bigquery.project = your_gcp_project_id bpd.options.bigquery.location = "us" # Create a DataFrame from a BigQuery table query_or_table = "bigquery-public-data.ml_datasets.penguins" df = bpd.read_gbq(query_or_table) # Use the DataFrame just as you would a pandas DataFrame, but calculations # happen in the BigQuery query engine instead of the local system. average_body_mass = df["body_mass_g"].mean() print(f"average_body_mass: {average_body_mass}") # Create the Linear Regression model from bigframes.ml.linear_model import LinearRegression # Filter down to the data we want to analyze adelie_data = df[df.species == "Adelie Penguin (Pygoscelis adeliae)"] # Drop the columns we don't care about adelie_data = adelie_data.drop(columns=["species"]) # Drop rows with nulls to get our training data training_data = adelie_data.dropna() # Pick feature columns and label column X = training_data[ [ "island", "culmen_length_mm", "culmen_depth_mm", "flipper_length_mm", "sex", ] ] y = training_data[["body_mass_g"]] model = LinearRegression(fit_intercept=False) model.fit(X, y) model.score(X, y)
Modifiez la ligne
bpd.options.bigquery.project = your_gcp_project_id
pour spécifier votre projet, par exemplebpd.options.bigquery.project = "myproject"
.Exécutez la cellule de code.
La cellule de code renvoie la masse moyenne du pingouin dans l'ensemble de données, puis renvoie les métriques d'évaluation du modèle.
Effectuer un nettoyage
Le moyen le plus simple d'empêcher la facturation est de supprimer le projet que vous avez créé pour ce tutoriel.
Pour supprimer le projet :
- Dans la console Google Cloud, accédez à la page Gérer les ressources.
- Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
- Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.
Étapes suivantes
Consultez le notebook Premiers pas avec BigQuery DataFrames.