Présentation de BigQuery ML

BigQuery ML vous permet de créer et d'exécuter des modèles de machine learning (ML) à l'aide de requêtes GoogleSQL, ainsi que d'accéder aux LLM et aux API d'IA dans le cloud pour effectuer des tâches d'intelligence artificielle (IA) comme la génération de texte ou la traduction automatique.

En règle générale, l'exécution du ML ou de l'IA sur des ensembles de données volumineux nécessite une programmation importante et une connaissance approfondie des frameworks de ML. Ces exigences restreignent le développement de solutions à un très petit nombre de personnes au sein de chaque entreprise et excluent les analystes de données qui comprennent les données, mais qui ont des connaissances limitées sur le ML et qui ne sont pas des experts en programmation. Toutefois, avec BigQuery ML, les utilisateurs de SQL peuvent utiliser les compétences et outils SQL existants pour créer et évaluer des modèles, ainsi que pour générer des résultats avec des LLM et les API d'IA dans le cloud.

Vous pouvez utiliser les fonctionnalités BigQuery ML à l'aide des éléments suivants :

Avantages de BigQuery ML

BigQuery ML offre plusieurs avantages par rapport aux autres méthodes d'utilisation du ML ou de l'IA avec un entrepôt de données cloud :

  • BigQuery ML démocratise l'utilisation du ML et de l'IA en permettant aux analystes de données, les principaux utilisateurs des entrepôts de données, de créer et d'exécuter des modèles à l'aide des feuilles de calcul et des outils d'informatique décisionnelle existants. Les analyses prédictives peuvent guider la prise de décisions commerciales ou métier dans l'ensemble de l'entreprise.
  • Vous n'avez pas besoin de programmer une solution de ML ou d'IA à l'aide de Python ou de Java. Vous entraînez des modèles et accédez à des ressources d'IA à l'aide de SQL, un langage familier des analystes de données.

  • BigQuery ML accélère l'innovation et le développement des modèles en évitant de déplacer des données depuis l'entrepôt de données. Au lieu de cela, BigQuery ML apporte le ML aux données, ce qui offre les avantages suivants :

    • Réduction de la complexité, car moins d'outils sont nécessaires.
    • Augmentation de la vitesse de production, car il n'est pas nécessaire de déplacer et de formater de grandes quantités de données pour les frameworks de ML basés sur Python dans BigQuery.

    Pour en savoir plus, regardez la vidéo Comment accélérer le développement du machine learning avec BigQuery ML.

Modèles compatibles

Un modèle dans BigQuery ML représente ce qu'un système de ML a appris à partir des données d'entraînement. Les sections suivantes décrivent les types de modèles compatibles avec BigQuery ML.

Modèles entraînés en interne

Les modèles suivants sont intégrés à BigQuery ML :

  • Régression linéaire : permet d'effectuer des prévisions. Par exemple, ce modèle prévoit les ventes d'un article un jour donné. Les étiquettes ont une valeur réelle, ce qui signifie qu'elles ne peuvent pas avoir une valeur infinie positive ou négative, ni une valeur NaN (non numérique).
  • La régression logistique permet de classer au moins deux valeurs possibles (par exemple, si une entrée est low-value, medium-value ou high-value). Chaque étiquette peut contenir jusqu'à 50 valeurs uniques.
  • Clustering des k-moyennes : permet d'effectuer la segmentation des données. Par exemple, ce modèle identifie des segments de clientèle. L’algorithme k-moyennes étant une technique d'apprentissage non supervisée, l'entraînement ou l'évaluation du modèle ne nécessitent pas d'étiquettes ni de données fractionnées.
  • Factorisation matricielle : permet de créer des systèmes de recommandation de produits. Vous pouvez créer des recommandations de produits à l'aide de l'historique du comportement des clients, des transactions et des avis sur les produits, puis utiliser ces recommandations pour proposer des expériences client personnalisées.
  • Analyse des composants principaux (PCA) : processus consistant à calculer les composants principaux et à les utiliser pour effectuer un changement de base sur les données. Il est couramment utilisé pour réduire la dimensionnalité en ne projetant chaque point de données que sur les premiers composants principaux afin d'obtenir des données de dimension inférieure tout en conservant autant que possible les variations de données.
  • Série temporelle : permet d'effectuer des prévisions de séries temporelles. Cette fonctionnalité vous permet de créer des millions de modèles de série temporelle et de les utiliser pour effectuer des prévisions. Le modèle gère automatiquement les anomalies, la saisonnalité et les jours fériés.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les modèles entraînés en interne afin d'obtenir une estimation de la quantité de données qu'ils traiteront si vous les exécutez.

Modèles entraînés en externe

Les modèles suivants sont externes à BigQuery ML et entraînés dans Vertex AI :

  • Réseau de neurones profond (DNN, Deep Neural Network) : permet de créer des réseaux de neurones profonds basés sur TensorFlow pour les modèles de classification et de régression.
  • Large et profond : utile pour les problèmes génériques de régression et de classification à grande échelle avec des entrées éparses (caractéristiques catégorielles avec un grand nombre de valeurs de caractéristiques possibles), telles que les systèmes de recommandation, de recherche et de classement.
  • Autoencodeur : permet de créer des modèles basés sur TensorFlow avec des représentations de données creuses. Vous pouvez utiliser les modèles dans BigQuery ML pour des tâches telles que la détection d'anomalies non supervisée et la réduction de la dimensionnalité non linéaire.
  • Arbre de décision à boosting : permet de créer des modèles de classification et de régression basés sur XGBoost.
  • Forêt d'arbres décisionnels : sert à créer plusieurs arbres de décision de la méthode d'apprentissage pour la classification, la régression et d'autres tâches au moment de l'entraînement.
  • AutoML est un service de ML supervisé qui crée et déploie des modèles de classification et de régression sur des données tabulaires à grande vitesse et à grande échelle.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les modèles entraînés en externe afin d'obtenir une estimation de la quantité de données qu'ils traiteront si vous les exécutez.

Modèles distants

Vous pouvez créer des modèles distants dans BigQuery qui utilisent des modèles déployés sur Vertex AI. Pour référencer le modèle déployé, spécifiez le point de terminaison HTTPS du modèle dans l'instruction CREATE MODEL du modèle distant.

Les instructions CREATE MODEL pour les modèles distants ne traitent aucun octet et n'entraînent pas de frais BigQuery.

Modèles importés

BigQuery ML vous permet d'importer des modèles personnalisés entraînés en dehors de BigQuery, puis d'effectuer des prédictions dans BigQuery. Vous pouvez importer les modèles suivants dans BigQuery à partir de Cloud Storage :

  • ONNX (Open Neural Network Exchange) : format standard ouvert permettant de représenter des modèles de ML. ONNX permet de rendre des modèles entraînés avec des frameworks de ML populaires tels que PyTorch et scikit-learn disponibles dans BigQuery ML.
  • TensorFlow : bibliothèque logicielle Open Source gratuite pour le ML et l'intelligence artificielle. Vous pouvez utiliser TensorFlow sur plusieurs tâches, mais il est particulièrement utile sur l'entraînement et l'inférence des réseaux de neurones profonds. Vous pouvez charger des modèles TensorFlow préalablement entraînés dans BigQuery en tant que modèles BigQuery ML, puis effectuer des prédictions dans BigQuery ML.
  • TensorFlow Lite : version légère de TensorFlow permettant un déploiement sur des appareils mobiles, des microcontrôleurs et d'autres appareils de périphérie. TensorFlow optimise les modèles TensorFlow existants pour réduire la taille des modèles et accélérer l'inférence.
  • XGBoost : bibliothèque d'optimisation de gradient distribuée optimisée pour être hautement efficace, flexible et portable. Elle met en œuvre des algorithmes de ML sous le framework Gradient Boosting.

Les instructions CREATE MODEL pour les modèles importés ne traitent aucun octet et n'entraînent pas de frais BigQuery.

Dans BigQuery ML, vous pouvez utiliser un modèle avec des données provenant de plusieurs ensembles de données BigQuery pour les opérations d'entraînement et de prédiction.

Guide de sélection des modèles

Cet arbre de décision fait correspondre les modèles de ML aux actions que vous souhaitez accomplir. Téléchargez l'arbre de décision pour la sélection de modèles.

Ressources d'IA compatibles

Vous pouvez utiliser des modèles distants pour accéder aux ressources d'IA comme les LLM à partir de BigQuery ML. BigQuery ML est compatible avec les ressources d'IA suivantes :

BigQuery ML et Vertex AI

BigQuery ML s'intègre à Vertex AI, qui est la plate-forme de bout en bout dédiée à l'IA et au ML dans Google Cloud. Lorsque vous enregistrez vos modèles BigQuery ML dans le registre de modèles, vous pouvez les déployer sur des points de terminaison pour la prédiction en ligne. Pour en savoir plus, consultez les ressources suivantes :

BigQuery ML et Colab Enterprise

Vous pouvez désormais utiliser des notebooks Colab Enterprise pour effectuer des workflows de ML dans BigQuery. Notebooks vous permet d'utiliser SQL, Python et d'autres bibliothèques et langages courants pour accomplir vos tâches de ML. Pour plus d'informations, consultez la section Créer des notebooks.

Régions où le service est disponible

BigQuery ML est compatible avec les mêmes régions que BigQuery. Pour en savoir plus, consultez la page Emplacements BigQuery ML.

Tarifs

Les modèles BigQuery ML sont stockés dans des ensembles de données BigQuery tels que des tables et des vues. Pour en savoir plus sur la tarification de BigQuery ML, consultez la page Tarifs de BigQuery ML.

Pour en savoir plus sur les tarifs de stockage de BigQuery, consultez la section Tarifs de stockage.

Pour en savoir plus sur les tarifs des requêtes BigQuery ML, consultez la page Tarifs des requêtes.

Quotas

Outre les limites spécifiques à BigQuery ML, les requêtes qui utilisent les fonctions BigQuery ML et les instructions CREATE MODEL sont soumises aux quotas et aux limites des tâches de requête BigQuery.

Limites

Étapes suivantes