Présentation de l'IA et du ML dans BigQuery

BigQuery ML vous permet de créer et d'exécuter des modèles de machine learning (ML) à l'aide de requêtes GoogleSQL, Les modèles BigQuery ML sont stockés dans des ensembles de données BigQuery, comme les tables et les vues. BigQuery ML vous permet également d'accéder aux modèles Vertex AI et aux API d'IA dans le cloud pour effectuer des tâches d'intelligence artificielle (IA) comme la génération de texte ou la traduction automatique. Gemini pour Google Cloud fournit également une assistance basée sur l'IA pour les tâches BigQuery. Pour obtenir la liste des fonctionnalités basées sur l'IA dans BigQuery, consultez la page Présentation de Gemini dans BigQuery.

En règle générale, l'exécution du ML ou de l'IA sur des ensembles de données volumineux nécessite une programmation importante et une connaissance approfondie des frameworks de ML. Ces exigences restreignent le développement de solutions à un très petit nombre de personnes au sein de chaque entreprise et excluent les analystes de données qui comprennent les données, mais qui ont des connaissances limitées sur le ML et qui ne sont pas des experts en programmation. Toutefois, avec BigQuery ML, les utilisateurs de SQL peuvent utiliser les compétences et outils SQL existants pour créer et évaluer des modèles, ainsi que pour générer des résultats avec des LLM et les API d'IA dans le cloud.

Vous pouvez utiliser les fonctionnalités BigQuery ML à l'aide des éléments suivants :

Avantages de BigQuery ML

BigQuery ML offre plusieurs avantages par rapport aux autres méthodes d'utilisation du ML ou de l'IA avec un entrepôt de données cloud :

  • BigQuery ML démocratise l'utilisation du ML et de l'IA en permettant aux analystes de données, les principaux utilisateurs des entrepôts de données, de créer et d'exécuter des modèles à l'aide des feuilles de calcul et des outils d'informatique décisionnelle existants. Les analyses prédictives peuvent guider la prise de décisions commerciales ou métier dans l'ensemble de l'entreprise.
  • Vous n'avez pas besoin de programmer une solution de ML ou d'IA à l'aide de Python ou de Java. Vous entraînez des modèles et accédez à des ressources d'IA à l'aide de SQL, un langage familier des analystes de données.

  • BigQuery ML accélère l'innovation et le développement des modèles en évitant de déplacer des données depuis l'entrepôt de données. Au lieu de cela, BigQuery ML apporte le ML aux données, ce qui offre les avantages suivants :

    • Réduction de la complexité, car moins d'outils sont nécessaires.
    • Vitesse de production accrue, car le déplacement et le formatage de grandes quantités de données pour les frameworks ML basés sur Python ne sont pas nécessaires pour entraîner un modèle dans BigQuery.

    Pour en savoir plus, regardez la vidéo Comment accélérer le développement du machine learning avec BigQuery ML.

Modèles d'IA générative et pré-entraînés

Vous pouvez utiliser des modèles distants pour accéder aux modèles Vertex AI et aux API Cloud AI à partir de BigQuery ML afin d'effectuer les tâches suivantes:

Modèles compatibles

Un modèle dans BigQuery ML représente ce qu'un système de ML a appris à partir des données d'entraînement. Les sections suivantes décrivent les types de modèles compatibles avec BigQuery ML.

Modèles entraînés en interne

Les modèles suivants sont intégrés à BigQuery ML :

  • L'analyse des contributions (Aperçu) permet de déterminer l'impact d'une ou de plusieurs dimensions sur la valeur d'une métrique donnée. Par exemple, pour voir l'impact de l'emplacement et de la date des soldes sur les revenus du magasin. Pour en savoir plus, consultez la section Présentation de l'analyse des contributions.
  • La régression linéaire permet de prédire la valeur d'une métrique numérique pour de nouvelles données à l'aide d'un modèle entraîné sur des données distantes similaires. Les étiquettes ont une valeur réelle, ce qui signifie qu'elles ne peuvent pas avoir une valeur infinie positive ou négative, ni une valeur NaN (non numérique).
  • Régression logistique : permet de classer au moins deux valeurs possibles (par exemple, si une entrée est low-value, medium-value ou high-value). Chaque étiquette peut contenir jusqu'à 50 valeurs uniques.
  • Clustering des k-moyennes : permet d'effectuer la segmentation des données. Par exemple, ce modèle identifie des segments de clientèle. Les k-moyennes étant une technique d'apprentissage non supervisée, l'entraînement ou l'évaluation du modèle ne nécessitent pas d'étiquettes ni de données fractionnées.
  • Factorisation matricielle : permet de créer des systèmes de recommandation de produits. Vous pouvez créer des recommandations de produits à l'aide de l'historique du comportement des clients, des transactions et des avis sur les produits, puis utiliser ces recommandations pour proposer des expériences client personnalisées.
  • Analyse des composants principaux (PCA) : processus consistant à calculer les composants principaux et à les utiliser pour effectuer un changement de base sur les données. Il est couramment utilisé pour réduire la dimensionnalité en ne projetant chaque point de données que sur les premiers composants principaux afin d'obtenir des données de dimension inférieure tout en conservant autant que possible les variations de données.
  • Série temporelle : permet d'effectuer des prévisions de séries temporelles. Cette fonctionnalité vous permet de créer des millions de modèles de série temporelle et de les utiliser pour effectuer des prévisions. Le modèle gère automatiquement les anomalies, la saisonnalité et les jours fériés.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les modèles entraînés en interne afin d'obtenir une estimation de la quantité de données qu'ils traiteront si vous les exécutez.

Modèles entraînés en externe

Les modèles suivants sont externes à BigQuery ML et entraînés dans Vertex AI :

  • Réseau de neurones profond (DNN, Deep Neural Network) : permet de créer des réseaux de neurones profonds basés sur TensorFlow pour les modèles de classification et de régression.
  • Large et profond : utile pour les problèmes génériques de régression et de classification à grande échelle avec des entrées éparses (caractéristiques catégorielles avec un grand nombre de valeurs de caractéristiques possibles), telles que les systèmes de recommandation, de recherche et de classement.
  • Autoencodeur : permet de créer des modèles basés sur TensorFlow avec des représentations de données creuses. Vous pouvez utiliser les modèles dans BigQuery ML pour des tâches telles que la détection d'anomalies non supervisée et la réduction de dimensionnalité non linéaire.
  • Arbre de décision à boosting : permet de créer des modèles de classification et de régression basés sur XGBoost.
  • Forêt d'arbres décisionnels : sert à créer plusieurs arbres de décision de la méthode d'apprentissage pour la classification, la régression et d'autres tâches au moment de l'entraînement.
  • AutoML est un service de ML supervisé qui crée et déploie des modèles de classification et de régression sur des données tabulaires à grande vitesse et à grande échelle.

Vous pouvez effectuer une simulation des instructions CREATE MODEL pour les modèles entraînés en externe afin d'obtenir une estimation de la quantité de données qu'ils traiteront si vous les exécutez.

Modèles distants

Vous pouvez créer des modèles distants dans BigQuery qui utilisent des modèles déployés sur Vertex AI. Pour référencer le modèle déployé, spécifiez le point de terminaison HTTPS du modèle dans l'instruction CREATE MODEL du modèle distant.

Les instructions CREATE MODEL pour les modèles distants ne traitent aucun octet et n'entraînent pas de frais BigQuery.

Modèles importés

BigQuery ML vous permet d'importer des modèles personnalisés entraînés en dehors de BigQuery, puis d'effectuer des prédictions dans BigQuery. Vous pouvez importer les modèles suivants dans BigQuery à partir de Cloud Storage :

  • ONNX (Open Neural Network Exchange) : format standard ouvert permettant de représenter des modèles de ML. ONNX permet de rendre des modèles entraînés avec des frameworks de ML populaires tels que PyTorch et scikit-learn disponibles dans BigQuery ML.
  • TensorFlow : bibliothèque logicielle Open Source gratuite pour le ML et l'intelligence artificielle. Vous pouvez utiliser TensorFlow sur plusieurs tâches, mais il est particulièrement utile sur l'entraînement et l'inférence des réseaux de neurones profonds. Vous pouvez charger des modèles TensorFlow préalablement entraînés dans BigQuery en tant que modèles BigQuery ML, puis effectuer des prédictions dans BigQuery ML.
  • TensorFlow Lite : version légère de TensorFlow permettant un déploiement sur des appareils mobiles, des microcontrôleurs et d'autres appareils de périphérie. TensorFlow optimise les modèles TensorFlow existants pour réduire la taille des modèles et accélérer l'inférence.
  • XGBoost : bibliothèque d'optimisation de gradient distribuée optimisée pour être hautement efficace, flexible et portable. Elle met en œuvre des algorithmes de ML sous le framework Gradient Boosting.

Les instructions CREATE MODEL pour les modèles importés ne traitent aucun octet et n'entraînent pas de frais BigQuery.

Dans BigQuery ML, vous pouvez utiliser un modèle avec des données provenant de plusieurs ensembles de données BigQuery pour les opérations d'entraînement et de prédiction.

Guide de sélection des modèles

Cet arbre de décision mappe les modèles de ML aux actions que vous souhaitez accomplir. Téléchargez l'arbre de décision pour la sélection de modèles.

BigQuery ML et Vertex AI

BigQuery ML s'intègre à Vertex AI, la plate-forme de bout en bout pour l'IA et le ML dans Google Cloud. Vous pouvez enregistrer vos modèles BigQuery ML dans Model Registry afin de les déployer sur des points de terminaison pour la prédiction en ligne. Pour en savoir plus, consultez les ressources suivantes :

BigQuery ML et Colab Enterprise

Vous pouvez désormais utiliser des notebooks Colab Enterprise pour effectuer des workflows de ML dans BigQuery. Les notebooks vous permettent d'utiliser SQL, Python, ainsi que d'autres bibliothèques et langages courants pour accomplir vos tâches de ML. Pour en savoir plus, consultez la page Créer des notebooks.

Régions où le service est disponible

BigQuery ML est compatible avec les mêmes régions que BigQuery. Pour en savoir plus, consultez la page Emplacements BigQuery ML.

Tarifs

Les ressources de calcul que vous utilisez pour entraîner des modèles et exécuter des requêtes sur des modèles vous sont facturées. Le type de modèle que vous créez affecte l'emplacement où le modèle est entraîné et les tarifs qui s'appliquent à cette opération. Les requêtes sur les modèles s'exécutent toujours dans BigQuery et utilisent la tarification des calculs BigQuery. Étant donné que les modèles distants effectuent des appels aux modèles Vertex AI, les requêtes adressées aux modèles distants sont également facturées par Vertex AI.

Le stockage utilisé par les modèles entraînés vous est facturé conformément aux tarifs de stockage BigQuery.

Pour en savoir plus, consultez la page Tarifs de BigQuery ML.

Quotas

Outre les limites spécifiques à BigQuery ML, les requêtes qui utilisent les fonctions BigQuery ML et les instructions CREATE MODEL sont soumises aux quotas et aux limites des tâches de requête BigQuery.

Limites

Étapes suivantes