Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Panoramica delle pipeline ML
Questo documento fornisce una panoramica dei servizi che puoi utilizzare per creare una pipeline di ML per gestire il flusso di lavoro MLOps di BigQuery ML.
Una pipeline ML è una rappresentazione di un flusso di lavoro MLOps composto da una serie di attività della pipeline. Ogni attività della pipeline esegue un passaggio specifico nel
flusso di lavoro MLOps per addestrare e implementare un modello. Separare ogni passaggio in un'attività standardizzata e riutilizzabile ti consente di automatizzare e monitorare le procedure ripetibili nella tua pratica di ML.
Per creare pipeline di BigQuery ML, puoi utilizzare uno dei seguenti servizi:
Utilizza Vertex AI Pipelines per creare pipeline di ML portatili ed estensionabili.
Utilizza le query GoogleSQL per creare pipeline ML basate su SQL meno complesse.
Utilizza Dataform per creare pipeline ML basate su SQL più complesse o
pipeline ML in cui devi utilizzare il controllo della versione.
Vertex AI Pipelines
In Vertex AI Pipelines,
una pipeline di ML è strutturata come un grafo diretti aciclici (DAG) di attività di pipeline conteggiate interconnesse tramite dipendenze input-output.
Ogni attività della pipeline è un'istanza di un componente della pipeline con input specifici. Quando definisci la pipeline ML, colleghi più attività della pipeline per formare un DAG inviando gli output di un'attività della pipeline agli input dell'attività successiva nel flusso di lavoro di ML. Puoi anche utilizzare gli input originali della pipeline di ML come input per una determinata attività della pipeline.
Utilizza i
componenti BigQuery ML
dell'SDK Google Cloud Pipeline Components per comporre pipeline ML
in Vertex AI Pipelines. Per iniziare a utilizzare
i componenti di BigQuery ML, consulta i seguenti notebook:
Esegui più istruzioni in sequenza, con stato condiviso.
Automatizza le attività di gestione come la creazione o l'eliminazione di tabelle.
Implementa una logica complessa utilizzando costrutti di programmazione come IF e
WHILE.
Dopo aver creato una query con più istruzioni, puoi
salvarla e
pianificarla per automatizzare l'addestramento, l'inferenza e il monitoraggio del modello.
Puoi utilizzare Dataform per sviluppare, testare, controllare la versione e pianificare flussi di lavoro SQL complessi per la trasformazione dei dati in BigQuery. Puoi utilizzare Dataform per attività come la trasformazione dei dati nel processo di estrazione, caricamento e trasformazione (ELT) per l'integrazione dei dati. Dopo che i dati non elaborati sono stati estratti
dai sistemi di origine e caricati in BigQuery,
Dataform ti aiuta a trasformarli in una suite di tabelle di dati ben definita, testata
e documentata.
Se la pipeline ML include l'utilizzo della
funzione ML.GENERATE_TEXT,
puoi adattare la
libreria di esempi structured_table_ml.js
per eseguire l'iterazione delle chiamate alla funzione. La chiamata della funzione
in modo iterativo ti consente di risolvere eventuali errori ripetibili che si verificano a causa del superamento
delle quote e dei limiti che si applicano alla funzione.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[[["\u003cp\u003eML pipelines represent MLOps workflows, breaking them down into standardized, reusable tasks to automate and monitor processes for training and deploying models.\u003c/p\u003e\n"],["\u003cp\u003eVertex AI Pipelines allows you to create portable and extensible ML pipelines, using a directed acyclic graph (DAG) of containerized tasks with input-output dependencies.\u003c/p\u003e\n"],["\u003cp\u003eGoogleSQL queries enable the creation of SQL-based ML pipelines, including running multi-statement queries in sequence to automate tasks like creating or dropping tables, as well as implementing complex logic.\u003c/p\u003e\n"],["\u003cp\u003eDataform can be utilized to develop, test, version control, and schedule complex SQL workflows for data transformation in BigQuery, particularly useful for ML pipelines requiring version control.\u003c/p\u003e\n"],["\u003cp\u003eFor ML pipelines that involve using the \u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e function, both GoogleSQL and Dataform offer ways to handle quota errors by iteratively calling the function, enabling the ability to retry if necessary.\u003c/p\u003e\n"]]],[],null,["# ML pipelines overview\n=====================\n\nThis document provides an overview of the services you can use to build an ML\npipeline to manage your BigQuery ML\n[MLOps](/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning)\nworkflow.\n\nAn ML pipeline is a representation of an MLOps workflow that is composed of a\nseries of *pipeline tasks*. Each pipeline task performs a specific step in the\nMLOps workflow to train and deploy a model. Separating each step into a\nstandardized, reusable task lets you automate and monitor repeatable processes\nin your ML practice.\n\nYou can use any of the following services to create BigQuery ML\nML pipelines:\n\n- Use Vertex AI Pipelines to create portable, extensible ML pipelines.\n- Use GoogleSQL queries to create less complex SQL-based ML pipelines.\n- Use Dataform to create more complex SQL-based ML pipelines, or ML pipelines where you need to use version control.\n\nVertex AI Pipelines\n-------------------\n\nIn [Vertex AI Pipelines](/vertex-ai/docs/pipelines/introduction),\nan ML pipeline is structured as a directed acyclic graph (DAG) of containerized\npipeline tasks that are interconnected using input-output dependencies.\nEach [pipeline task](/vertex-ai/docs/pipelines/introduction#pipeline-task)\nis an instantiation of a\n[pipeline component](/vertex-ai/docs/pipelines/introduction#pipeline-component)\nwith specific inputs. When defining your ML pipeline, you connect multiple\npipeline tasks to form a DAG by routing the outputs of one pipeline task to the\ninputs for the next pipeline task in the ML workflow. You can also use the\noriginal inputs to the ML pipeline as the inputs for a given pipeline task.\n\nUse the\n[BigQuery ML components](/vertex-ai/docs/pipelines/bigqueryml-component)\nof the Google Cloud Pipeline Components SDK to compose ML pipelines\nin Vertex AI Pipelines. To get started with\nBigQuery ML components, see the following notebooks:\n\n- [Get started with BigQuery ML pipeline components](https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/community/ml_ops/stage3/get_started_with_bqml_pipeline_components.ipynb)\n- [Train and evaluate a demand forecasting model](https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/community/pipelines/google_cloud_pipeline_components_bqml_pipeline_demand_forecasting.ipynb)\n\nGoogleSQL queries\n-----------------\n\nYou can use\n[GoogleSQL procedural language](/bigquery/docs/reference/standard-sql/procedural-language)\nto execute multiple statements in a\n[multi-statement query](/bigquery/docs/multi-statement-queries). You can use a\nmulti-statement query to:\n\n- Run multiple statements in a sequence, with shared state.\n- Automate management tasks such as creating or dropping tables.\n- Implement complex logic using programming constructs such as `IF` and `WHILE`.\n\nAfter creating a multi-statement query, you can\n[save](/bigquery/docs/saved-queries-introduction) and\n[schedule](/bigquery/docs/scheduling-queries) the query to automate model\ntraining, inference, and monitoring.\n\nIf your ML pipeline includes use of the\n[`ML.GENERATE_TEXT` function](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text),\nsee\n[Handle quota errors by calling `ML.GENERATE_TEXT` iteratively](/bigquery/docs/iterate-generate-text-calls) for more information on how to use SQL to\niterate through calls to the function. Calling the function\niteratively lets you address any retryable errors that occur due to exceeding\nthe [quotas and limits](/bigquery/quotas#cloud_ai_service_functions).\n\nDataform\n--------\n\nYou can use [Dataform](/dataform/docs/overview) to develop,\ntest, version control, and schedule complex SQL workflows for data\ntransformation in BigQuery. You can use Dataform for\nsuch tasks as data transformation in the Extraction, Loading, and\nTransformation (ELT) process for data integration. After raw data is extracted\nfrom source systems and loaded into BigQuery,\nDataform helps you to transform it into a well-defined, tested,\nand documented suite of data tables.\n\nIf your ML pipeline includes use of the\n[`ML.GENERATE_TEXT` function](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text),\nyou can adapt the\n[`structured_table_ml.js` example library](https://github.com/dataform-co/dataform-bqml/blob/main/modules/structured_table_ml.js)\nto iterate through calls to the function. Calling the function\niteratively lets you address any retryable errors that occur due to exceeding\nthe quotas and limits that apply to the function."]]