Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Descripción general de las canalizaciones de AA
En este documento, se proporciona una descripción general de los servicios que puedes usar para compilar una canalización de AA para administrar tu flujo de trabajo de MLOps de BigQuery ML.
Una canalización de AA es una representación de un flujo de trabajo de MLOps que se compone de una serie de tareas de canalización. Cada tarea de canalización realiza un paso específico en el flujo de trabajo de MLOps para entrenar e implementar un modelo. Separar cada paso en una tarea estandarizada y reutilizable te permite automatizar y supervisar procesos repetibles en tu práctica de AA.
Puedes usar cualquiera de los siguientes servicios para crear canalizaciones de AA de BigQuery ML:
Usa Vertex AI Pipelines para crear canalizaciones de AA portátiles y extensibles.
Usa consultas de GoogleSQL para crear canalizaciones de AA basadas en SQL menos complejas.
Usa Dataform para crear canalizaciones de AA más complejas basadas en SQL o canalizaciones de AA en las que necesites usar el control de versiones.
Vertex AI Pipelines
En Vertex AI Pipelines, una canalización de AA se estructura como un grafo acíclico dirigido (DAG) de tareas de canalización en contenedores que se interconectan mediante dependencias de entrada y salida.
Cada tarea de canalización es una instancia de un componente de canalización con entradas específicas. Cuando defines tu canalización de AA, conectas varias tareas de canalización para formar un DAG enrrutando los resultados de una tarea de canalización a las entradas de la siguiente tarea de canalización en el flujo de trabajo de AA. También puedes usar las entradas originales de la canalización de AA como entradas para una tarea de canalización determinada.
Usa los componentes de BigQuery ML del SDK de componentes de canalización de Google Cloud para crear canalizaciones de AA en Vertex AI Pipelines. Para comenzar a usar los componentes de BigQuery ML, consulta los siguientes notebooks:
Ejecuta varias consultas en una secuencia, con estado compartido.
Automatiza las tareas de administración, como crear o descartar tablas
Implementa una lógica compleja con construcciones de programación como IF y WHILE.
Después de crear una consulta de varias instrucciones, puedes guardar y programar la consulta para automatizar el entrenamiento, la inferencia y la supervisión de modelos.
Puedes usar Dataform para desarrollar, probar, controlar versiones y programar flujos de trabajo de SQL complejos para la transformación de datos en BigQuery. Puedes usar Dataform para tareas como la transformación de datos en el proceso de extracción, carga y transformación (ELT) para la integración de datos. Después de extraer datos sin procesar de los sistemas de origen y cargarlos en BigQuery, Dataform te ayuda a transformarlos en un conjunto de tablas de datos bien definido, probado y documentado.
Si tu canalización de AA incluye el uso de la función ML.GENERATE_TEXT, puedes adaptar la biblioteca de ejemplo structured_table_ml.js para iterar a través de llamadas a la función. Llamar a la función de forma iterativa te permite abordar cualquier error que se pueda reintentar que se produzca debido a que se superaron las cuotas y límites que se aplican a la función.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eML pipelines represent MLOps workflows, breaking them down into standardized, reusable tasks to automate and monitor processes for training and deploying models.\u003c/p\u003e\n"],["\u003cp\u003eVertex AI Pipelines allows you to create portable and extensible ML pipelines, using a directed acyclic graph (DAG) of containerized tasks with input-output dependencies.\u003c/p\u003e\n"],["\u003cp\u003eGoogleSQL queries enable the creation of SQL-based ML pipelines, including running multi-statement queries in sequence to automate tasks like creating or dropping tables, as well as implementing complex logic.\u003c/p\u003e\n"],["\u003cp\u003eDataform can be utilized to develop, test, version control, and schedule complex SQL workflows for data transformation in BigQuery, particularly useful for ML pipelines requiring version control.\u003c/p\u003e\n"],["\u003cp\u003eFor ML pipelines that involve using the \u003ccode\u003eML.GENERATE_TEXT\u003c/code\u003e function, both GoogleSQL and Dataform offer ways to handle quota errors by iteratively calling the function, enabling the ability to retry if necessary.\u003c/p\u003e\n"]]],[],null,["# ML pipelines overview\n=====================\n\nThis document provides an overview of the services you can use to build an ML\npipeline to manage your BigQuery ML\n[MLOps](/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning)\nworkflow.\n\nAn ML pipeline is a representation of an MLOps workflow that is composed of a\nseries of *pipeline tasks*. Each pipeline task performs a specific step in the\nMLOps workflow to train and deploy a model. Separating each step into a\nstandardized, reusable task lets you automate and monitor repeatable processes\nin your ML practice.\n\nYou can use any of the following services to create BigQuery ML\nML pipelines:\n\n- Use Vertex AI Pipelines to create portable, extensible ML pipelines.\n- Use GoogleSQL queries to create less complex SQL-based ML pipelines.\n- Use Dataform to create more complex SQL-based ML pipelines, or ML pipelines where you need to use version control.\n\nVertex AI Pipelines\n-------------------\n\nIn [Vertex AI Pipelines](/vertex-ai/docs/pipelines/introduction),\nan ML pipeline is structured as a directed acyclic graph (DAG) of containerized\npipeline tasks that are interconnected using input-output dependencies.\nEach [pipeline task](/vertex-ai/docs/pipelines/introduction#pipeline-task)\nis an instantiation of a\n[pipeline component](/vertex-ai/docs/pipelines/introduction#pipeline-component)\nwith specific inputs. When defining your ML pipeline, you connect multiple\npipeline tasks to form a DAG by routing the outputs of one pipeline task to the\ninputs for the next pipeline task in the ML workflow. You can also use the\noriginal inputs to the ML pipeline as the inputs for a given pipeline task.\n\nUse the\n[BigQuery ML components](/vertex-ai/docs/pipelines/bigqueryml-component)\nof the Google Cloud Pipeline Components SDK to compose ML pipelines\nin Vertex AI Pipelines. To get started with\nBigQuery ML components, see the following notebooks:\n\n- [Get started with BigQuery ML pipeline components](https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/community/ml_ops/stage3/get_started_with_bqml_pipeline_components.ipynb)\n- [Train and evaluate a demand forecasting model](https://github.com/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/community/pipelines/google_cloud_pipeline_components_bqml_pipeline_demand_forecasting.ipynb)\n\nGoogleSQL queries\n-----------------\n\nYou can use\n[GoogleSQL procedural language](/bigquery/docs/reference/standard-sql/procedural-language)\nto execute multiple statements in a\n[multi-statement query](/bigquery/docs/multi-statement-queries). You can use a\nmulti-statement query to:\n\n- Run multiple statements in a sequence, with shared state.\n- Automate management tasks such as creating or dropping tables.\n- Implement complex logic using programming constructs such as `IF` and `WHILE`.\n\nAfter creating a multi-statement query, you can\n[save](/bigquery/docs/saved-queries-introduction) and\n[schedule](/bigquery/docs/scheduling-queries) the query to automate model\ntraining, inference, and monitoring.\n\nIf your ML pipeline includes use of the\n[`ML.GENERATE_TEXT` function](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text),\nsee\n[Handle quota errors by calling `ML.GENERATE_TEXT` iteratively](/bigquery/docs/iterate-generate-text-calls) for more information on how to use SQL to\niterate through calls to the function. Calling the function\niteratively lets you address any retryable errors that occur due to exceeding\nthe [quotas and limits](/bigquery/quotas#cloud_ai_service_functions).\n\nDataform\n--------\n\nYou can use [Dataform](/dataform/docs/overview) to develop,\ntest, version control, and schedule complex SQL workflows for data\ntransformation in BigQuery. You can use Dataform for\nsuch tasks as data transformation in the Extraction, Loading, and\nTransformation (ELT) process for data integration. After raw data is extracted\nfrom source systems and loaded into BigQuery,\nDataform helps you to transform it into a well-defined, tested,\nand documented suite of data tables.\n\nIf your ML pipeline includes use of the\n[`ML.GENERATE_TEXT` function](/bigquery/docs/reference/standard-sql/bigqueryml-syntax-generate-text),\nyou can adapt the\n[`structured_table_ml.js` example library](https://github.com/dataform-co/dataform-bqml/blob/main/modules/structured_table_ml.js)\nto iterate through calls to the function. Calling the function\niteratively lets you address any retryable errors that occur due to exceeding\nthe quotas and limits that apply to the function."]]
