Usa el agente de ciencia de datos de Colab Enterprise con BigQuery

El agente de ciencia de datos (DSA) para Colab Enterprise y BigQuery te permite automatizar el análisis exploratorio de datos, realizar tareas de aprendizaje automático y proporcionar estadísticas, todo dentro de un notebook de Colab Enterprise.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the BigQuery, Vertex AI, Dataform, and Compute Engine APIs.

    Enable the APIs

    Para los proyectos nuevos, la API de BigQuery se habilita de forma automática.

    7. Si es la primera vez que usas Colab Enterprise en BigQuery, consulta los pasos de configuración en la página Crea notebooks.

    Limitaciones

    • El agente de ciencia de datos admite las siguientes fuentes de datos:
      • Archivos CSV
      • Tablas de BigQuery
    • El código que genera Data Science Agent solo se ejecuta en el tiempo de ejecución de tu notebook.
    • El agente de ciencia de datos no es compatible con los proyectos en los que se habilitaron los Controles del servicio de VPC.
    • La primera vez que ejecutes el Agente de Data Science, es posible que experimentes una latencia de entre cinco y diez minutos aproximadamente. Esto solo ocurre una vez por proyecto durante la configuración inicial.

    Cuándo usar Data Science Agent

    El agente de ciencia de datos te ayuda con tareas que van desde el análisis exploratorio de datos hasta la generación de predicciones y previsiones de aprendizaje automático. Puedes usar la DSA para lo siguiente:

    • Generar un plan: Genera y modifica un plan para completar una tarea específica con herramientas comunes, como Python, SQL y BigQuery DataFrames.
    • Exploración de datos: Explora un conjunto de datos para comprender su estructura, identificar posibles problemas, como valores faltantes y valores atípicos, y examina la distribución de variables clave con Python o SQL.
    • Limpieza de datos: Limpia tus datos. Por ejemplo, quita los datos que son valores atípicos.
    • Manipulación de datos: Convierte las características categóricas en representaciones numéricas con técnicas como la codificación one-hot o la codificación de etiquetas, o bien con las herramientas de transformación de características de BigQuery. Crea nuevas funciones para el análisis.
    • Análisis de datos: Analiza las relaciones entre diferentes variables. Calcula las correlaciones entre los atributos numéricos y explora las distribuciones de los atributos categóricos. Busca patrones y tendencias en los datos.
    • Visualización de datos: Crea visualizaciones, como histogramas, diagramas de cajas, diagramas de dispersión y gráficos de barras, que representen las distribuciones de variables individuales y las relaciones entre ellas. También puedes crear visualizaciones en Python para las tablas almacenadas en BigQuery.
    • Ingeniería de atributos: Diseña atributos nuevos a partir de un conjunto de datos limpio.
    • División de datos: Divide un conjunto de datos diseñado en conjuntos de datos de entrenamiento, validación y prueba.
    • Entrenamiento del modelo: Entrena un modelo con los datos de entrenamiento en un DataFrame de pandas (X_train, y_train), un DataFrame de BigQuery o con la sentencia CREATE MODEL de BigQuery ML con tablas de BigQuery.
    • Optimización del modelo: Optimiza un modelo con el conjunto de validación. Explora modelos alternativos, como DecisionTreeRegressor y RandomForestRegressor, y compara su rendimiento.
    • Evaluación del modelo: Evalúa el modelo con el mejor rendimiento en un conjunto de datos de prueba almacenado en un DataFrame de Pandas o un DataFrame de BigQuery. Evalúa la calidad del modelo, compara modelos o predice el rendimiento del modelo con las funciones de evaluación del modelo de BigQuery ML.
    • Inferencia del modelo: Realiza inferencias con modelos entrenados de BigQuery ML, modelos importados y modelos remotos usando las funciones de inferencia de BigQuery ML. También puedes usar el método model.predict() de BigFrames para hacer predicciones sobre datos no vistos.

    Usa Data Science Agent en BigQuery

    En los siguientes pasos, se muestra cómo usar el Agente de ciencia de datos en BigQuery.

    1. Crea o abre un notebook de Colab Enterprise.

    2. Carga un archivo CSV, elige una o más tablas de BigQuery en el selector de tablas o haz referencia a una tabla de BigQuery en tu instrucción.

    3. Ingresa una instrucción que describa el análisis de datos que deseas realizar o el prototipo que quieres compilar. El comportamiento predeterminado del Agente de ciencia de datos es generar código de Python con bibliotecas de código abierto, como sklearn, para realizar tareas complejas de aprendizaje automático. Para usar una herramienta específica, incluye las siguientes palabras clave en tu instrucción:

      • Si quieres usar BigQuery ML, incluye la palabra clave "SQL".
      • Si deseas usar "BigQuery DataFrames", especifica las palabras clave "BigFrames" o "BigQuery DataFrames".

      Para obtener ayuda, consulta los prompts de muestra.

    4. Analiza los resultados.

    Analiza un archivo CSV

    Para analizar un archivo CSV con el Agente de ciencia de datos en BigQuery, sigue estos pasos.

    1. Ve a la página de BigQuery.

      Ir a BigQuery

    2. En la página de bienvenida de BigQuery Studio, en Crear nuevo, haz clic en Notebook.

      También puedes hacer clic en la flecha desplegable junto al ícono + en la barra de pestañas y, luego, en Notebook > Notebook vacío.

    3. En la barra de herramientas, haz clic en el botón spark Alternar Gemini para abrir el diálogo de chat.

    4. Sube tu archivo CSV.

      1. En el cuadro de diálogo de chat, haz clic en Agregar archivos.

      2. Si es necesario, autoriza tu Cuenta de Google.

      3. En el panel de acciones, haz clic en Subir archivo.

      4. Navega hasta la ubicación del archivo CSV y, luego, haz clic en Abrir.

      5. Junto al nombre del archivo, haz clic en el ícono de Más acciones y, luego, elige Agregar a Gemini.

    5. Ingresa tu instrucción en la ventana de chat. Por ejemplo: Identify trends and anomalies in this file.

    6. Haz clic en Enviar. Los resultados aparecerán en la ventana del chat.

    7. Puedes pedirle al agente que cambie el plan o ejecutarlo haciendo clic en Aceptar y ejecutar. A medida que se ejecuta el plan, el código y el texto generados aparecen en el notebook. Haz clic en Cancelar para detener la acción.

    Analiza tablas de BigQuery

    Para analizar una tabla de BigQuery, elige una o más tablas en el selector de tablas, o bien proporciona una referencia a la tabla en tu instrucción.

    1. Ve a la página de BigQuery.

      Ir a BigQuery

    2. En la página de bienvenida de BigQuery Studio, en Crear nuevo, haz clic en Notebook.

      También puedes hacer clic en la flecha desplegable junto al ícono + en la barra de pestañas y, luego, en Notebook > Notebook vacío.

    3. En la barra de herramientas, haz clic en el botón spark Alternar Gemini para abrir el diálogo de chat.

    4. Ingresa tu instrucción en la ventana de chat.

    5. Elige una o más tablas con el selector de tablas:

      1. Haz clic en Agregar a Gemini > Tablas de BigQuery.

      2. En la ventana Tablas de BigQuery, selecciona una o más tablas de tu proyecto. Puedes buscar tablas en todos los proyectos y filtrarlas con la barra de búsqueda.

    6. También puedes hacer referencia a una tabla de BigQuery directamente en tu instrucción. Por ejemplo: "Ayúdame a realizar un análisis exploratorio de datos y obtener estadísticas sobre los datos de esta tabla: project_id:dataset.table".

      Reemplaza lo siguiente:

      • project_id: El ID de tu proyecto
      • dataset: Es el nombre del conjunto de datos que contiene la tabla que estás analizando.
      • table: Es el nombre de la tabla que analizas.

    7. Haz clic en Enviar.

      Los resultados aparecerán en la ventana del chat.

    8. Puedes pedirle al agente que cambie el plan o ejecutarlo haciendo clic en Aceptar y ejecutar. A medida que se ejecuta el plan, el código y el texto generados aparecen en el notebook. Para los pasos adicionales del plan, es posible que debas volver a hacer clic en Aceptar y ejecutar. Haz clic en Cancelar para detener la acción.

    Ejemplos de instrucciones

    Independientemente de la complejidad de la instrucción que uses, Data Science Agent generará un plan que puedes definir mejor para satisfacer tus necesidades.

    En los siguientes ejemplos, se muestran los tipos de instrucciones que puedes usar con la DSA.

    Instrucciones de Python

    De forma predeterminada, se genera código en Python, a menos que uses una palabra clave específica en la instrucción, como "BigQuery ML" o "SQL".

    • Investiga y completa los valores faltantes con el algoritmo de aprendizaje automático de k-vecinos más cercanos (KNN).
    • Crea un gráfico del salario por nivel de experiencia. Usa la columna experience_level para agrupar los salarios y crear un diagrama de caja para cada grupo que muestre los valores de la columna salary_in_usd.
    • Usa el algoritmo XGBoost para crear un modelo que determine la variable class de una fruta en particular. Divide los datos en conjuntos de datos de entrenamiento y prueba para generar un modelo y determinar su precisión. Crea una matriz de confusión para mostrar las predicciones entre cada clase, incluidas todas las predicciones correctas e incorrectas.
    • Pronóstico de target_variable desde filename.csv para los próximos seis meses.

    Instrucciones de SQL y BigQuery ML

    • Crea y evalúa un modelo de clasificación en bigquery-public-data.ml_datasets.census_adult_income con BigQuery SQL.
    • Con SQL, prevé el tráfico futuro de mi sitio web para el próximo mes según bigquery-public-data.google_analytics_sample.ga_sessions_*. Luego, genera un gráfico con los valores históricos y los valores previstos.
    • Agrupa a los clientes similares para crear campañas de segmentación de mercado con un modelo de KMeans. Se usan tres atributos para el agrupamiento en clústeres. Luego, visualiza los resultados creando una serie de diagramas de dispersión en 2D. Usa la tabla bigquery-public-data.ml_datasets.census_adult_income.
    • Genera incorporaciones de texto en BigQuery ML con el contenido de las opiniones en bigquery-public-data.imdb.reviews.

    Para obtener una lista de los modelos y las tareas de aprendizaje automático compatibles, consulta la documentación de BigQuery ML.

    Instrucciones de DataFrame

    • Crea un DataFrame de Pandas para los datos en project_id:dataset.table. Analiza los datos en busca de valores nulos y, luego, genera un gráfico de la distribución de cada columna con el tipo de gráfico. Usa gráficos de violín para los valores medidos y gráficos de barras para las categorías.
    • Lee filename.csv y construye un DataFrame. Ejecuta un análisis en el DataFrame para determinar qué se debe hacer con los valores. Por ejemplo, ¿hay valores faltantes que se deben reemplazar o quitar, o hay filas duplicadas que se deben abordar? Usa el archivo de datos para determinar la distribución del dinero invertido en USD por ubicación de la ciudad. Crea un gráfico de barras con los 20 resultados principales que muestre los resultados en orden descendente como ubicación en comparación con la inversión promedio (USD).
    • Crea y evalúa un modelo de clasificación en project_id:dataset.table con DataFrames de BigQuery.
    • Crea un modelo de previsión de series temporales en project_id:dataset.table con DataFrames de BigQuery y visualiza las evaluaciones del modelo.
    • Visualiza las cifras de ventas del año anterior en la tabla project_id:dataset.table de BigQuery con BigQuery DataFrames.
    • Encuentra los atributos que mejor pueden predecir la especie de pingüino de la tabla bigquery-public_data.ml_datasets.penguins con BigQuery DataFrames.

    Cómo desactivar Gemini in BigQuery

    Para desactivar Gemini en BigQuery en un Google Cloud proyecto, un administrador debe desactivar la API de Gemini para Google Cloud. Consulta Inhabilita servicios.

    Para desactivar Gemini en BigQuery para un usuario específico, un administrador debe revocar el rol de Usuario de Gemini para Google Cloud (roles/cloudaicompanion.user) de ese usuario. Consulta Revoca un solo rol de IAM.

    Precios

    Durante la versión preliminar, se te cobrará por ejecutar código en el tiempo de ejecución del notebook y por las ranuras de BigQuery que hayas usado. Para obtener más información, consulta los precios de Colab Enterprise.

    Regiones admitidas

    Para ver las regiones compatibles con el agente de ciencia de datos de Colab Enterprise, consulta Ubicaciones.