Introducción a BigQuery DataFrames

BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto que te permiten aprovechar el procesamiento de datos de BigQuery mediante APIs de Python conocidas. BigQuery DataFrames proporciona un DataFrame de Python con la tecnología del motor de BigQuery y, además, implementa las APIs de Pandas y scikit-learn enviando el procesamiento a BigQuery a través de la conversión de SQL. Esto te permite usar BigQuery para explorar y procesar terabytes de datos y, también, entrenar modelos de aprendizaje automático (AA), todo con las APIs de Python.

En el siguiente diagrama, se describe el flujo de trabajo de BigQuery DataFrames:

Flujo de trabajo de BigQuery DataFrames

Beneficios de BigQuery DataFrames

BigQuery DataFrames hace lo siguiente:

  • Ofrece más de 750 APIs de Pandas y scikit-learn implementadas a través de la conversión de SQL transparente a las APIs de BigQuery y BigQuery ML.
  • Aplazamiento de la ejecución de las consultas para mejorar el rendimiento
  • Extiende las transformaciones de datos con funciones de Python definidas por el usuario para que puedas procesar datos en Google Cloud. Estas funciones se implementan de forma automática como funciones remotas de BigQuery.
  • Se integra en Vertex AI para permitirte usar modelos de Gemini para la generación de texto.

Licencias

BigQuery DataFrames se distribuye con la licencia de Apache 2.0.

BigQuery DataFrames también contiene código derivado de los siguientes paquetes de terceros:

Para obtener más detalles, consulta el directorio third_party/bigframes_vendored en el repositorio de GitHub de BigQuery DataFrames.

Cuotas y límites

  • Las cuotas de BigQuery se aplican a BigQuery DataFrames, incluidos los componentes de hardware, software y red.
  • Se admite un subconjunto de las APIs de Pandas y scikit-learn. Para obtener más información, consulta APIs de Pandas compatibles.
  • Debes limpiar de manera explícita cualquier función de Cloud Run Functions creada de forma automática como parte de la limpieza de la sesión. Para obtener más información, consulta APIs de Pandas compatibles.

Precios

  • BigQuery DataFrames es un conjunto de bibliotecas de Python de código abierto disponibles para descargar sin costo adicional.
  • BigQuery DataFrames utiliza BigQuery, Cloud Run Functions, Vertex AI y otros servicios deGoogle Cloud , que generan sus propios costos.
  • Durante el uso regular, BigQuery DataFrames almacena datos temporales, como resultados intermedios, en tablas de BigQuery. Estas tablas persisten durante siete días de forma predeterminada, y se te cobra por los datos almacenados en ellas. Las tablas se crean en el conjunto de datos _anonymous_ del proyecto Google Cloud que especificas en la opción bf.options.bigquery.project.

¿Qué sigue?