Introducción a Cloud Dataflow SQL

SQL de Cloud Dataflow te permite usar consultas de SQL para desarrollar y ejecutar trabajos de Cloud Dataflow desde la IU web de BigQuery. SQL de Cloud Dataflow se integra a SQL de Apache Beam y admite una variante de la sintaxis de consulta de ZetaSQL. Puedes usar las extensiones de transmisión de ZetaSQL para definir tus canalizaciones de procesamiento paralelo de datos de transmisión:

  • Usa tus habilidades de SQL existentes para desarrollar y ejecutar canalizaciones de transmisión desde la IU web de BigQuery. No necesitas configurar un entorno de desarrollo de SDK ni saber programar en Java ni Python.
  • Une transmisiones (como Cloud Pub/Sub) con conjuntos de datos de instantáneas (como las tablas de BigQuery).
  • Consulta tus transmisiones o conjuntos de datos estáticos con SQL mediante la asociación de esquemas con objetos como tablas, archivos y temas de Cloud Pub/Sub
  • Escribe tus resultados en una tabla de BigQuery para el análisis y el panel de control.

Regiones admitidas

SQL de Cloud Dataflow puede ejecutar trabajos en regiones que tienen un extremo regional de Cloud Dataflow.

Limitaciones

La versión actual de SQL de Cloud Dataflow está sujeta a las limitaciones siguientes:

  • SQL de Cloud Dataflow solo es compatible con un subconjunto de SQL estándar de BigQuery. Consulta la referencia de SQL de Cloud Dataflow para obtener detalles.
  • Con SQL de Cloud Dataflow, hay una única salida agregada por grupo de ventanas cuando la marca de agua indica que la ventana está completa. Los datos que llegan más tarde se descartan.
  • SQL de Cloud Dataflow tiene una precisión de marca de tiempo en milisegundos:
    • Tus campos TIMESTAMP de BigQuery deben tener una precisión de marca de tiempo en milisegundos como máximo. Si un campo TIMESTAMP tiene una precisión inferior a milisegundos, SQL de Cloud Dataflow arroja un IllegalArgumentException.
    • Las marcas de tiempo de publicación de Cloud Pub/Sub se truncan a milisegundos.
  • Fuentes: la lectura se limita a los temas de Cloud Pub/Sub y a las tablas de BigQuery.
  • SQL de Cloud Dataflow espera que los mensajes en los temas de Cloud Pub/Sub se serialicen en formato JSON. En el futuro, se agregará la compatibilidad con otros formatos, como Avro.
  • Destinos: la escritura se limita a las tablas de BigQuery.
  • Solo puedes ejecutar trabajos en regiones que tienen un extremo regional de Cloud Dataflow.
  • Cloud Dataflow usa el ajuste de escala automático de los recursos y elige el modo de ejecución para el trabajo (por lotes o transmisión). No hay parámetros para controlar este comportamiento.
  • Crear un trabajo de Cloud Dataflow puede llevarte varios minutos. El trabajo falla si se presenta un error durante la ejecución de la canalización.
  • BigQuery almacena en búfer los datos que transmite a tus tablas de BigQuery. Como resultado, se genera un retraso en la visualización de los datos en el panel de vista previa. Sin embargo, puedes consultar la tabla mediante comandos SQL regulares.
  • No se admite la detención de una canalización con el comando Drain. Usa el comando Cancel para detener la canalización.
  • No se admite la actualización de una canalización en ejecución.
  • Solo puedes editar consultas de SQL anteriores desde trabajos en ejecución (transmisión o por lotes) y trabajos por lotes completados de forma correcta.

Cuotas

Para obtener información sobre las cuotas y límites de Cloud Dataflow, consulta Cuotas y límites.

Precios

SQL de Cloud Dataflow usa el precio estándar de Cloud Dataflow; los precios son los mismos. Se te facturan los recursos consumidos por los trabajos de Cloud Dataflow que creas en función de las instrucciones de SQL. Los cargos por estos recursos son los cargos estándar de Cloud Dataflow para la CPU virtual, la memoria y el disco persistente. Además, un trabajo podría consumir recursos adicionales, como Cloud Pub/Sub y BigQuery, cada uno facturado a su precio propio.

Para obtener más información sobre los precios de Cloud Dataflow, consulta la página de precios de Cloud Dataflow.

Próximos pasos

¿Te ha resultado útil esta página? Enviar comentarios:

Enviar comentarios sobre...

Si necesitas ayuda, visita nuestra página de asistencia.