Lee desde una fuente de transmisión de Pub/Sub

Cloud Data Fusion admite fuentes de Pub/Sub en canalizaciones de datos de transmisión.

Agregue una fuente de Pub/Sub a su canalización de datos de transmisión

  1. Ve a tu instancia:

    1. En la consola de Google Cloud, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en la interfaz web de Cloud Data Fusion, haga clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. En la interfaz web de Cloud Data Fusion, haga clic en Studio.

  3. Seleccione Canalización de datos: Tiempo real.

  4. En el menú Fuente, selecciona Pub/Sub. Aparecerá un nodo fuente de transmisión de Pub/Sub en la canalización.

  5. En el nodo de Pub/Sub, haz clic en Propiedades para configurar la fuente. Para obtener más información, consulta Fuente de transmisión de Pub/Sub.

Compatibilidad con una sola fuente de Pub/Sub sin complementos de Windows

La versión 6.9.1 de Cloud Data Fusion admite canalizaciones en tiempo real con una sola fuente de transmisión de Pub/Sub y sin complementos para Windower.

  • La fuente de transmisión de Pub/Sub tiene compatibilidad integrada y los datos se procesan al menos una vez. No es necesario habilitar el control de Spark.
  • La fuente de transmisión de Pub/Sub crea una instantánea de Pub/Sub al comienzo de cada lote y la quita al final de cada lote.
  • Crear instantáneas de Pub/Sub tiene un costo asociado. Para obtener más información, consulta Precios de Pub/Sub.
  • Puedes supervisar la creación de instantáneas en los registros de auditoría de Cloud.

Actualizar una canalización con una fuente de transmisión de Pub/Sub

Cloud Data Fusion admite actualizaciones de aplicaciones directas para canalizaciones de transmisión con una fuente de transmisión de Pub/Sub creada en la versión 6.9.1 o posterior.

Cloud Data Fusion no admite actualizaciones para las canalizaciones de datos con una fuente de transmisión de Pub/Sub en la versión 6.9.0 o anterior. En su lugar, actualiza esas canalizaciones a la versión 6.9.1:

  1. Deja de publicar los datos en el tema cuando se planifique la actualización de la instancia.
  2. Espere a que la canalización termine de procesar los datos publicados.
  3. Una vez que los datos se procesen por completo, detenga la canalización.
  4. Actualiza la instancia.
  5. Duplicar la canalización existente y actualizar a los complementos más recientes
  6. Implementa la canalización.

  7. Ejecute la canalización nueva para leer los datos.

    La versión nueva usa automáticamente la instantánea en lugar del control de Spark.

  8. Borra la canalización anterior.

¿Qué sigue?