Lee desde una fuente de transmisión de Pub/Sub

Cloud Data Fusion admite fuentes de Pub/Sub en canalizaciones de datos de transmisión.

Antes de comenzar

Funciones y permisos

Para obtener los permisos que necesitas leer desde una fuente de transmisión de Pub/Sub, solicita a tu administrador que te otorgue el Rol de IAM del editor de Pub/Sub (roles/pubsub.editor) en la cuenta de servicio que se usa para acceder a la suscripción de Pub/Sub. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para leer desde una fuente de transmisión de Pub/Sub. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para leer desde una fuente de transmisión de Pub/Sub:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Otorgas el rol a la cuenta de servicio que especificaste en las propiedades del complemento para acceder a Pub/Sub. Si no especificas ninguno, otorga el en la cuenta de servicio de Dataproc.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

Agrega una fuente de Pub/Sub a tu canalización de transmisión de datos

  1. Ve a tu instancia:

    1. En la consola de Google Cloud, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. En la interfaz web de Cloud Data Fusion, haz clic en Studio.

  3. Selecciona Canalización de datos: tiempo real.

  4. En el menú Fuente, selecciona Pub/Sub. Una instancia de Pub/Sub un nodo fuente de transmisión en la canalización.

  5. En el nodo de Pub/Sub, haz clic en Propiedades para configurar la fuente. Para obtener más información, consulta Fuente de transmisión de Pub/Sub.

Compatibilidad con una sola fuente de Pub/Sub sin complementos de Windower

La versión 6.9.1 de Cloud Data Fusion admite canalizaciones en tiempo real con una sola fuente de transmisión de Pub/Sub y sin complementos de Windower.

  • La fuente de transmisión de Pub/Sub tiene asistencia integrada, y los datos se que se procesan al menos una vez. Habilitar el punto de control de Spark como en los productos necesarios.
  • La fuente de transmisión de Pub/Sub crea una instantánea de Pub/Sub al comienzo de cada lote y la quita al final de cada lote.
  • La creación de instantáneas de Pub/Sub tiene un costo asociado. Para obtener más información, consulta Precios de Pub/Sub.
  • Puedes supervisar la creación de instantáneas Registros de auditoría de Cloud.

Actualiza una canalización con una fuente de transmisión de Pub/Sub

Cloud Data Fusion admite las actualizaciones directas de aplicaciones para canalizaciones de transmisión con una fuente de transmisión de Pub/Sub creada en 6.9.1 o superior

Cloud Data Fusion no admite actualizaciones de canalizaciones de datos con una fuente de transmisión de Pub/Sub en la versión 6.9.0 o anterior. En cambio, actualizar esas canalizaciones a la versión 6.9.1:

  1. Deja de publicar los datos en el tema cuando esté planificada la actualización de la instancia.
  2. Espera a que la canalización termine de procesar los datos publicados.
  3. Una vez que se procesen los datos por completo, detén la canalización.
  4. Actualiza la instancia.
  5. Duplicar la canalización existente y actualizar a los complementos más recientes
  6. Implementa la canalización.

  7. Ejecutar la canalización nueva para leer datos

    La versión nueva usa automáticamente una instantánea en lugar de los controles de Spark.

  8. Borra la canalización anterior.

¿Qué sigue?