Guías prácticas

• Instala el SDK de Apache Beam

  Cómo instalar el SDK de Apache Beam para que puedas ejecutar tus canalizaciones en el servicio de Dataflow.

Crea una canalización

• Aspectos principales de la canalización para los SDK de Apache Beam

  Cómo diseñar, crear y probar tu canalización con los SDK de Apache Beam.

• Desarrolla con notebooks de Apache Beam

  Cómo desarrollar canalizaciones de forma iterativa mediante notebooks de JupyterLab y el ejecutor interactivo de Apache Beam.

Configura recursos y opciones de canalización

• Configura las opciones de canalización

  Cómo establecer las opciones de canalización, como dónde se ejecuta la canalización.

• Configura el ajuste correcto de Dataflow Prime

  Cómo usar las sugerencias de recursos para asignar recursos a la canalización y a sus etapas.

• Implementa una canalización

  Obtén información sobre cómo implementar tu canalización y sobre cómo funciona el servicio administrado de Dataflow, incluidas las opciones de configuración y las restricciones predeterminadas.

• Usa Dataflow Prime

  Cómo comenzar a usar Dataflow Prime.

• Usa la IU de supervisión

  Cómo supervisar una canalización de Apache Beam en ejecución con la interfaz de supervisión.

• Usa Dataflow Insights

  Cómo usar Dataflow Insights para optimizar el rendimiento del trabajo.

• Usa la interfaz de línea de comandos

  Cómo supervisar una canalización de Apache Beam en ejecución con la interfaz de línea de comandos.

• Usar Cloud Monitoring

  Cómo usar la integración de Dataflow con Cloud Monitoring.

• Registra mensajes de canalización

  Supervisa la información de registro durante y después de que se ejecute tu canalización.

• Usa contenedores personalizados en Dataflow

  Cómo personalizar el entorno de ejecución del código de usuario en las canalizaciones de Dataflow mediante una imagen de contenedor personalizada.

Soluciona problemas de tu canalización

• Solución de problemas y depuración

  Guía de solución de problemas para resolver cualquier situación que se presente en la ejecución de tu canalización.

• Orientación sobre errores comunes

  Cómo resolver los errores de trabajos de Dataflow.

• Crea el perfil para una canalización

  Cómo crear perfiles de canalizaciones de Dataflow con Cloud Profiler.

• Actualiza una canalización existente

  Cómo actualizar una canalización en ejecución con un código de canalización nuevo o con opciones de ejecución diferentes y preservar el estado de tu trabajo.

• Usa instantáneas de Dataflow

  Cómo usar instantáneas para guardar el estado de una canalización de transmisión.

• Detén una canalización en ejecución

  Cómo detener una canalización de Apache Beam en curso.

Crear y ejecutar plantillas

• Comienza con las plantillas proporcionadas por Google

  Cómo usar las plantillas proporcionadas por Google para comenzar.

• Plantillas de transmisión que proporciona Google

  Cómo usar las plantillas proporcionadas por Google para procesar datos continuamente.

• Plantillas por lotes que proporciona Google

  Cómo usar las plantillas que proporciona Google para procesar datos en masa.

• Plantillas de utilidad que proporciona Google

  Cómo usar las plantillas de utilidad que proporciona Google.

• Crea plantillas clásicas

  Cómo crear una plantilla clásica personalizada a partir del código de tu canalización de Dataflow

• Ejecuta plantillas clásicas

  Cómo usar plantillas para habilitar por etapas tus canalizaciones y ejecutarlas desde varios entornos.

• Usa plantillas de Flex

  Cómo crear y ejecutar un trabajo de plantilla de Flex de Dataflow con una imagen de Docker personalizada mediante Google Cloud CLI.

• Configura plantillas de Flex

  Cómo otorgar permisos, configurar las variables de entorno de Dockerfile y especificar opciones de canalización para las plantillas de Flex de Dataflow.

• Migra desde MapReduce de App Engine

  Cómo migrar de MapReduce de App Engine a Apache Beam y Dataflow.

Configura Herramientas de redes

• Especifica redes

  Cómo especificar una red y una subred cuando ejecutas trabajos de Dataflow.

• Configurar el acceso a Internet y las reglas de firewall

  Cómo proporcionar rutas y definir tus reglas de firewall de Google Cloud para la red asociada a tus trabajos de Dataflow.

• Usa Cloud Pub/Sub Seek con Cloud Dataflow

  Cómo usar Pub/Sub Seek con Dataflow.

• Usa claves de encriptación administradas por el cliente

  Cómo usar una clave de encriptación de Cloud Key Management Service (Cloud KMS) con Dataflow.

• Usa la programación flexible de recursos en Cloud Dataflow

  Cómo usar la programación flexible de recursos (FlexRS) en Dataflow.

Crear trabajos de Dataflow SQL

• Usa Dataflow SQL

  Cómo usar Dataflow SQL y crear trabajos de Dataflow SQL.

• Usa consultas de Dataflow SQL parametrizadas

  Cómo ejecutar consultas de Dataflow SQL parametrizadas.

Trabaja con GPU

• Desarrolla con GPU

  Cómo compilar canalizaciones con GPU.

• Uso de GPU

  Cómo ejecutar una canalización de Apache Beam en Dataflow con GPU.

• Trabaja con Data pipelines

  Cómo usar las canalizaciones administradas de Dataflow.