Cómo enviar registros a error

En esta página, se explica cómo quitar errores comunes de un conjunto de datos cuando preparas los datos en el espacio de trabajo de Wrangler de Cloud Data Fusion Studio.

Los siguientes tipos de errores ocurren en los conjuntos de datos:

  • Errores sistémicos, como fallas de servicio o de instancia
  • Errores lógicos, como fallas en la ejecución de canalizaciones
  • Errores de datos, como números de tarjetas de crédito, formatos de fecha o códigos postales no válidos

Wrangler proporciona un conjunto de más de 50 directivas para ayudarte a quitar errores comunes de un conjunto de datos.

Para enviar registros a error, sigue estos pasos:

  1. Ve al espacio de trabajo de Wrangler en Cloud Data Fusion.
  2. En la pestaña Datos, ve al nombre de una columna y haz clic en la flecha del expansor arrow_drop_down.
  3. Selecciona Enviar a error y, luego, selecciona la condición que envía los registros incorrectos a error.

Wrangler quita del muestreo los valores que coinciden con la condición especificada y agrega la directiva send to error a la receta. Cuando ejecutas la canalización de datos, la transformación se aplica a todos los valores de la columna.

Agrega un complemento de recopilador de errores a una canalización de datos

Cuando agregas una transformación de Wrangler con una receta que incluye la directiva send to error a una canalización de datos, puedes conectarla al complemento Error Collector. Por lo general, el complemento Error Collector se conecta a un complemento de receptor downstream, como un receptor de BigQuery.

Cuando ejecutas la canalización, los registros marcados por la directiva send to error van del paso de transformación de Wrangler en tu canalización al paso de Error Collector y al paso de sink. Cuando finalice la ejecución, podrás examinar esos registros marcados que se escribieron en el destino.

Si tu receta incluye la transformación send to error, pero la canalización no incluye el complemento Error Collector, los registros marcados por la directiva send to error se descartan durante la ejecución de la canalización.

¿Qué sigue?