Enviar registros al error

En esta página, se explica cómo quitar errores comunes de un conjunto de datos cuando te preparas en el espacio de trabajo de Wrangler de Cloud Data Fusion Studio.

Se producen los siguientes tipos de errores en los conjuntos de datos:

  • Errores del sistema, como fallas de instancia o servicio
  • Errores lógicos, como fallas de ejecución de la canalización
  • Errores de datos, como números de tarjetas de crédito, formatos de fecha o códigos postales no válidos

Wrangler proporciona un conjunto de más de 50 directivas para ayudarte a quitar errores comunes de un conjunto de datos.

Para enviar registros a error, sigue estos pasos:

  1. Ve al lugar de trabajo de Wrangler en Cloud Data Fusion.
  2. En la pestaña Datos, ve al nombre de una columna y haz clic en arrow_drop_down flecha de expansión.
  3. Selecciona Send to error y, luego, la condición que envía errores registros a un error.

Wrangler quita de la muestra los valores que coinciden con la condición especificada. Agrega la directiva send to error a la receta. Cuando ejecutes los datos por lotes, la transformación se aplica a todos los valores de la columna.

Agrega un complemento de recopilador de errores a una canalización de datos

Cuando agregas una transformación de Wrangler con una receta que incluye la directiva send to error a una canalización de datos, puedes conectarla al complemento Error Collector. Por lo general, el complemento Error Collector se conecta a un complemento de receptor downstream, como un receptor de BigQuery.

Cuando ejecutes la canalización, los registros marcados por la directiva send to error ir del paso de transformación de Wrangler en tu canalización al Colector de errores al paso de receptor. Cuando finalice la ejecución, puedes examinar los elementos marcados de registros escritos en el receptor.

Si tu receta incluye la transformación send to error, pero la canalización no incluye el complemento Error Collector, los registros marcados por la directiva send to error se descartan durante la ejecución de la canalización.

¿Qué sigue?