Crea una canalización de datos

Cree una canalización de datos con Cloud Data Fusion

Crea una canalización de datos

Esta guía de inicio rápido te muestra cómo hacer lo siguiente:

1. Crea una instancia de Cloud Data Fusion.
2. Implementa una canalización de muestra que se proporciona con tu instancia de Cloud Data Fusion. La canalización hace lo siguiente:
   1. Lee un archivo JSON que contiene los datos de bestseller de NYT de Cloud Storage.
   2. Ejecuta transformaciones en el archivo para analizar y limpiar los datos.
   3. Carga en BigQuery los libros mejor calificados que se agregaron durante la última semana y que cuestan menos de $25.

Antes de comenzar

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

3. Habilita la API de Cloud Data Fusion.

   Habilita la API

4. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

   Nota: Si no planeas conservar los recursos que creaste durante este procedimiento, crea un proyecto en lugar de seleccionar uno existente. Cuando termines, puedes borrar el proyecto y quitar todos los recursos asociados con él.

   Ir al selector de proyectos

5. Habilita la API de Cloud Data Fusion.

   Habilita la API

Cree una instancia de Cloud Data Fusion

1. Haga clic en Crear una instancia.

   Ir a Instancias

2. Ingresa un Nombre de instancia.
3. Ingresa una Descripción para tu instancia.
4. Ingresa la Región en la que se creará la instancia.
5. Elige la Versión de Cloud Data Fusion para usar.
6. Elige la Edición de Cloud Data Fusion.
7. En la versión 6.2.3 y posteriores de Cloud Data Fusion, en el campo Autorización, elige la cuenta de servicio de Dataproc que se usará para ejecutar la canalización de Cloud Data Fusion en Dataproc. Se preselecciona como valor predeterminado la cuenta de Compute Engine.
8. Haz clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse. Mientras Cloud Data Fusion crea la instancia, se muestra una rueda de progreso junto al nombre de la instancia en la página Instances. Cuando se completa, se convierte en una marca de verificación verde y se indica que puedes comenzar a usar la instancia.

Navega a la IU de Cloud Data Fusion

Cuando usas Cloud Data Fusion, debes usar Google Cloud Console y la IU de Cloud Data Fusion separada.

• En Google Cloud Console, puedes crear un proyecto de Google Cloud Console, crear y borrar instancias de Cloud Data Fusion y ver los detalles de la instancia de Cloud Data Fusion.

• En la IU web de Cloud Data Fusion, puedes usar las distintas páginas, como Studio o Wrangler, para usar la funcionalidad de Cloud Data Fusion.

Para navegar a la IU de Cloud Data Fusion, sigue estos pasos:

1. En Google Cloud Console, abre la página Instancias.

   Ir a Instancias

2. En la columna Acciones de la instancia, haz clic en el vínculo Ver instancia.
3. En la IU web de Cloud Data Fusion, usa el panel de navegación izquierdo para navegar a la página que necesites.

Implementa una canalización de muestra

Las canalizaciones de muestra están disponibles a través del Hub de Cloud Data Fusion, que te permite compartir las canalizaciones, los complementos y las soluciones reutilizables de Cloud Data Fusion.

1. En la IU web de Cloud Data Fusion, haz clic en Centro de noticias.
2. En el panel izquierdo, haz clic en Canalizaciones.
3. Haz clic en la canalización de la Guía de inicio rápido de Cloud Data Fusion.
4. Haz clic en Crear.
5. En el panel de configuración de inicio rápido de Cloud Data Fusion, haz clic en Finalizar.
6. Haz clic en Personalizar canalización. Aparecerá una representación visual de tu canalización en la página de Studio, que es una interfaz gráfica para desarrollar canalizaciones de integración de datos. Los complementos de canalización disponibles se muestran a la izquierda y tu canalización se muestra en el área de lienzo principal. Para explorar tu canalización, mantén el puntero sobre cada nodo de la canalización y haz clic en Propiedades. El menú de propiedades para cada nodo te permite ver los objetos y las operaciones asociadas con el nodo.
7. En el menú de la parte superior derecha, haz clic en Implementar. Esto envía la canalización a Cloud Data Fusion. Ejecutarás la canalización en la siguiente sección de esta guía de inicio rápido.

Visualiza tu canalización

La canalización implementada aparecerá en la vista de detalles de la canalización, donde puedes hacer lo siguiente:

• Ver la estructura y la configuración de la canalización.
• Ejecuta la canalización de forma manual o configura una programación o un activador.
• Ver un resumen de las ejecuciones históricas de la canalización, incluidos los registros, las métricas y los tiempos de ejecución.

Ejecuta tu canalización

En la vista de detalles de la canalización, haz clic en Ejecutar para ejecutar su canalización.

Nota: Cuando ejecutas una canalización, Cloud Data Fusion aprovisiona un clúster de Dataproc efímero, ejecuta la canalización en el clúster mediante Apache Hadoop MapReduce o Apache Spark y, luego, borra el clúster. Cuando la canalización pasa al estado En ejecución, puedes supervisar la creación y la eliminación del clúster de Dataproc. Este clúster solo existe durante el tiempo de la canalización.

Observa los resultados.

Después de unos minutos, la canalización finaliza. El estado de la canalización cambia a Finalizada y se muestra la cantidad de registros que procesa cada nodo.

1. Ir a la IU de BigQuery

2. Para ver una muestra de los resultados, ve al conjunto de datos DataFusionQuickstart en tu proyecto, haz clic en la tabla top_rated_inexpensive y, luego, ejecuta una consulta simple, como la siguiente:SELECT * FROM <var>PROJECT_ID<var>.GCPQuickStart.top_rated_inexpensive LIMIT 10

   Reemplaza PROJECT_ID por el ID del proyecto.

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página, sigue estos pasos.

1. Borra el conjunto de datos de BigQuery que tu canalización escribió en esta guía de inicio rápido.

2. Borra la instancia de Cloud Data Fusion.

   Nota: Borrar tu instancia no borra tus datos en el proyecto.

3. Borra el proyecto (opcional).

   Precaución: Borrar un proyecto tiene estas consecuencias:
   • Se borra todo en el proyecto. Si utilizaste un proyecto existente para este instructivo, cuando lo borres, también borrarás cualquier otro trabajo que hayas realizado en el proyecto.
   • Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.
   1. En la consola de Google Cloud, ve a la página Administrar recursos.

      Ir a Administrar recursos

   2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
   3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

¿Qué sigue?

• Sigue el instructivo de Cloud Data Fusion
• Obtén información sobre los conceptos de Cloud Data Fusion.
• Obtén información sobre los componentes de la arquitectura de Cloud Data Fusion