Crea una canalización de datos

Crea una canalización de datos

En esta guía de inicio rápido, se muestra cómo hacer lo siguiente:

1. Crea una instancia de Cloud Data Fusion.
2. Implementa una canalización de muestra que se proporciona con tu instancia de Cloud Data Fusion. La canalización hace lo siguiente:
   1. Lee un archivo JSON que contiene los datos de bestseller de NYT de Cloud Storage.
   2. Ejecuta transformaciones en el archivo para analizar y limpiar los datos.
   3. Carga en BigQuery los libros mejor calificados que se agregaron durante la última semana y que cuestan menos de $25.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Enable the Cloud Data Fusion API.

   Enable the API

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Enable the Cloud Data Fusion API.

   Enable the API

Cree una instancia de Cloud Data Fusion

1. Haga clic en Crear una instancia.

   Ir a Instancias

2. Ingresa un Nombre de instancia.
3. Ingresa una Descripción para tu instancia.
4. Ingresa la Región en la que se creará la instancia.
5. Elige la Versión de Cloud Data Fusion que quieres usar.
6. Elige la Edición de Cloud Data Fusion.
7. En las versiones de Cloud Data Fusion 6.2.3 y posteriores, en el campo Autorización, elige la cuenta de servicio de Dataproc que se usará para ejecutar tu canalización de Cloud Data Fusion en Dataproc. Se preselecciona como valor predeterminado la cuenta de Compute Engine.
8. Haga clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse. Mientras Cloud Data Fusion crea la instancia, se muestra una rueda de progreso junto al nombre de la instancia en la página Instances. Cuando se completa, se convierte en una marca de verificación verde y se indica que puedes comenzar a usar la instancia.

Navega por la interfaz web de Cloud Data Fusion

Cuando usas Cloud Data Fusion, usas la consola de Google Cloud y la interfaz web separada de Cloud Data Fusion.

• En la consola de Google Cloud, puedes hacer lo siguiente:

  • Crea un proyecto de la consola de Google Cloud
  • Crea y borra instancias de Cloud Data Fusion
  • Ver los detalles de la instancia de Cloud Data Fusion

• En la interfaz web de Cloud Data Fusion, puedes usar varias páginas, como Studio o Wrangler, para usar la funcionalidad de Cloud Data Fusion.

Para navegar por la interfaz de Cloud Data Fusion, sigue estos pasos:

1. En la consola de Google Cloud, abre la página Instancias.

   Ir a Instancias

2. En la columna Acciones de la instancia, haz clic en el vínculo Ver instancia.
3. En la interfaz web de Cloud Data Fusion, usa el panel de navegación izquierdo para navegar a la página que necesites.

Implementa una canalización de muestra

Las canalizaciones de muestra están disponibles a través del Centro de noticias de Cloud Data Fusion, que te permite compartir canalizaciones, complementos y soluciones reutilizables de Cloud Data Fusion.

1. En la interfaz web de Cloud Data Fusion, haz clic en Hub.
2. En el panel izquierdo, haz clic en Canalizaciones.
3. Haz clic en la canalización de la Guía de inicio rápido de Cloud Data Fusion.
4. Haz clic en Crear.
5. En el panel de configuración de la Guía de inicio rápido de Cloud Data Fusion, haz clic en Finalizar.

6. Haz clic en Personalizar canalización.

   Aparece una representación visual de tu canalización en la página de Studio. que es una interfaz gráfica para desarrollar canalizaciones de integración de datos. Los complementos de canalización disponibles se muestran a la izquierda y tu canalización se muestra en el área de lienzo principal. Para explorar tu canalización, mantén el puntero sobre cada nodo de la canalización y haz clic en Propiedades. El menú de propiedades de cada nodo te permite ver los objetos y las operaciones asociados con el nodo.

7. En el menú de la esquina superior derecha, haz clic en Implementar. En este paso, se envía la canalización a Cloud Data Fusion. Ejecutarás la canalización en la siguiente sección de esta guía de inicio rápido.

Visualiza tu canalización

La canalización implementada aparecerá en la vista de detalles de la canalización, donde puedes hacer lo siguiente:

• Consulta la estructura y la configuración de la canalización.
• Ejecuta la canalización de forma manual o configura una programación o un activador.
• Visualiza un resumen de las ejecuciones históricas de la canalización, incluida la ejecución. tiempos, registros y métricas.

Ejecuta tu canalización

En la vista de detalles de la canalización, haz clic en Ejecutar para ejecutar su canalización.

Cuando se ejecuta una canalización, Cloud Data Fusion hace lo siguiente:

1. Aprovisiona un clúster efímero de Dataproc
2. Ejecuta la canalización en el clúster con Apache Spark
3. Eliminación del clúster

Nota: Cuando la canalización pasa al estado En ejecución, puedes supervisar la creación y la eliminación del clúster de Dataproc. Este clúster solo existe durante el tiempo de la canalización.

Vea los resultados

Después de unos minutos, la canalización finaliza. El estado de la canalización cambia a Finalizada y se muestra la cantidad de registros que procesa cada nodo.

1. Ve a la interfaz web de BigQuery.

2. Para ver una muestra de los resultados, ve al conjunto de datos DataFusionQuickstart de tu proyecto, haz clic en la tabla top_rated_inexpensive y, luego, ejecuta una consulta simple. Por ejemplo:

   SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
   

   Reemplaza PROJECT_ID con el ID del proyecto.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

1. Borra el conjunto de datos de BigQuery en las que escribió tu canalización en esta guía de inicio rápido.

2. Borra la instancia de Cloud Data Fusion.

   Nota: Borrar tu instancia no borra tus datos en el proyecto.

3. Opcional: Borra el proyecto.

Precaución: Borrar un proyecto tiene las siguientes consecuencias:
• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?

• Sigue el instructivo de Cloud Data Fusion
• Obtén información sobre los conceptos de Cloud Data Fusion.