Crea una canalización de datos

En esta guía de inicio rápido, se muestra cómo hacer lo siguiente:

  1. Crea una instancia de Cloud Data Fusion.
  2. Implementa una canalización de muestra que se proporciona con tu instancia de Cloud Data Fusion. La canalización hace lo siguiente:
    1. Lee un archivo JSON que contiene los datos de bestseller de NYT de Cloud Storage.
    2. Ejecuta transformaciones en el archivo para analizar y limpiar los datos.
    3. Carga en BigQuery los libros mejor calificados que se agregaron durante la última semana y que cuestan menos de $25.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  3. Habilita la API de Cloud Data Fusion.

    Habilita la API

  4. En la página del selector de proyectos de la consola de Google Cloud, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  5. Habilita la API de Cloud Data Fusion.

    Habilita la API

Cree una instancia de Cloud Data Fusion

  1. Haga clic en Crear una instancia.

    Ir a Instancias

  2. Ingresa un Nombre de instancia.
  3. Ingresa una Descripción para tu instancia.
  4. Ingresa la Región en la que deseas crear la instancia.
  5. Elige la versión de Cloud Data Fusion que deseas usar.
  6. Elige la Edición de Cloud Data Fusion.
  7. Para las versiones 6.2.3 y posteriores de Cloud Data Fusion, en el campo Autorización, elige la cuenta de servicio de Dataproc que se usará para ejecutar la canalización de Cloud Data Fusion en Dataproc. Se preselecciona como valor predeterminado la cuenta de Compute Engine.
  8. Haz clic en Crear. El proceso de creación de la instancia toma hasta 30 minutos en completarse. Mientras Cloud Data Fusion crea la instancia, se muestra una rueda de progreso junto al nombre de la instancia en la página Instances. Cuando se completa, se convierte en una marca de verificación verde y se indica que puedes comenzar a usar la instancia.

Cuando usas Cloud Data Fusion, debes usar la consola de Google Cloud y la interfaz web independiente de Cloud Data Fusion.

  • En la consola de Google Cloud, puedes hacer lo siguiente:

    • Crea un proyecto de la consola de Google Cloud
    • Crea y borra instancias de Cloud Data Fusion
    • Consulta los detalles de la instancia de Cloud Data Fusion
  • En la interfaz web de Cloud Data Fusion, puedes usar varias páginas, como Studio o Wrangler, para usar la funcionalidad de Cloud Data Fusion.

Para navegar por la interfaz de Cloud Data Fusion, sigue estos pasos:

  1. En la consola de Google Cloud, abre la página Instancias.

    Ir a Instancias

  2. En la columna Acciones de la instancia, haz clic en el vínculo Ver instancia.
  3. En la interfaz web de Cloud Data Fusion, usa el panel de navegación izquierdo para navegar a la página que necesitas.

Implementa una canalización de muestra

Las canalizaciones de muestra están disponibles a través del Hub de Cloud Data Fusion, que te permite compartir canalizaciones, complementos y soluciones reutilizables de Cloud Data Fusion.

  1. En la interfaz web de Cloud Data Fusion, haz clic en Hub.
  2. En el panel izquierdo, haz clic en Canalizaciones.
  3. Haz clic en la canalización de la Guía de inicio rápido de Cloud Data Fusion.
  4. Haz clic en Crear.
  5. En el panel de configuración de la Guía de inicio rápido de Cloud Data Fusion, haz clic en Finalizar.
  6. Haz clic en Personalizar canalización.

    Una representación visual de tu canalización aparece en la página Studio, que es una interfaz gráfica para desarrollar canalizaciones de integración de datos. Los complementos de canalización disponibles se muestran a la izquierda y tu canalización se muestra en el área de lienzo principal. Para explorar tu canalización, mantén el puntero sobre cada nodo de la canalización y haz clic en Propiedades. El menú de propiedades de cada nodo te permite ver los objetos y las operaciones asociados con el nodo.

  7. En el menú de la parte superior derecha, haz clic en Implementar. En este paso, se envía la canalización a Cloud Data Fusion. Ejecutarás la canalización en la siguiente sección de esta guía de inicio rápido.

Implementa la canalización

Visualiza tu canalización

La canalización implementada aparecerá en la vista de detalles de la canalización, donde puedes hacer lo siguiente:

  • Visualiza la estructura y la configuración de la canalización.
  • Ejecuta la canalización de forma manual o configura una programación o un activador.
  • Consulta un resumen de las ejecuciones históricas de la canalización, incluidos los tiempos de ejecución, los registros y las métricas.

Copia la cuenta de servicio

Ejecuta tu canalización

En la vista de detalles de la canalización, haz clic en Ejecutar para ejecutar su canalización.

Ejecuta la canalización

Cuando se ejecuta una canalización, Cloud Data Fusion hace lo siguiente:

  1. Aprovisiona un clúster efímero de Dataproc
  2. Ejecuta la canalización en el clúster con Apache Spark
  3. Eliminación del clúster

Vea los resultados

Después de unos minutos, la canalización finaliza. El estado de la canalización cambia a Finalizada y se muestra la cantidad de registros que procesa cada nodo.

Se completó la ejecución de la canalización

  1. Ve a la interfaz web de BigQuery.
  2. Para ver una muestra de los resultados, ve al conjunto de datos DataFusionQuickstart en el proyecto, haz clic en la tabla top_rated_inexpensive y, luego, ejecuta una consulta simple. Por ejemplo:

    SELECT * FROM PROJECT_ID.GCPQuickStart.top_rated_inexpensive LIMIT 10
    

    Reemplaza PROJECT_ID con el ID del proyecto.

Vea los resultados

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.

  1. Borra el conjunto de datos de BigQuery en el que se escribió tu canalización en esta guía de inicio rápido.
  2. Borra la instancia de Cloud Data Fusion.

  3. Opcional: Borra el proyecto.

  1. En la consola de Google Cloud, ve a la página Administrar recursos.

    Ir a Administrar recursos

  2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
  3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

¿Qué sigue?

  • Sigue el instructivo de Cloud Data Fusion
  • Obtén información sobre los conceptos de Cloud Data Fusion.