Solución de inicio rápido: almacén de datos con BigQuery

Last reviewed 2024-01-29 UTC

Esta guía te ayuda a comprender, implementar y usar la solución de inicio rápido de almacén de datos con BigQuery. Demuestra cómo puedes compilar un almacén de datos en Google Cloud mediante BigQuery como almacén de datos, con Looker Studio como herramienta de visualización y panel. La solución también usa las capacidades de IA generativas de Vertex AI para generar texto que resume el análisis.

Los casos de uso comunes para compilar un almacén de datos incluyen los siguientes:

Agregar y crear almacenes de estadísticas de marketing para mejorar los ingresos o algunas otras métricas de los clientes
Crear informes y análisis financieros.
Compilar paneles operativos para mejorar el rendimiento corporativo.

Este documento está dirigido a desarrolladores que tengan cierta experiencia en el análisis de datos y que usen una base de datos para realizar un análisis. Se supone que estás familiarizado con los conceptos básicos de la nube, aunque no necesariamente con Google Cloud. La experiencia con Terraform es útil, pero no obligatoria para implementar esta solución a través de la consola.

Objetivos

Descubrir cómo los datos fluyen a un almacén de datos en la nube y cómo se pueden transformar mediante SQL.
Crear paneles a partir de los datos para realizar análisis de datos
Programar instrucciones de SQL para actualizar datos sobre una recurrencia común.
Crear un modelo de aprendizaje automático para predecir los valores de datos en el tiempo
Usa la IA generativa para resumir los resultados de tu modelo de aprendizaje automático.

Productos usados

En la solución, se usan los siguientes productos de Google Cloud:

BigQuery: Un almacén de datos con alta escalabilidad y completamente administrado con capacidades de aprendizaje automático integradas
Cloud Storage: Un servicio preparado para empresas que proporciona almacenamiento de objetos de bajo costo y sin límites para varios tipos de datos. Se puede acceder a los datos desde dentro y desde fuera de Google Cloud y replicarlos con redundancia geográfica.
Looker Studio: Plataforma de inteligencia empresarial de autoservicio que te ayuda a crear y compartir estadísticas de datos.
Vertex AI: Es una plataforma de aprendizaje automático (AA) que te permite entrenar e implementar modelos de AA y aplicaciones de IA.

Los siguientes productos de Google Cloud se usan para almacenar datos en etapa intermedia en la solución del primer uso:

Flujos de trabajo: Una plataforma de organización por completo administrada que ejecuta servicios en un orden específico como un flujo de trabajo. Los flujos de trabajo pueden combinar servicios, incluidos servicios personalizados alojados en Cloud Run o Cloud Functions, servicios de Google Cloud, como BigQuery y cualquier API basada en HTTP.
Cloud Functions: Es un entorno de ejecución sin servidores para crear y conectar servicios en la nube.

Arquitectura

En el almacén de ejemplo que implementa esta solución, se analizan los datos de comercio electrónico ficticios de TheLook para comprender el rendimiento de la empresa a lo largo del tiempo. En el siguiente diagrama, se muestra la arquitectura de los recursos de Google Cloud que implementa la solución:

Arquitectura de la infraestructura para la solución de almacén de datos.

Flujo de la solución

La arquitectura representa un flujo de datos común para propagar y transformar datos en un almacén de datos:

Los datos se envían a un bucket de Cloud Storage.
Workflows facilita el movimiento de datos.
Los datos se cargan en BigQuery desde una tabla de BigLake con un procedimiento almacenado de SQL.
Los datos se transforman en BigQuery mediante un procedimiento almacenado de SQL.
Los paneles se crean a partir de los datos para analizarlos con más detalle con Looker Studio.
Los datos se analizan mediante un modelo k-means compilado con BigQuery ML. El análisis identifica patrones comunes, que se resumen mediante las capacidades de la IA generativa de Vertex AI a través de BigQuery.
Cloud Functions crea notebooks de Python con contenido de aprendizaje adicional.

Costo

Para obtener una estimación del costo de los recursos de Google Cloud que usa la solución de almacén de datos con BigQuery, consulta la estimación calculada previamente en la calculadora de precios de Google Cloud.

Usa la estimación como punto de partida para calcular el costo de la implementación. Puedes cambiar la estimación para que refleje cualquier cambio de configuración que planeas hacer para los recursos que se usan en la solución.

La estimación calculada con anterioridad se basa en suposiciones para ciertos factores, incluidos los siguientes:

Las ubicaciones de Google Cloud en las que se implementan los recursos.
La cantidad de tiempo que se usan los recursos.
La región de datos en la que los datos se almacenan en etapa intermedia.

Implementa la solución

En esta sección, se te guiará a través del proceso de implementación de la solución.

Crea o elige un proyecto de Google Cloud

Cuando implementas la solución, eliges el proyecto de Google Cloud en el que se implementan los recursos. Cuando decidas si usarás un proyecto existente o crearás un proyecto nuevo, ten en cuenta los siguientes factores:

Si creas un proyecto para la solución, cuando ya no necesites la implementación, puedes borrar el proyecto y evitar la facturación continua. Si usas un proyecto existente, debes borrar la implementación cuando ya no la necesites.
El uso de un proyecto nuevo puede ayudar a evitar conflictos con los recursos aprovisionados con anterioridad, como los recursos que se usan para cargas de trabajo de producción.

Si deseas implementar la solución en un proyecto nuevo, crea el proyecto antes de comenzar la implementación.

Para crear un proyecto, completa los siguientes pasos:

En la consola de Google Cloud, ve a la página del selector de proyectos.

Ir al selector de proyectos
Para comenzar a crear un proyecto de Google Cloud, haz clic en Crear proyecto.
Ponle un nombre al proyecto. Toma nota de tu ID del proyecto generado.
Edita los otros campos según sea necesario.
Para crear el proyecto, haz clic en Crear.

Obtén los permisos de IAM necesarios

Para iniciar el proceso de implementación, necesitas los permisos de Identity and Access Management (IAM) que se enumeran en la siguiente tabla. Si tienes el rol básico roles/owner para el proyecto en el que planeas implementar la solución, ya tienes todos los permisos necesarios. Si no tienes el rol roles/owner, pídele a tu administrador que te otorgue estos permisos (o los roles que incluyen estos permisos).

Se requiere permiso de IAM	Rol predefinido que incluye los permisos necesarios
`serviceusage.services.enable`	Administrador de Service Usage (`roles/serviceusage.serviceUsageAdmin`)
`iam.serviceAccounts.create`	Administrador de cuenta de servicio (`roles/iam.serviceAccountAdmin`)
`resourcemanager.projects.setIamPolicy`	Administrador de IAM de proyecto (`roles/resourcemanager.projectIamAdmin`)
`config.deployments.create` `config.deployments.list`	Administrador de Cloud Infrastructure Manager (`roles/config.admin`)

Cuenta de servicio creada para la solución

Si inicias el proceso de implementación a través de la consola, Google crea una cuenta de servicio para implementar la solución en tu nombre (y para borrar la implementación más adelante si lo deseas). A esta cuenta de servicio se le asignan ciertos permisos de IAM de forma temporal; es decir, los permisos se revocan de forma automática después de que se completan las operaciones de implementación y eliminación de la solución. Google recomienda que, después de borrar la implementación, borres la cuenta de servicio, como se describe más adelante en esta guía.

Visualiza los roles asignados a la cuenta de servicio

Estos roles se enumeran aquí en caso de que un administrador de tu organización o proyecto de Google Cloud necesite esta información.

roles/aiplatform.admin
roles/bigquery.admin
roles/cloudfunctions.admin
roles/config.agent
roles/datalineage.viewer
roles/dataform.admin
roles/iam.serviceAccountAdmin
roles/iam.serviceAccountUser
roles/iam.serviceAccountTokenCreator
roles/logging.configWriter
roles/resourcemanager.projectIamAdmin
roles/run.invoker
roles/serviceusage.serviceUsageAdmin
roles/storage.admin
roles/workflows.admin

Elige un método de implementación

Para ayudarte a implementar esta solución con un esfuerzo mínimo, se proporciona una configuración de Terraform en GitHub. La configuración de Terraform define todos los recursos de Google Cloud que se requieren para la solución.

Puedes implementar la solución con uno de los siguientes métodos:

A través de la consola: usa este método si deseas probar la solución con la configuración predeterminada y ver cómo funciona. Cloud Build implementa todos los recursos necesarios para la solución. Cuando ya no necesites la solución, puedes borrarla desde la consola. Es posible que cualquier recurso que crees después de implementar la solución deba borrarse por separado.

Para usar este método de implementación, sigue las instrucciones en Implementa desde la consola.
Usa Terraform: Usa este método si quieres personalizar la solución o automatizar el aprovisionamiento y la administración de los recursos con el uso del enfoque de la infraestructura como código (IaC). Descarga la configuración de Terraform desde GitHub y de forma opcional personaliza el código según sea necesario e implementa la solución con Terraform. Después de implementar la solución, puedes seguir usando Terraform para administrarla.

Para usar este método de implementación, sigue las instrucciones en Implementa con la CLI de Terraform.

Implementa a través de la consola

Completa los siguientes pasos para implementar la solución preconfigurada.

En el catálogo de soluciones de inicio rápido de Google Cloud, ve a la solución Almacén de datos con BigQuery.

Ir a la solución Almacén de datos con BigQuery
Revisa la información que se proporciona en la página, como el costo estimado de la solución y el tiempo de implementación estimado.
Cuando estés listo para comenzar la implementación de la solución, haz clic en Implementar.

Se muestra una guía interactiva paso a paso.
Completa los pasos de la guía interactiva.

Toma nota del nombre que ingreses para la implementación. Este nombre es obligatorio más adelante cuando borres la implementación.

Cuando haces clic en Implementar, se muestra la página Implementaciones de soluciones. El campo Estado de esta página muestra Implementando.
Espera a que se implemente la solución.

Si la implementación falla, el campo Estado muestra Con errores. Puedes usar el registro de Cloud Build para diagnosticar los errores. Para obtener más información, consulta Errores cuando se implementa desde la consola.

Una vez completada la implementación, el campo Estado cambia a Implementado.
Para verificar los recursos que se implementan, haz clic en el menú Acciones y, luego, selecciona Ver recursos.

La página Inventario de recursos de la consola de Google Cloud se abre en una nueva pestaña del navegador. En la página, se enumeran los objetos de BigQuery, Cloud Function, el flujo de trabajo de Workflows, el tema de Pub/Sub y los recursos del activador de Eventarc que implementa la solución.

Para ver los detalles de cada recurso, haz clic en el nombre del recurso en la columna Nombre visible.
Para ver y usar la solución, regresa a la página Implementaciones de soluciones en la consola.
1. Haz clic en el menú Acciones.
2. Selecciona Ver el panel de Looker Studio para abrir un panel que se basa en los datos de muestra que se transforman con la solución.
3. Selecciona Abrir editor de BigQuery para ejecutar consultas y compilar modelos de aprendizaje automático (AA) mediante los datos de muestra en la solución.

Cuando ya no necesites la solución, puedes borrar la implementación para evitar que se sigan facturando los recursos de Google Cloud. Para obtener más información, consulta Borra la implementación.

Implementa con la CLI de Terraform

En esta sección, se describe cómo puedes personalizar la solución o automatizar el aprovisionamiento y la administración de la solución con CLI de Terraform. Las soluciones que implementas con el código de Terraform no se muestran en la página Implementaciones de soluciones en la consola de Google Cloud.

Configura el cliente de Terraform

Puedes ejecutar Terraform en Cloud Shell o en tu host local. En esta guía, se describe cómo ejecutar Terraform en Cloud Shell, que tiene Terraform preinstalado y configurado para autenticarse con Google Cloud.

El código de Terraform para esta solución está disponible en un repositorio de GitHub.

Clona el repositorio de GitHub en Cloud Shell.

Se muestra un mensaje para que confirmes la descarga del repositorio de GitHub en Cloud Shell.
Haz clic en Confirmar.

Cloud Shell se inicia en otra pestaña del navegador y el código de Terraform se descarga en el directorio $HOME/cloudshell_open de tu entorno de Cloud Shell.
En Cloud Shell, verifica si el directorio de trabajo actual es $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Este es el directorio que contiene los archivos de configuración de Terraform para la solución. Si necesitas cambiar a ese directorio, ejecuta el siguiente comando:
```
cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
```
Inicializa Terraform con la ejecución del siguiente comando:
```
terraform init
```
Espera hasta ver el siguiente mensaje:
```
Terraform has been successfully initialized!
```

Configura las variables de Terraform

El código de Terraform que descargaste incluye variables que puedes usar para personalizar la implementación según tus requisitos. Por ejemplo, puedes especificar el proyecto de Google Cloud y la región en la que deseas que se implemente la solución.

Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Si no es así, ve a ese directorio.
En el mismo directorio, crea un archivo de texto llamado terraform.tfvars.
En el archivo terraform.tfvars, copia el siguiente fragmento de código y establece los valores para las variables obligatorias.
- Sigue las instrucciones que se proporcionan como comentarios en el fragmento de código.
- Este fragmento de código solo incluye las variables para las que debes establecer valores. La configuración de Terraform incluye otras variables que tienen valores predeterminados. Para revisar todas las variables y los valores predeterminados, consulta el archivo variables.tf que está disponible en el directorio $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse.
- Asegúrate de que cada valor que establezcas en el archivo terraform.tfvars coincida con el tipo de variable como se declara en el archivo variables.tf. Por ejemplo, si el tipo que se define para una variable en el archivo variables.tf es bool, debes especificar true o false como el valor de esa variable en el archivo terraform.tfvars.
```
# This is an example of the terraform.tfvars file.
# The values in this file must match the variable types declared in variables.tf.
# The values in this file override any defaults in variables.tf.

# ID of the project in which you want to deploy the solution
project_id = "PROJECT_ID"

# Google Cloud region where you want to deploy the solution
# Example: us-central1
region = "REGION"

# Whether or not to enable underlying apis in this solution.
# Example: true
enable_apis = true

# Whether or not to protect BigQuery resources from deletion when solution is modified or changed.
# Example: false
force_destroy = false

# Whether or not to protect Cloud Storage resources from deletion when solution is modified or changed.
# Example: true
deletion_protection = true

# Name of the BigQuery ML GenAI remote model used for text generation
# Example: "text_generate_model"
text_generation_model_name = "text_generate_model"
```
Para obtener información sobre los valores que puedes asignar a las variables obligatorias, consulta los siguientes vínculos:
- project_id: Cómo identificar proyectos.
- region: Regiones y zonas disponibles

Valida y revisa la configuración de Terraform

Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Si no es así, ve a ese directorio.
Verifica que la configuración de Terraform no tenga errores:
```
terraform validate
```
Si el comando muestra algún error, realiza las correcciones necesarias en la configuración y, luego, vuelve a ejecutar el comando terraform validate. Repite este paso hasta que el comando muestre el siguiente mensaje:
```
Success! The configuration is valid.
```
Revisa los recursos que se definen en la configuración:
```
terraform plan
```
Si no creaste el archivo terraform.tfvars como se describió antes, Terraform te solicita que ingreses valores para las variables que no tienen valores predeterminados. Ingresa los valores obligatorios.

El resultado del comando terraform plan es una lista de los recursos que Terraform aprovisiona cuando aplicas la configuración.

Si deseas hacer algún cambio, cambia la configuración y, luego, vuelve a ejecutar los comandos terraform validate y terraform plan.

Aprovisiona los recursos

Cuando no se necesiten más cambios en la configuración de Terraform, implementa los recursos de la siguiente manera:

Asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Si no es así, ve a ese directorio.
Aplica la configuración de Terraform:
```
terraform apply
```
Si no creaste el archivo terraform.tfvars como se describió antes, Terraform te solicita que ingreses valores para las variables que no tienen valores predeterminados. Ingresa los valores obligatorios.

Terraform muestra una lista de los recursos que se crearán.
Cuando se te solicite que realices las acciones, ingresa yes.

Terraform muestra mensajes que señalan el progreso de la implementación.

Si no se puede completar la implementación, Terraform muestra los errores que causaron la falla. Revisa los mensajes de error y actualiza la configuración para corregir los errores. Luego, vuelva a ejecutar el comando terraform apply. Para obtener ayuda con la solución de errores de Terraform, consulta Errores cuando se implementa la solución con la CLI de Terraform.

Una vez que se hayan creado todos los recursos, Terraform mostrará el siguiente mensaje:
```
Apply complete!
```
El resultado de Terraform también enumera la siguiente información adicional que necesitarás:
- La URL de Looker Studio del panel que se implementó.
- El vínculo para abrir el editor de BigQuery de algunas consultas de muestra.
En el siguiente ejemplo, se muestra cómo se ve el resultado:
```
lookerstudio_report_url = "https://lookerstudio.google.com/reporting/create?c.reportId=8a6517b8-8fcd-47a2-a953-9d4fb9ae4794&ds.ds_profit.datasourceName=lookerstudio_report_profit&ds.ds_profit.projectId=my-cloud-project&ds.ds_profit.type=TABLE&ds.ds_profit.datasetId=ds_edw&ds.ds_profit.tableId=lookerstudio_report_profit&ds.ds_dc.datasourceName=lookerstudio_report_distribution_centers&ds.ds_dc.projectId=my-cloud-project&ds.ds_dc.type=TABLE&ds.ds_dc.datasetId=ds_edw&ds.ds_dc.tableId=lookerstudio_report_distribution_centers"
bigquery_editor_url = "https://console.cloud.google.com/bigquery?project=my-cloud-project&ws=!1m5!1m4!6m3!1smy-cloud-project!2sds_edw!3ssp_sample_queries"
```
Para ver y usar el panel y ejecutar consultas en BigQuery, copia las URLs de salida del paso anterior y abre las URLs en nuevas pestañas del navegador.

El panel y el editor de BigQuery aparecen en las pestañas nuevas.
Para ver todos los recursos de Google Cloud que se implementaron, haz un recorrido interactivo.

Empieza el recorrido

Personaliza la solución

En esta sección, se proporciona información que los desarrolladores de Terraform pueden usar para modificar la solución de almacén de datos con BigQuery a fin de cumplir con sus propios requisitos técnicos y comerciales. La guía de esta sección es relevante solo si implementas la solución mediante la CLI de Terraform.

Cuando hayas visto cómo funciona la solución con los datos de muestra, es posible que desees trabajar con tus propios datos. Para usar tus propios datos, colócalos en el bucket de Cloud Storage llamado edw-raw-hash. El hash es un conjunto aleatorio de 8 caracteres que se genera durante la implementación. Puedes cambiar el código de Terraform de las siguientes maneras:

ID de conjunto de datos. Cambia el código de Terraform para que, cuando el código cree el conjunto de datos de BigQuery, use el ID del conjunto de datos que deseas usar en tus datos.
Esquema. Cambia el código de Terraform para que cree el ID de la tabla de BigQuery que deseas usar para almacenar tus datos. Esto incluye el esquema de la tabla externa para que BigQuery pueda leer los datos de Cloud Storage.
Consultas programadas. Agrega los procedimientos almacenados que realicen el análisis que te interese.
Paneles de Looker Cambia el código de Terraform que crea un panel de Looker para que el panel refleje los datos que usas.

Los siguientes son objetos de almacén de datos comunes, que muestran el código de ejemplo de Terraform en main.tf.

Conjunto de datos de BigQuery: Es el esquema en el que se agrupan y almacenan los objetos de la base de datos.

resource "google_bigquery_dataset" "ds_edw" {
      project = module.project-services.project_id
      dataset_id = "DATASET_PHYSICAL_ID"
      friendly_name = "DATASET_LOGICAL_NAME"
      description = "DATASET_DESCRIPTION"
      location = "REGION"
      labels = var.labels
      delete_contents_on_destroy = var.force_destroy
  }

Tabla de BigQuery: Un objeto de base de datos que representa datos almacenados en BigQuery o un esquema de datos almacenado en Cloud Storage.

resource "google_bigquery_table" "tbl_edw_inventory_items" {
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      table_id = "TABLE_NAME"
      project = module.project-services.project_id
      deletion_protection = var.deletion_protection
      ...
  }

Procedimiento almacenado de BigQuery: Un objeto de base de datos que representa una o más instrucciones de SQL para que se ejecuten cuando se llama. Esto puede ser para transformar datos de una tabla a otra o cargar datos de una tabla externa a una tabla estándar.

resource "google_bigquery_routine" "sp_sample_translation_queries" {
      project = module.project-services.project_id
      dataset_id = google_bigquery_dataset.ds_edw.dataset_id
      routine_id = "sp_sample_translation_queries"
      routine_type = "PROCEDURE"
      language = "SQL"
      definition_body = templatefile("${path.module}/assets/sql/sp_sample_translation_queries.sql", { project_id = module.project-services.project_id })
    }

Consulta programada de BigQuery: Una utilidad para programar una consulta o procedimiento almacenado para que se ejecute con una frecuencia especificada.

resource "google_bigquery_data_transfer_config" "dts_config" {
    display_name = "TRANSFER_NAME"
    project = module.project-services.project_id
    location = "REGION"
    data_source_id = "scheduled_query"
    schedule = "every day 00:00"
    params = {
        query = "CALL ${module.project-services.project_id}.ds_edw.sp_lookerstudio_report()"
        }
  }

Para personalizar la solución, completa los siguientes pasos en Cloud Shell:

Verifica que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Si no es así, ve a ese directorio:
```
cd $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse
```
Abre main.tf y realiza los cambios que quieras realizar.

Para obtener más información de los efectos de esa personalización en la confiabilidad, la seguridad, el rendimiento, el costo y las operaciones, consulta Recomendaciones de diseño.
Valida y revisa la configuración de Terraform
Aprovisiona los recursos

Recomendaciones de diseño

En esta sección, se proporcionan recomendaciones para usar la solución de almacén de datos con BigQuery a fin de desarrollar una arquitectura que cumpla con tus requisitos de seguridad, confiabilidad, costo y rendimiento.

Cuando comienzas a escalar con BigQuery, tienes disponibles varias formas para ayudar a mejorar el rendimiento de las consultas y reducir el gasto total. Estos métodos incluyen una modificación del almacenamiento de los datos físicos, la modificación de las consultas de SQL y el uso de reservas de ranuras para garantizar el rendimiento del costo. Para obtener más información sobre cómo ayudar a escalar y ejecutar tu almacén de datos, consulta Introducción a la optimización del rendimiento de las consultas.

Ten en cuenta lo siguiente:

Antes de realizar cambios en el diseño, evalúa el impacto del costo y considera posibles compensaciones con otras características. Puedes evaluar el impacto del costo de los cambios de diseño con la calculadora de precios de Google Cloud.
Para implementar cambios de diseño en la solución, necesitas experiencia en codificación de Terraform y conocimiento avanzado de los servicios de Google Cloud que se usan en la solución.
Si modificas la configuración de Terraform que proporciona Google y, luego, experimentas errores, crea problemas en GitHub. Los problemas de GitHub se revisan según el criterio del mejor esfuerzo y no están destinados a preguntas de uso general.
Para obtener información sobre el diseño y la configuración de entornos de producción en Google Cloud, consulta Diseño de la zona de destino en Google Cloud y Lista de tareas para la configuración de Google Cloud.

Borra la implementación

Cuando ya no necesites la implementación de la solución, borra la implementación para evitar que se sigan facturando los recursos que creaste.

Borra a través de la consola

Usa este procedimiento si implementaste la solución a través de la consola.

En la consola de Google Cloud, ve a la página Implementaciones de soluciones.

Ve a Implementaciones de soluciones
Elige el proyecto que contenga la implementación que deseas borrar.
Busca la implementación que deseas borrar.
Haz clic en Acciones y elige Borrar.
Ingresa el nombre de la implementación y, luego, haz clic en Confirmar.

El campo Estado muestra Borrando.

Si la eliminación falla, consulta la guía de solución de problemas en Error cuando se borra la implementación.

Cuando ya no necesites el proyecto de Google Cloud que usaste para la solución, puedes borrarlo. Para obtener más información, consulta Opcional: Borra el proyecto.

Borra con la CLI de Terraform

Usa este procedimiento si implementaste la solución con la CLI de Terraform.

En Cloud Shell, asegúrate de que el directorio de trabajo actual sea $HOME/cloudshell_open/terraform-google-bigquery/modules/data_warehouse. Si no es así, ve a ese directorio.
Quita los recursos que aprovisionó Terraform:
```
terraform destroy
```
Terraform muestra una lista de los recursos que se destruirán.
Cuando se te solicite que realices las acciones, ingresa yes.

Terraform mostrará mensajes que muestran el progreso. Después de borrar todos los recursos, Terraform muestra el siguiente mensaje:
```
Destroy complete!
```
Si la eliminación falla, consulta la guía de solución de problemas en Error cuando se borra la implementación.

Cuando ya no necesites el proyecto de Google Cloud que usaste para la solución, puedes borrarlo. Para obtener más información, consulta Opcional: Borra el proyecto.

Opcional: Borra el proyecto

Si implementaste la solución en un proyecto de Google Cloud nuevo y ya no lo necesitas, sigue estos pasos para borrarlo:

En la consola de Google Cloud, ve a la página Administrar recursos.
Ir a Administrar recursos
En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
Cuando se te solicite, escribe el ID del proyecto y, luego, haz clic en Cerrar.

Si decides conservar el proyecto, borra la cuenta de servicio que se creó para esta solución, como se describe en la siguiente sección.

Opcional: Borra la cuenta de servicio

Si borraste el proyecto que usaste para la solución, omite esta sección.

Como se mencionó antes en esta guía, cuando implementaste la solución, se creó una cuenta de servicio en tu nombre. A la cuenta de servicio se le asignaron ciertos permisos de IAM de forma temporal, es decir, los permisos se revocaron de forma automática después de que se completaron las operaciones de implementación y eliminación de la solución, pero la cuenta de servicio no se borró. Google recomienda que borres esta cuenta de servicio.

Si implementaste la solución desde la consola de Google Cloud, ve a la página Implementaciones de soluciones. (Si ya estás en esa página, actualiza el navegador). Un proceso se activa en segundo plano para borrar la cuenta de servicio. No es necesario hacer ninguna otra acción.
Si implementaste la solución con la CLI de Terraform, completa los siguientes pasos:
1. En la consola de Google Cloud, ve a la página Cuentas de servicio.
  
  Ir a Cuentas de servicio
2. Elige el proyecto que usaste para la solución.
3. Elige la cuenta de servicio que deseas borrar.
  
  El ID de correo electrónico de la cuenta de servicio que se creó para la solución tiene el siguiente formato:
```
goog-sc-DEPLOYMENT_NAME-NNN@PROJECT_ID.iam.gserviceaccount.com
```
  El ID de correo electrónico contiene los siguientes valores:
  - DEPLOYMENT_NAME: El nombre de la implementación.
  - NNN: Un número aleatorio de 3 dígitos.
  - PROJECT_ID: Es el ID del proyecto en el que implementaste la solución.
4. Haz clic en Borrar.

Solucionar errores

Las acciones que puedes realizar para diagnosticar y resolver errores dependen del método de implementación y la complejidad del error.

Errores en la implementación a través de la consola

Si la implementación falla cuando usas la consola, haz lo siguiente:

Ve a la página Implementaciones de soluciones.

Si la implementación falló, el campo Estado muestra Con errores.
Ve los detalles de los errores que causaron la falla:
1. Haz clic en Acciones.
2. Elige Ver registros de Cloud Build.
Revisa el registro de Cloud Build y toma las medidas adecuadas para resolver el problema que causó la falla.

Errores en la implementación con la CLI de Terraform

Si la implementación falla cuando se usa Terraform, el resultado del comando terraform apply incluye mensajes de error que puedes revisar para diagnosticar el problema.

En los ejemplos de las siguientes secciones, se muestran errores de implementación que puedes encontrar cuando usas Terraform.

Error: API no habilitada

Si creas un proyecto y, luego, intentas implementar la solución en el proyecto nuevo de inmediato, la implementación podría fallar con un error como el siguiente:

Error: Error creating Network: googleapi: Error 403: Compute Engine API has not
been used in project PROJECT_ID before or it is disabled. Enable it by visiting
https://console.developers.google.com/apis/api/compute.googleapis.com/overview?project=PROJECT_ID
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

Si se produce este error, espera unos minutos y vuelve a ejecutar el comando terraform apply.

Error "No se puede asignar la dirección solicitada"

Cuando ejecutas el comando terraform apply, es posible que se produzca un error cannot assign requested address con un mensaje como el siguiente:

Error: Error creating service account:
 Post "https://iam.googleapis.com/v1/projects/PROJECT_ID/serviceAccounts:
 dial tcp [2001:db8:ffff:ffff::5f]:443:
 connect: cannot assign requested address

Si se produce este error, vuelve a ejecutar el comando terraform apply.

Errores para acceder a datos en BigQuery o Looker Studio

Existe un paso de aprovisionamiento que se ejecuta después de los pasos de aprovisionamiento de Terraform que cargan datos en el entorno. Si recibes un error cuando se cargan los datos en el panel de Looker Studio, o si no hay objetos cuando comienzas a explorar BigQuery, espera unos minutos y vuelve a intentarlo.

Error cuando se borra una implementación

En algunos casos, los intentos de borrar una implementación podrían fallar:

Después de implementar una solución desde la consola, si cambias cualquier recurso que aprovisionó la solución y, luego, intentas borrar la implementación, la eliminación podría fallar. El campo Estado en la página Implementaciones de soluciones muestra Con errores, y el registro de Cloud Build muestra la causa del error.
Después de implementar una solución con Terraform, si cambias algún recurso con una interfaz que no es de Terraform (por ejemplo, la consola) y, luego, intentas borrar la implementación, la eliminación podría fallar. Los mensajes en el resultado del comando terraform destroy muestran la causa del error.

Revisa los registros de errores y los mensajes, identifica y borra los recursos que causaron el error y, luego, intenta borrar la implementación.

Si una implementación basada en la consola no se borra y no puedes diagnosticar el error con el registro de Cloud Build, puedes borrar la implementación con Terraform, como se describe en la siguiente sección.

Borra una implementación basada en la consola con la CLI de Terraform

En esta sección, se describe cómo borrar una implementación basada en la consola si se producen errores cuando intentas borrarla de la consola. En este enfoque, descarga la configuración de Terraform para la implementación que deseas borrar y, luego, usa Terraform para borrar la implementación.

Identifica la región en la que se almacenan el código, los registros y otros datos de Terraform de la implementación. Esta región puede ser diferente de la región que elegiste cuando implementaste la solución.
1. En la consola de Google Cloud, ve a la página Implementaciones de soluciones.
  
  Ve a Implementaciones de soluciones
2. Elige el proyecto que contenga la implementación que deseas borrar.
3. En la lista de implementaciones, identifica la fila de la implementación que deseas borrar.
4. Haz clic en Ver todo el contenido de la fila.
5. En la columna Ubicación, observa la segunda ubicación, como se destaca en el siguiente ejemplo:
En la consola de Google Cloud, activa Cloud Shell.

Activar Cloud Shell

En la parte inferior de la consola de Google Cloud, se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.
Crea variables de entorno para el ID del proyecto, la región y el nombre de la implementación que deseas borrar:
```
export REGION="REGION"
export PROJECT_ID="PROJECT_ID"
export DEPLOYMENT_NAME="DEPLOYMENT_NAME"
```
En estos comandos, reemplaza lo siguiente:
- REGION: Es la ubicación que anotaste antes en este procedimiento.
- PROJECT_ID: Es el ID del proyecto en el que implementaste la solución.
- DEPLOYMENT_NAME: Es el nombre de la implementación que deseas borrar.

Obtén el ID de la última revisión de la implementación que deseas borrar:

export REVISION_ID=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .latestRevision -r)
    echo $REVISION_ID

El resultado es similar a este:

projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME/revisions/r-0

Obtén la ubicación de Cloud Storage de la configuración de Terraform para la implementación:

export CONTENT_PATH=$(curl \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/${REVISION_ID}" \
    | jq .applyResults.content -r)
    echo $CONTENT_PATH

El siguiente es un ejemplo del resultado de este comando:

gs://PROJECT_ID-REGION-blueprint-config/DEPLOYMENT_NAME/r-0/apply_results/content

Descarga la configuración de Terraform desde Cloud Storage a Cloud Shell:
```
gsutil cp -r $CONTENT_PATH $HOME
cd $HOME/content/modules/data_warehouse
```
Espera hasta que aparezca el mensaje Operation completed, como se muestra en el siguiente ejemplo:
```
Operation completed over 45 objects/268.5 KiB
```
Inicializa Terraform con este comando:
```
terraform init
```
Espera hasta ver el siguiente mensaje:
```
Terraform has been successfully initialized!
```
Quita los recursos implementados:
```
terraform destroy
```
Terraform muestra una lista de los recursos que se destruirán.

Si se muestran advertencias sobre variables no declaradas, ignora las advertencias.
Cuando se te solicite que realices las acciones, ingresa yes.

Terraform mostrará mensajes que muestran el progreso. Después de borrar todos los recursos, Terraform muestra el siguiente mensaje:
```
Destroy complete!
```

Borra el artefacto de implementación:

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}?force=true&delete_policy=abandon"

Espera unos segundos y, luego, verifica que se haya borrado el artefacto de implementación:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://config.googleapis.com/v1alpha2/projects/${PROJECT_ID}/locations/${REGION}/deployments/${DEPLOYMENT_NAME}" \
    | jq .error.message

Si el resultado muestra null, espera unos segundos y vuelve a ejecutar el comando.

Después de borrar el artefacto de implementación, aparece un mensaje como el que se muestra en el siguiente ejemplo:

Resource 'projects/PROJECT_ID/locations/REGION/deployments/DEPLOYMENT_NAME' was not found

Enviar comentarios

Las soluciones de inicio rápido solo tienen fines informativos y no son productos compatibles de forma oficial. Google puede cambiar o quitar soluciones sin previo aviso.

Para solucionar errores, revisa los registros de Cloud Build y el resultado de Terraform.

Para enviar comentarios, haz lo siguiente:

Para ver la documentación, los instructivos en la consola o la solución, usa el botón Enviar comentarios en la página.

Para el código de Terraform sin modificar, crea problemas en el repositorio de GitHub. Los problemas de GitHub se revisan según el criterio del mejor esfuerzo y no están destinados a preguntas de uso general.

Si tienes problemas con los productos que se usan en la solución, comunícate con Atención al cliente de Cloud.