Configura la exportación de datos de la Facturación de Cloud a BigQuery

En esta guía, se proporcionan todos los pasos de configuración necesarios para habilitar la exportación de datos de la Facturación de Cloud a BigQuery.

Descripción general

Para exportar datos de la Facturación de Cloud a BigQuery, debes seguir estos pasos:

  • Crea un proyecto en el que se almacenarán los datos de la Facturación de Cloud y habilita la facturación en el proyecto (si aún no lo has hecho).
  • Configura los permisos en el proyecto y en la cuenta de Facturación de Cloud.
  • Habilita la API del Servicio de transferencia de datos de BigQuery (obligatorio para exportar tus datos de precios).
  • Crea un conjunto de datos de BigQuery en el que se almacenen los datos
  • Habilita la exportación de la Facturación de Cloud de datos de costos y datos de precios al conjunto de datos.

En este documento, se detallan cada uno de estos pasos.

Acerca de Cloud Console

Google Cloud Console (consultar la documentación, abrir la consola) es una IU web que se usa para aprovisionar, configurar, administrar y supervisar los sistemas que usan productos de Google Cloud. Usa Cloud Console para configurar y administrar los recursos de Google Cloud y de la Facturación de Cloud.

Permisos necesarios para esta tarea

Para habilitar y configurar la exportación de los datos de la facturación de Google Cloud a un conjunto de datos de BigQuery, necesitas los siguientes permisos:

Además, para habilitar y configurar la exportación de los datos de precios de Cloud Billing, necesitas los siguientes permisos:

  • La función de administrador de BigQuery para el proyecto de Cloud que contiene el conjunto de datos de BigQuery que se usará con el fin de almacenar los datos de precios de la Facturación de Cloud
  • El permiso resourcemanager.projects.update para el proyecto de Cloud que contiene el conjunto de datos de destino Esto se incluye en la función roles/editor.

Es posible que también necesites permisos del proyecto. Si eres miembro de una organización de Google Cloud, para crear un proyecto nuevo, necesitas la función Creador del proyecto en la organización o carpeta. En particular, para crear un proyecto nuevo, necesitas los siguientes permisos:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Para obtener más información sobre los permisos de Google Cloud, consulta las siguientes páginas:

Habilitar la exportación de datos de la Facturación de Cloud a BigQuery.

Completa los pasos detallados en esta sección para habilitar la exportación de tus datos de la Facturación de Cloud a BigQuery.

1. Selecciona o crea un proyecto

Los datos de Cloud Billing exportados a BigQuery se encuentran en un conjunto de datos de BigQuery. Un conjunto de datos se encuentra dentro de un proyecto de Cloud que especifiques.

Recomendación sobre los proyectos: Recomendamos que crees un proyecto de Cloud para contener todas tus necesidades de administración de facturación, incluidos los datos exportados de la Facturación de Cloud. También puedes usar este proyecto de Cloud de administración de facturación a fin de acceder a las API de Cloud Billing, canales de Pub/Sub para notificaciones de presupuesto programáticas y otras tareas de administración de la Facturación de Cloud.

Importante: El proyecto de Cloud que seleccionas para contener tu conjunto de datos debe estar vinculado a la misma cuenta de la Facturación de Cloud que contiene los datos que planeas. exportar al conjunto de datos de BigQuery. Un proyecto de Cloud está vinculado a una sola cuenta de Facturación de Cloud a la vez. Una cuenta de Facturación de Cloud está vinculada a uno o más proyectos.

En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

Ir al selector de proyecto

Obtén más información sobre cómo crear y administrar proyectos.

2. Verifica que la facturación esté habilitada

Debes asegurarte de que la facturación esté habilitada en el proyecto de Cloud que seleccionaste para contener tu conjunto de datos y que el proyecto de Cloud está vinculado a la misma cuenta de Facturación de Cloud que contiene los datos que planeas exportar al conjunto de datos de BigQuery.

3. Habilitar la API del Servicio de transferencia de datos de BigQuery.

Si planeas exportar tus datos de precios de la Facturación de Cloud a BigQuery, debes habilitar la API del Servicio de transferencia de datos de BigQuery. Si no planeas exportar tus datos de precios de la Facturación de Cloud, puedes omitir el Paso 4. Cree un conjunto de datos de BigQuery.

La API del Servicio de transferencia de datos de BigQuery debe estar habilitada en el mismo proyecto de Cloud que usas para contener tus conjuntos de datos de BigQuery. Si seguiste la recomendación en la sección de proyecto, este es tu proyecto de administración de facturación de Google Cloud.

Para habilitar la API del Servicio de transferencia de datos de BigQuery, haz lo siguiente:

  1. Accede a Google Cloud Console y ve a la página de la API.

    Ir a la página de la API del Servicio de transferencia de datos de BigQuery

  2. Cuando se te solicite, selecciona un proyecto. Debes habilitar la API del Servicio de transferencia de datos de BigQuery en el mismo proyecto que usas para contener tu conjunto de datos de BigQuery. Si seguiste la recomendación en la sección de proyecto, este es tu proyecto de administración de facturación de Google Cloud.

  3. En la página de la API del Servicio de transferencia de datos de BigQuery, haz clic en Habilitar para habilitar la API en tu proyecto seleccionado.

Para obtener más información sobre cómo habilitar las API, consulta la documentación de Service Usage.

4. Cree un conjunto de datos de BigQuery

Antes de habilitar tus datos de Cloud Billing para exportar a BigQuery, debes crear al menos un conjunto de datos de BigQuery para administrar los datos exportados. Puedes usar el mismo conjunto de datos para contener los datos de detalles del costo diario y los precios.

Un conjunto de datos se encuentra dentro de un proyecto de Cloud que especifiques. Los conjuntos de datos son contenedores de nivel superior que se usan para organizar y controlar el acceso a las tablas y vistas. Una tabla o una vista deben pertenecer a un conjunto de datos, por lo que debes crear al menos un conjunto de datos antes de cargar datos en BigQuery.

Si usas un conjunto de datos existente, revisa las Limitaciones que podrían afectar la exportación de datos de facturación a BigQuery, como la posibilidad de no usar conjuntos de datos con claves de encriptación administradas por el cliente habilitadas. las rutas "a GCP".

Para crear un conjunto de datos de BigQuery, debes seguir estos pasos:

  1. Accede a Google Cloud Console y ve a la página BigQuery.

    Ir a la página BigQuery

  2. En la lista desplegable project ( Mi proyecto ) en la parte superior de la página de Google Cloud Console, selecciona el proyecto que configuraste contienen tu conjunto de datos. Toma nota del ID del proyecto, ya que lo usarás en el siguiente paso.

  3. En el panel Explorador (Explorer), en la sección proyectos fijos, haz clic en tu -project-ID para abrir el proyecto. Si ves un menú ampliado () junto al ID del proyecto, haz clic en el menú y selecciona Abrir.

  4. Haga clic en Crear conjunto de datos. Se abrirá el panel Crear conjunto de datos.

    1. Ingresa un ID del conjunto de datos. Recomendamos un ID que abarque proyectos, como all_billing_data, en lugar de un ID específico del proyecto.
    2. Selecciona una ubicación de datos.

      Acerca de las ubicaciones: La ubicación de los datos especifica la región en la que se almacenan los datos. Todas las tablas dentro de este conjunto de datos compartirán esta ubicación. Cuando creas un conjunto de datos, la ubicación predeterminada es la multirregión de EE.UU. Después de crear el conjunto de datos, la ubicación no se puede cambiar. Obtén más información sobre las ubicaciones.

    3. Configura el Vencimiento predeterminado de la tabla como Nunca.

      Si seleccionas Nunca se conservan tus datos. Si ingresas un número de días, cualquier tabla nueva creada en este conjunto de datos se borra de forma automática después de la cantidad especificada de días a partir de la creación. Importante: Si borras tablas que contengan los registros de datos exportados de Cloud Billing, esos registros desaparecerán y no podremos reabastecer los registros borrados.

    4. Configura la opción Encriptación como Clave administrada por Google.

      Ten en cuenta que la encriptación de la clave administrada por el cliente no se admite para exportar registros de datos de Cloud Billing a BigQuery.

    5. Para guardar, haz clic en Crear conjunto de datos.

Consulta las limitaciones que pueden afectar los datos de tu facturación a BigQuery.

5. Habilita la exportación de la Facturación de Cloud al conjunto de datos de BigQuery

Habilita la exportación de datos de la Facturación de Cloud en la sección la Facturación de Cloud de Cloud Console.

Para habilitar la exportación de datos de la Facturación de Cloud a BigQuery, realiza las siguientes acciones:

  1. Accede a Google Cloud Console.

    Acceder a Cloud Console

  2. Abre el menú de navegación () de la consola y, luego, selecciona Facturación.

    Si tienes más de una cuenta de facturación de Cloud, realiza una de las siguientes acciones:

    • Si quieres administrar la Facturación de Cloud para el proyecto actual de Cloud, selecciona Ir a la cuenta de facturación vinculada.
    • Para ubicar otra cuenta de facturación de Cloud, selecciona Administrar cuentas de facturación y elige la cuenta en la que deseas habilitar la exportación de datos de la Facturación de Cloud a BigQuery.
  3. En el menú de navegación de facturación, selecciona Exportación de facturación.

  4. Selecciona la pestaña BigQuery export (Esta exportación está seleccionada de forma predeterminada). En la pestaña de exportación de BigQuery, puedes habilitar dos tipos de datos que desees exportar:

Exporta los datos de detalles de costos diarios

Para habilitar la exportación de los datos de costo y uso detallados de la Facturación de Cloud, haz lo siguiente:

  1. Para habilitar la exportación o actualizar de la configuración de exportación, haz clic en Editar configuración.
  2. En la lista Proyecto, selecciona el proyecto que configuraste para que contenga tu conjunto de datos de BigQuery.

    El proyecto que selecciones se usará para almacenar los datos exportados de Cloud Billing en el conjunto de datos de BigQuery. Los datos exportados de Cloud Billing incluyen datos de costo y uso de todos los proyectos de Cloud pagados por la misma cuenta de facturación de Cloud.

  3. En la lista Conjunto de datos de exportación de facturación, selecciona el conjunto de datos que configuraste para que contenga tus datos de la Facturación de Cloud exportados.

    Sugerencias:

    • Se requiere la API de BigQuery para exportar los datos a BigQuery. Si el proyecto que seleccionaste no tiene habilitada la API de BigQuery, se te pedirá que la habilites. Haz clic en Habilitar la API de BigQuery y se habilitará la API por ti.
    • Si el proyecto que seleccionaste no contiene conjuntos de datos de BigQuery, se te pedirá que crees uno. Si es necesario, sigue estos pasos para crear un conjunto de datos nuevo.
    • Si usas un conjunto de datos existente, revisa las Limitaciones que podrían afectar la exportación de datos de facturación a BigQuery, como no poder exportar datos a conjuntos de datos configurados para usar{101. }encriptación administrada por el cliente.
  4. Haz clic en Guardar.

Exporta los datos de precios

Para habilitar la exportación de datos de precios de la Facturación de Cloud, haz lo siguiente:

  1. Para habilitar la exportación o actualizar de la configuración de exportación, haz clic en Editar configuración.
  2. En la lista Proyecto, selecciona el proyecto que configuraste para que contenga tu conjunto de datos de BigQuery.

    El proyecto que selecciones se usará para almacenar los datos de precios exportados de Cloud Billing en el conjunto de datos de BigQuery. Los datos de precios son específicos de la cuenta de Cloud Billing que está vinculada al proyecto de conjunto de datos seleccionado.

  3. En la lista Conjunto de datos de exportación de facturación, selecciona el conjunto de datos que configuraste para que contenga tus datos de la Facturación de Cloud exportados.

    Sugerencias:

    • Se requiere la API de BigQuery para exportar los datos a BigQuery. Si el proyecto que seleccionaste no tiene habilitada la API de BigQuery, se te pedirá que la habilites. Haz clic en Habilitar la API de BigQuery y se habilitará la API por ti.
    • Se necesita la API del Servicio de transferencia de datos de BigQuery para exportar los datos de precios a BigQuery. Si el proyecto que seleccionaste no tiene habilitada la API del Servicio de transferencia de datos de BigQuery, se te pedirá que la habilites. Si es necesario, sigue estos pasos para habilitar la API
    • Si el proyecto que seleccionaste no contiene conjuntos de datos de BigQuery, se te pedirá que crees uno. Si es necesario, sigue estos pasos para crear un conjunto de datos nuevo.
    • Si usas un conjunto de datos existente, revisa ellimitaciones que pueden afectar tus datos de exportación a BigQuery, como no poder exportar datos a conjuntos de datos configurados para usarclave administrada por el cliente encriptación.
  4. Haz clic en Guardar.

Acerca de los permisos del conjunto de datos

La exportación de la Facturación de Cloud a BigQuery usa una cuenta de servicio para administrar los permisos del conjunto de datos.

Después de habilitar la exportación de la Facturación de Cloud a BigQuery, Google agrega automáticamente una cuenta de servicio como propietario al conjunto de datos que especificas. La cuenta de servicio se ve de la siguiente forma:

  • billing-export-bigquery@system.gserviceaccount.com

La cuenta de servicio es propiedad y administrada de Google, y proporciona los permisos necesarios para que nuestro proceso sin conexión cree una tabla y escriba los registros de la Facturación de Cloud.

Consulta las limitaciones que pueden afectar los datos de tu facturación a BigQuery.

Tablas de datos de facturación

Poco después de habilitar la exportación de la Facturación de Cloud a BigQuery, las tablas de datos de facturación se crean automáticamente en el conjunto de datos de BigQuery. Para obtener más información sobre estas tablas y los esquemas de tablas, consulta Descripción de las tablas de datos de creación automática en BigQuery.

Frecuencia de cargas de datos

  • La primera vez que habilitas la exportación de detalles de costos diarios a BigQuery, es posible que tome algunas horas comenzar a ver los datos de tus costos de Google Cloud.
  • La primera vez que habilitas la exportación de precios a BigQuery, es posible que transcurran hasta 48 horas comenzar a ver los datos de precios de Google Cloud.

Para obtener más información sobre la frecuencia de las cargas de datos en tus tablas de BigQuery, consulta la frecuencia de cargas de datos.

Limitaciones

La exportación de datos de la Facturación de Cloud a BigQuery está sujeta a las limitaciones siguientes.

  • Tu conjunto de datos de BigQuery solo refleja los datos de facturación de Google Cloud generados a partir de la fecha en que configuraste la exportación de Cloud Billing. Es decir, los datos de facturación de Google Cloud no se agregan de forma retroactiva, por lo que no verás datos de la Facturación de Cloud anteriores a la habilitación de la exportación.
  • Las claves de encriptación administradas por el cliente (CMEK) no se admiten cuando se exportan datos de facturación a BigQuery. Si habilitas CMEK para tu conjunto de datos datos de facturación, esto evitará que Cloud Billing escriba datos de facturación en las tablas correspondientes de ese conjunto de datos. En su lugar, debes configurar el conjunto de datos para usar la encriptación de la clave administrada por Google.

Informes de costos y precios disponibles en Google Cloud Console