Configura la exportación de datos de la Facturación de Cloud a BigQuery

En esta guía, se proporcionan todos los pasos de configuración necesarios para habilitar la exportación de datos de la Facturación de Cloud a BigQuery.

Descripción general

Para exportar datos de la Facturación de Cloud a BigQuery, debes seguir estos pasos:

  • Crea un proyecto en el que se almacenarán los datos de la Facturación de Cloud y habilita la facturación en el proyecto (si aún no lo has hecho).
  • Configura los permisos en el proyecto y en la cuenta de Facturación de Cloud.
  • Habilita la API del Servicio de transferencia de datos de BigQuery (obligatorio para exportar tus datos de precios).
  • Crea un conjunto de datos de BigQuery en el que se almacenen los datos
  • Habilita la exportación de la Facturación de Cloud de datos de costos y datos de precios al conjunto de datos.

En este documento, se detallan cada uno de estos pasos.

Acerca de Cloud Console

Google Cloud Console (consultar la documentación, abrir la consola) es una IU web que se usa para aprovisionar, configurar, administrar y supervisar los sistemas que usan productos de Google Cloud. Usa Cloud Console para configurar y administrar los recursos de Google Cloud y de la Facturación de Cloud.

Permisos necesarios para esta tarea

Para habilitar y configurar la exportación de los datos de la facturación de Google Cloud a un conjunto de datos de BigQuery, necesitas los siguientes permisos:

Además, para habilitar y configurar la exportación de datos de precios de Facturación de Cloud, necesitas los siguientes permisos:

  • La función de administrador de BigQuery para el proyecto de Cloud que contiene el conjunto de datos de BigQuery que se usará con el fin de almacenar los datos de precios de Facturación de Cloud
  • El permiso resourcemanager.projects.update para el proyecto de Cloud que contiene el conjunto de datos de destino Este se incluye en la función roles/editor.

Es posible que también necesites permisos del proyecto. Si eres miembro de una organización de Google Cloud, para crear un proyecto nuevo, necesitas la función Creador del proyecto en la organización o carpeta. En particular, para crear un proyecto nuevo, necesitas los siguientes permisos:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Para obtener más información sobre los permisos de Google Cloud, consulta las siguientes páginas:

Habilitar la exportación de datos de la Facturación de Cloud a BigQuery.

Completa los pasos detallados en esta sección para habilitar la exportación de tus datos de la Facturación de Cloud a BigQuery.

1. Selecciona o crea un proyecto

Los datos de Facturación de Cloud exportados a BigQuery se encuentran en un conjunto de datos de BigQuery. Un conjunto de datos se encuentra dentro de un proyecto de Cloud que especifiques.

Recomendación sobre los proyectos: Recomendamos que crees un proyecto de Cloud para contener todas tus necesidades de administración de facturación, incluidos los datos exportados de la Facturación de Cloud. También puedes usar este proyecto de Cloud de administración de facturación a fin de acceder a las API de Cloud Billing, canales de Pub/Sub para notificaciones de presupuesto programáticas y otras tareas de administración de la Facturación de Cloud.

Importante: El proyecto de Cloud que seleccionas para contener tu conjunto de datos debe estar vinculado a la misma cuenta de la Facturación de Cloud que contiene los datos que planeas. exportar al conjunto de datos de BigQuery. Un proyecto de Cloud está vinculado a una sola cuenta de Facturación de Cloud a la vez. Una cuenta de Facturación de Cloud está vinculada a uno o más proyectos.

En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

Ir al selector de proyectos

Obtén más información sobre cómo crear y administrar proyectos.

2. Verifica que la facturación esté habilitada

Debes asegurarte de que la facturación esté habilitada en el proyecto de Cloud que seleccionaste para contener tu conjunto de datos y que el proyecto de Cloud está vinculado a la misma cuenta de Facturación de Cloud que contiene los datos que planeas exportar al conjunto de datos de BigQuery.

3. Habilitar la API del Servicio de transferencia de datos de BigQuery.

Si planeas exportar tus datos de precios de la Facturación de Cloud a BigQuery, debes habilitar la API del Servicio de transferencia de datos de BigQuery. Si no planeas exportar tus datos de precios de la Facturación de Cloud, puedes omitir el Paso 4. Cree un conjunto de datos de BigQuery.

La API del Servicio de transferencia de datos de BigQuery debe estar habilitada en el mismo proyecto de Cloud que usas para contener los conjuntos de datos de BigQuery. Si seguiste la recomendación en la sección de proyecto, este es tu proyecto de administración de la facturación de Google Cloud.

Para habilitar la API del Servicio de transferencia de datos de BigQuery, haz lo siguiente:

  1. Accede a Google Cloud Console y ve a la página de la API.

    Ir a la página de la API del Servicio de transferencia de datos de BigQuery

  2. Cuando se te solicite, selecciona un proyecto. Debes habilitar la API del Servicio de transferencia de datos de BigQuery en el mismo proyecto que usas para contener el conjunto de datos de BigQuery. Si seguiste la recomendación en la sección de proyecto, este es tu proyecto de administración de la facturación de Google Cloud.

  3. En la página de la API del Servicio de transferencia de datos de BigQuery, haz clic en Habilitar para habilitar la API en el proyecto seleccionado.

Para obtener más información sobre cómo habilitar las API, consulta la documentación de Service Usage.

4. Cree un conjunto de datos de BigQuery

Antes de habilitar los datos de Facturación de Cloud para exportar a BigQuery, debes crear al menos un conjunto de datos de BigQuery a fin de administrar los datos exportados. Puedes usar el mismo conjunto de datos para contener tus datos de los costos de uso estándar, tus datos de costos de uso detallados y tus datos de precios.

Un conjunto de datos se encuentra dentro de un proyecto de Cloud que especifiques. Los conjuntos de datos son contenedores de nivel superior que se usan para organizar y controlar el acceso a tus tablas y vistas. Las tablas y las vistas deben pertenecer a un conjunto de datos, por lo que debes crear al menos un conjunto de datos antes de cargar datos en BigQuery.

Si creas un conjunto de datos nuevo, te recomendamos que selecciones una opción multirregional por su ubicación, como Estados Unidos (EE.UU.) la Unión Europea (UE). Por ejemplo, los datos de costos de uso detallados solo se admiten en conjuntos de datos multirregionales en EE.UU. y en la UE.

Si usas un conjunto de datos existente, revisa las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery, como no poder usar conjuntos de datos con claves de encriptación administradas por el cliente habilitadas o que los datos de costos de uso detallados requieren conjuntos de datos multirregionales.

Para crear un conjunto de datos de BigQuery, debes seguir estos pasos:

  1. Accede a Google Cloud Console y ve a la página BigQuery.

    Ir a la página BigQuery

  2. En la lista desplegable project ( Mi proyecto ) en la parte superior de la página de Google Cloud Console, selecciona el proyecto que configuraste contienen tu conjunto de datos. Toma nota del ID del proyecto, ya que lo usarás en el siguiente paso.

  3. En el panel Explorer, en la sección proyectos fijados, haz clic en tu ID de proyecto para abrirlo. Si ves un menú ampliado () junto al ID del proyecto, haz clic en el menú y selecciona Abrir.

  4. Haz clic en Crear conjunto de datos. Se abrirá el panel Crear conjunto de datos.

    1. Ingresa un ID del conjunto de datos. Recomendamos un ID que abarque proyectos, como all_billing_data, en lugar de un ID específico del proyecto.
    2. Selecciona una ubicación de datos. La ubicación de los datos especifica la región en la que se almacenan los datos. Todas las tablas dentro de este conjunto de datos compartirán esta ubicación.

      Cuando crees un conjunto de datos, te recomendamos que selecciones una opción multirregional para su ubicación, como Estados Unidos (EE.UU.) o la Unión Europea (UE). Esto es necesario para exportar los datos de costos de uso detallados.

      Una vez que se crea el conjunto de datos, la ubicación no se puede cambiar. Más información sobre las ubicaciones

    3. Establece la opción Vencimiento predeterminado de la tabla como Nunca.

      Si seleccionas Nunca, se conservan tus datos. Si ingresas un número de días, cualquier tabla nueva que se cree en este conjunto de datos se borrará de manera automática una vez que pase la cantidad especificada de días a partir de la creación. Importante: Si borras las tablas que contienen los registros de datos exportados de Facturación de Cloud, esos registros ya no están y no podemos reabastecer los registros borrados.

    4. Establece la opción Encriptación en Clave administrada por Google.

      Ten en cuenta que la encriptación de la clave administrada por el cliente no es compatible con la exportación de registros de datos de Facturación de Cloud a BigQuery.

    5. Para guardar, haz clic en Crear conjunto de datos.

Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.

5. Habilita la exportación de la Facturación de Cloud al conjunto de datos de BigQuery

Habilita la exportación de datos de la Facturación de Cloud en la sección la Facturación de Cloud de Cloud Console. Estos son los tipos de datos que puedes habilitar para exportar:

  • Datos de costos de uso estándar: contienen información de uso de los costos de la cuenta de Facturación de Cloud estándar, como el ID de la cuenta, la fecha de la factura, los servicios, los SKU, los proyectos, las etiquetas, las ubicaciones, el costo, el uso, los créditos, los ajustes y la moneda. Habilítalo si no te interesa revisar los datos de costos a nivel de recurso.
  • Datos de costos de uso detallados: Contienen información detallada del costo de uso de la cuenta de Facturación de Cloud. Incluye todo lo de los datos de costos de uso estándar y los datos de costos a nivel de recursos, como una máquina virtual o SSD que genere uso de servicios. Habilita esta opción si deseas analizar los datos de costos a nivel de recurso junto con los datos del costo de uso estándar. No necesitas habilitar las opciones estándar y detallados.
  • Datos de precios: Contienen información de precios de las cuentas de Facturación de Cloud, como el ID de la cuenta, los servicios, los SKU, los productos, los metadatos geográficos, las unidades de precios, la moneda, la agregación y los niveles.

Para habilitar que tus datos de costos de uso o precios de Facturación de Cloud se exporten a BigQuery, haz lo siguiente:

  1. Accede a Google Cloud Console.

    Acceder a Cloud Console

  2. Abre el menú de navegación () de la consola y, luego, selecciona Facturación.

    Si tienes más de una cuenta de facturación de Cloud, realiza una de las siguientes acciones:

    • Si quieres administrar la Facturación de Cloud para el proyecto actual de Cloud, selecciona Ir a la cuenta de facturación vinculada.
    • Para ubicar otra cuenta de facturación de Cloud, selecciona Administrar cuentas de facturación y elige la cuenta en la que deseas habilitar la exportación de datos de la Facturación de Cloud a BigQuery.
  3. En el menú de navegación de facturación, selecciona Exportación de facturación.

  4. Selecciona la pestaña Exportación a BigQuery (esta pestaña se selecciona de forma predeterminada).

  5. Haz clic en Editar configuración para el tipo de datos que deseas exportar. Cada tipo de datos se configura por separado.

  6. En la lista Proyectos, selecciona el proyecto que configuraste para que contenga tu conjunto de datos de BigQuery.

    El proyecto que selecciones se usará para almacenar los datos exportados de la Facturación de Cloud en el conjunto de datos de BigQuery.

    En las exportaciones de datos de costos de uso estándar y detallados, los datos de Facturación de Cloud incluyen datos de uso o costo de todos los proyectos de Cloud pagados por la misma cuenta de Facturación de Cloud

    Para la exportación de datos de precios, los datos de Facturación de Cloud incluyen solo los datos específicos de la cuenta de Facturación de Cloud vinculada al proyecto de conjunto de datos seleccionado.

  7. En el campo ID del conjunto de datos, selecciona el conjunto de datos que configuraste para que contenga tus datos de Facturación de Cloud exportados.

    Para todos los tipos de datos de Facturación de Cloud exportados a BigQuery, se aplica lo siguiente:

    • Se requiere la API de BigQuery para exportar datos a BigQuery. Si el proyecto que seleccionaste no tiene habilitada la API de BigQuery, se te solicitará que lo habilites. Haz clic en Habilitar la API de BigQuery para hacerlo.
    • Si el proyecto que seleccionaste no contiene ningún conjunto de datos de BigQuery, se te solicitará que crees uno. Si es necesario, sigue estos pasos para crear un conjunto de datos nuevo.
    • Si usas un conjunto de datos existente, revisa las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery, como la imposibilidad de exportar datos a los conjuntos de datos configurados para usar encriptación de clave administrada por el cliente.

    Para la exportación de datos de precios, es necesaria la API del Servicio de transferencia de datos de BigQuery a fin de exportar los datos a BigQuery. Si el proyecto que seleccionaste no tiene habilitada la API del Servicio de transferencia de datos de BigQuery, se te solicitará que lo habilites. Si es necesario, sigue estos pasos para habilitar la API.

  8. Haz clic en Guardar.

Actualiza los datos de Facturación de Cloud para exportarlos

Después de habilitar los datos de Facturación de Cloud para exportar a BigQuery, puedes cambiar los datos que se exportan si inhabilitas o habilitas los diferentes tipos.

Antes de inhabilitar cualquiera de las exportaciones de datos, revisa las limitaciones y los lineamientos de disponibilidad de datos para saber cómo podrían afectar los datos de facturación exportados a BigQuery.

Para inhabilitar un tipo de Facturación de Cloud que se exporta a BigQuery, haz lo siguiente:

  1. Selecciona Inhabilitar exportación estándar, Inhabilitar exportación detallada o Inhabilitar exportación de precios según corresponda.
  2. Selecciona Confirmar para guardar la selección.

Para habilitar un tipo actualmente inhabilitado de Facturación de Cloud que se exporta a BigQuery, consulta Habilita la exportación de datos de Facturación de Cloud a BigQuery.

Acerca de los permisos del conjunto de datos

La exportación de la Facturación de Cloud a BigQuery usa una cuenta de servicio para administrar los permisos del conjunto de datos.

Después de habilitar la exportación de la Facturación de Cloud a BigQuery, Google agrega automáticamente una cuenta de servicio como propietario al conjunto de datos que especificas. La cuenta de servicio se ve de la siguiente forma:

  • billing-export-bigquery@system.gserviceaccount.com

La cuenta de servicio es propiedad y administrada de Google, y proporciona los permisos necesarios para que nuestro proceso sin conexión cree una tabla y escriba los registros de la Facturación de Cloud.

Consulta las limitaciones que podrían afectar la exportación de tus datos de facturación a BigQuery.

Tablas de datos de facturación

Poco después de habilitar la exportación de la Facturación de Cloud a BigQuery, las tablas de datos de facturación se crean de forma automática en el conjunto de datos de BigQuery. Para obtener más información sobre estas tablas de BigQuery y los esquemas de tablas, consulta Comprende las tablas de datos creadas automáticamente en BigQuery.

Frecuencia de cargas de datos

  • La primera vez que habilitas la exportación de costos de uso estándar o detallados a BigQuery, es posible que tome algunas horas hasta comenzar a ver tus datos de costos de Google Cloud.
  • La primera vez que habilitas la exportación de precios a BigQuery, es posible que transcurran hasta 48 horas comenzar a ver los datos de precios de Google Cloud.

Para obtener más información sobre la frecuencia de las cargas de datos en tus tablas de BigQuery, consulta Frecuencia de cargas de datos.

Limitaciones

La exportación de datos de Facturación de Cloud a BigQuery está sujeta a las siguientes limitaciones.

  • Tu conjuntos de datos de BigQueryque contienen el costo de uso estándar y los datos de precios solo reflejan los datos de facturación de Google Cloud generados a partir de la fecha en que configuraste la exportación de Facturación de Cloud. Es decir, los datos de la facturación de Google Cloud no se agregan de forma retroactiva, por lo que no verás los datos de la Facturación de Cloud de fechas anteriores a la habilitación de la exportación. Para obtener más detalles, consulta Disponibilidad de los datos.
  • Tus conjuntos de datos de BigQuery que contienen datos de costos de uso detallados reflejan los datos de facturación de Google Cloud incurridos desde el inicio del mes anterior desde la primera vez que habilitaste la exportación, a menos que lo vuelvas a habilitar. Es decir, los datos de facturación de Google Cloud se agregan de forma retroactiva solo para el mes actual y el anterior. Para obtener más detalles, consulta Disponibilidad de los datos.
  • Cuando exportas datos de costos de uso detallados, debes exportar a un conjunto de datos configurado con una ubicación multirregional, como Estados Unidos (EE.UU.) o la Unión Europea (UE). Si seleccionas un conjunto de datos que no sea una ubicación multirregional, esto evitará que la Facturación de Cloud escriba datos de facturación detallados en las tablas adecuadas dentro de ese conjunto de datos.
  • No se admiten las claves de encriptación administradas por el cliente (CMEK) cuando se exportan datos de facturación a BigQuery. Si habilitas las CMEK para el conjunto de datos de datos de facturación, la Facturación de Cloud escribirá datos de facturación en las tablas adecuadas dentro de ese conjunto de datos. En su lugar, debes configurar el conjunto de datos para que use la encriptación de clave administrada por Google.

Informes de costos y precios disponibles en Google Cloud Console