Usa transferencias de terceros

Las transferencias de terceros para el Servicio de transferencia de datos de BigQuery te permiten administrar y programar de forma automática la carga de trabajos recurrentes para fuentes de datos externas como la CRM de Salesforce, Adobe Analytics y los anuncios de Facebook.

Antes de comenzar

Antes de crear una transferencia de datos de terceros, realiza los siguientes procedimientos:

  • Verifica si completaste todas las acciones necesarias para habilitar el Servicio de transferencia de datos de BigQuery
  • Crea un conjunto de datos de BigQuery para almacenar los datos.

  • Asegúrate de que la persona que crea la transferencia tenga los siguientes permisos obligatorios en BigQuery:

    • permisos bigquery.transfers.update para crear la transferencia
    • Los permisos bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino

    La función predefinida de IAM bigquery.admin incluye los permisos bigquery.transfers.update, bigquery.datasets.update y bigquery.datasets.get. Para obtener más información sobre los roles de IAM en el Servicio de transferencia de datos de BigQuery, consulta Control de acceso.

  • Consulta la documentación de tu fuente de datos de terceros con el fin de asegurarte de haber configurado los permisos necesarios para habilitar la transferencia.

  • Si quieres configurar las notificaciones de ejecución de transferencias para Pub/Sub, debes tener los permisos pubsub.topics.setIamPolicy. Los permisos de Pub/Sub no son necesarios si solo configuras las notificaciones por correo electrónico. Para obtener más información, consulta la sección sobre notificaciones de ejecución del Servicio de transferencia de datos de BigQuery.

Limitaciones

Las transferencias de terceros están sujetas a las siguientes limitaciones:

  • Debes crear o actualizar una transferencia de terceros mediante la consola de Google Cloud.
  • Por el momento, no puedes configurar ni actualizar transferencias de terceros con la herramienta de línea de comandos de bq.

Configura una transferencia de datos de terceros

Para crear una transferencia de datos de terceros mediante la consola de Google Cloud, realiza los siguientes procedimientos:

  1. Ve a Google Cloud Marketplace.

    Ir a Google Cloud Marketplace

  2. Haz clic en el proveedor de terceros correspondiente.

  3. En la página de documentación del proveedor de terceros, haz clic en Inscribirse. El proceso de inscripción puede tardar unos minutos.

  4. Una vez que se complete la inscripción, haz clic en Configurar transferencia.

  5. En la página Crear transferencia (Create Transfer), sigue estos pasos:

    • En Fuente (Source), elige la fuente de datos de terceros correspondiente. Puedes hacer clic en Explorar fuentes de datos (Explore Data Sources) para ver la lista de proveedores de terceros en Google Cloud Marketplace.

      Fuente de transferencia

    • En Nombre visible (Display name), ingresa un nombre para la transferencia, como My Transfer. El nombre de la transferencia puede ser cualquier valor que te permita identificarla con facilidad si necesitas modificarla más tarde.

      Nombre de la transferencia

    • En Programa, deja el valor predeterminado, Comenzar ahora (Start Now), o haz clic en Comenzar a la hora definida (Start at a set time).

      • En Repeticiones (Repeats), selecciona la frecuencia con la que se ejecutará la transferencia. Incluye las siguientes opciones:

        • Diariamente (Daily) (predeterminada)
        • Semanal
        • Mensual
        • Personalizada
        • Según demanda (On demand)

        Si eliges una opción que no sea Diariamente (Daily), tendrás opciones adicionales. Por ejemplo, si eliges Semanalmente (Weekly), aparece una opción para que selecciones el día.

      • En Fecha de inicio y hora de ejecución (Start date and run time), ingresa la fecha y hora para iniciar la transferencia. Si seleccionas Comenzar ahora (Start now), esta opción se inhabilitará.

        Programa de la transferencia

    • En Conjunto de datos de destino (Destination dataset), elige el conjunto de datos que creaste para almacenar los datos.

      Conjunto de datos de la transferencia

    • De forma opcional, en la sección Opciones de notificación, haz lo siguiente:

      • Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Si habilitas esta opción, el administrador de transferencias recibirá una notificación por correo electrónico cuando falle la ejecución de una transferencia.
      • En Selecciona un tema de Pub/Sub, elige el nombre de tu tema o haz clic en Crear un tema para crear uno. Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.

  6. Haz clic en Conectar fuente.

  7. Cuando se te solicite, haz clic en Aceptar a fin de otorgarle permiso al Servicio de transferencia de datos de BigQuery para que se conecte a la fuente de datos y administre tus datos en BigQuery.

  8. Sigue las instrucciones de las páginas siguientes para configurar la conexión con tu fuente de datos externa.

  9. Después de completar los pasos de configuración, haz clic en Guardar.

Soluciona problemas relacionados con la configuración de una transferencia de terceros

Si tienes problemas para configurar la transferencia, consulta al proveedor externo correspondiente. La información de contacto está disponible en la página de documentación de la transferencia en Google Cloud Marketplace.

Consulta tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas particionadas por tiempo de transferencia. Para obtener más información, consulta Introducción a tablas con particiones.

Si consultas tus tablas directamente en lugar de usar las vistas generadas de manera automática, debes usar la seudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, visita la página Consulta tablas particionadas.

¿Qué sigue?