Transferencias de canales de YouTube

El Servicio de transferencia de datos de BigQuery para YouTube te permite programar y administrar de forma automática los trabajos de carga recurrentes para los informes de canales de YouTube.

Informes compatibles

• Informes de canal (se cargan de forma automática en BigQuery)

El Servicio de transferencia de datos de BigQuery para los informes de canal de YouTube es compatible con las siguientes opciones de informes:

Opción de informe	Compatibilidad
Versión de la API compatible	18 de junio de 2018
Programa	Diaria, aproximadamente a las 14:10 UTC Puedes configurar la hora del día
Período de actualización	Último día No configurable
Duración máxima del reabastecimiento	30 días A partir de julio de 2018, los informes de YouTube que contienen datos históricos estarán disponibles durante 30 días desde el momento en que se generan. (Los informes que contienen datos no históricos están disponibles durante 60 días). Para obtener más información, consulta la sección de datos históricos en la documentación de la API de informes de YouTube.

Para obtener información sobre cómo los informes de canales de YouTube se transforman en tablas y vistas de BigQuery, consulta la página sobre las transformaciones de informes de canales de YouTube.

Transferencia de datos desde transferencias de canal de YouTube

Cuando transfieres datos de un canal de YouTube a BigQuery, los datos se cargan en tablas de BigQuery que se particionan por fecha. La partición de la tabla en la que se cargan los datos corresponde a la fecha de la fuente de datos. Si programas varias transferencias para la misma fecha, el Servicio de transferencia de datos de BigQuery reemplaza la partición para esa fecha específica con los datos más recientes. Las transferencias múltiples en el mismo día o los reabastecimientos en ejecución no generan datos duplicados y las particiones para otras fechas no se ven afectadas.

Limitaciones

• El tamaño máximo admitido de cada archivo para cada informe es de 1,710 GB.
• La frecuencia mínima que puedes programar para una transferencia de datos es una vez cada 24 horas. De forma predeterminada, una transferencia comienza en el momento en que creas la transferencia. Sin embargo, puedes configurar la hora de inicio cuando configuras la transferencia.
• El Servicio de transferencia de datos de BigQuery no admite transferencias incrementales durante una transferencia de propietario del contenido de YouTube. Cuando especificas una fecha para una transferencia de datos, se transfieren todos los datos disponibles para esa fecha.
• No puedes crear una transferencia de canal de YouTube si accediste como una identidad federada. Solo puedes crear una transferencia de canal de YouTube con una Cuenta de Google.

Antes de comenzar

Antes de crear una transferencia de canal de YouTube, haz lo siguiente:

• Verifica si completaste todas las acciones necesarias para habilitar el Servicio de transferencia de datos de BigQuery
• Crea un conjunto de datos de BigQuery para almacenar los datos de YouTube.

Permisos necesarios

Para crear una transferencia de canal de YouTube se requiere lo siguiente:

• YouTube: Propiedad del canal de YouTube

• BigQuery: Los siguientes permisos de Identity and Access Management (IAM) en BigQuery:

  • bigquery.transfers.update para crear la transferencia
  • bigquery.datasets.get y bigquery.datasets.update en el conjunto de datos de destino
  • Si quieres configurar las notificaciones de ejecución de transferencias para Pub/Sub, debes tener los permisos pubsub.topics.setIamPolicy. Los permisos de Pub/Sub no son necesarios si solo configuras las notificaciones por correo electrónico. Para obtener más información, consulta la sección sobre notificaciones de ejecución del Servicio de transferencia de datos de BigQuery.

La función de IAM predefinida bigquery.admin incluye todos los permisos de BigQuery que necesitas para crear una transferencia de canal de YouTube. Para obtener más información sobre las funciones de IAM en BigQuery, consulta Funciones y permisos predefinidos.

Configura una transferencia de canal de YouTube

Para configurar una transferencia de canal de YouTube se requiere un:

• Sufijo de tabla: un nombre fácil de usar para el canal que proporcionaste cuando configuraste la transferencia. El sufijo se adjunta al ID de trabajo para crear el nombre de la tabla, por ejemplo reportTypeId_suffix. El sufijo se usa para evitar que las transferencias que se ejecutan por separado escriban en las mismas tablas. El sufijo de la tabla debe ser único en todas las transferencias que carguen datos en el mismo conjunto de datos, y el sufijo debe ser corto para minimizar la longitud del nombre de la tabla resultante.

Si usas la API de informes de YouTube en la actualidad y tienes trabajos de informes existentes, el Servicio de transferencia de datos de BigQuery carga tus datos de informes. Si no tienes trabajos de informes existentes, la configuración de la transferencia habilita de forma automática los trabajos de informes de YouTube.

Para crear una transferencia de canal de YouTube, sigue estos pasos:

Consola

1. Ve a la página de BigQuery en la consola de Google Cloud.

   Ir a la página de BigQuery

2. Haz clic en Transferencias.

3. Haz clic en Crear transferencia.

4. En la página Crear transferencia, sigue estos pasos:

   • En la sección Tipo de fuente (Source Type), en Fuente (Source), elige Canal de YouTube (YouTube Channel).

     

   • En la sección Nombre de la configuración de transferencia (Transfer config name), en Nombre visible (Display name), ingresa el nombre de la transferencia, como My Transfer. El nombre de la transferencia puede ser cualquier valor que te permita identificarla con facilidad si es necesario hacerle modificaciones más tarde.

     

   • En la sección Opciones de programación, haz lo siguiente:

     • En Frecuencia de repetición, elige una opción para la frecuencia con la que se ejecutará la transferencia. Si seleccionas Días, proporciona una hora válida en UTC.

       • Horas
       • Días
       • A pedido

     • Si corresponde, selecciona Comenzar ahora o Comenzar a una hora determinada y proporciona una fecha de inicio y una hora de ejecución.

   • En la sección Configuración de destino (Destination settings), en Conjunto de datos de destino (Destination dataset), selecciona el conjunto de datos que creaste para almacenar tus datos.

     

   • En la sección Detalles de fuente de datos (Data source details):

     • En Sufijo de tabla (Table suffix), ingresa un sufijo como MT.

     • Marca la casilla Configurar trabajos para permitir que BigQuery administre los trabajos de informes de YouTube por ti. Si hay informes de YouTube que, por el momento, no existen para tu cuenta, se crearán trabajos de informes nuevos a fin de habilitarlos.

       

   • De forma opcional, en la sección Opciones de notificación, haz lo siguiente:

     • Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Cuando habilitas esta opción, el administrador de transferencias recibe una notificación por correo electrónico cuando falla una ejecución de transferencia.
     • En Seleccionar un tema de Cloud Pub/Sub (Select a Cloud Pub/Sub topic), elige el nombre de tu tema o haz clic en Crear un tema (Create a topic). Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.

5. Haga clic en Save.

bq

Ingresa el comando bq mk y suministra la marca de creación de transferencias --transfer_config. También se requieren las siguientes marcas:

• --data_source
• --target_dataset
• --display_name
• --params

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Aquí:

• project_id es el ID del proyecto.
• dataset es el conjunto de datos de destino para la configuración de la transferencia.
• name es el nombre visible de la configuración de transferencia. El nombre de la transferencia puede ser cualquier valor que te permita identificarla con facilidad si necesitas modificarla más tarde.
• parameters contiene los parámetros para la configuración de la transferencia creada en formato JSON. Por ejemplo: --params='{"param":"param_value"}' Para las transferencias de canal de YouTube, debes proporcionar el parámetro table_suffix. De manera opcional, puedes configurar el parámetro configure_jobs en true para permitir que el Servicio de transferencia de datos de BigQuery administre los trabajos de informes de YouTube por ti. Si hay informes de YouTube que no existen actualmente para tu canal, se crearán trabajos de informes nuevos para habilitarlos.
• data_source es la fuente de datos: youtube_channel.

Precaución: En la actualidad, no se puede configurar notificaciones mediante la herramienta de línea de comandos.

También puedes proporcionar la marca --project_id para especificar un proyecto en particular. Si no se especifica --project_id, se usa el proyecto predeterminado.

Por ejemplo, con el siguiente comando, se crea una transferencia de canales de YouTube llamada My Transfer con el sufijo de tabla MT y el conjunto de datos de destino mydataset. La transferencia se crea en el proyecto predeterminado:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

Precaución: Cuando creas una transferencia de canales de YouTube con la herramienta de línea de comandos, la configuración de transferencia se establece con el valor predeterminado dePrograma.

API

Usa el método projects.locations.transferConfigs.create y suministra una instancia del recurso TransferConfig.

Java

Antes de probar este ejemplo, sigue las instrucciones de configuración para Java incluidas en la guía de inicio rápido de BigQuery sobre cómo usar bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de BigQuery para Java.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura la autenticación para bibliotecas cliente.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Nota: Es posible que la primera vez que configures trabajos de informe de YouTube experimentes un retraso de hasta 48 horas antes de que los primeros informes estén listos. Para obtener más información, consulta la sección sobre cómo crear un trabajo de informes en la documentación de la API de informes de YouTube.

Consulta tus datos

Cuando tus datos se transfieren a BigQuery, se escriben en tablas particionadas por tiempo de transferencia. Para obtener más información, consulta Introducción a tablas con particiones.

Si consultas tus tablas directamente en lugar de usar las vistas generadas de manera automática, debes usar la seudocolumna _PARTITIONTIME en tu consulta. Para obtener más información, visita la página Consulta tablas particionadas.

Soluciona problemas de configuración de transferencia de canal de YouTube

Si tienes problemas para configurar tu transferencia, consulta la sección sobre los problemas de transferencias de YouTube en la página sobre cómo solucionar problemas de configuración de transferencias.