Trasferimenti dei rapporti sul canale YouTube

Il connettore BigQuery Data Transfer Service per YouTube consente di pianificare automaticamente e gestire job di caricamento ricorrenti per i report sui canali YouTube.

Report supportati

• Report sui canali (caricati automaticamente in BigQuery)

BigQuery Data Transfer Service per i report del canale YouTube supporta le seguenti opzioni di generazione di report:

Opzione di segnalazione	Assistenza
Versione API supportata	18 giugno 2018
Frequenza di ripetizione	Ogni giorno alle ore 14:10 circa UTC Puoi configurare l'ora
Aggiorna finestra	Ultimo giorno Non configurabile.
Durata massima del backfill	30 giorni Da luglio 2018, i report di YouTube contenenti dati storici sono disponibili per 30 giorni dal momento in cui vengono generati. (Report che contengono dati non storici sono disponibili per 60 giorni). Per ulteriori informazioni, consulta Dati storici nella documentazione dell'API di reporting di YouTube.

Per informazioni su come i report sui canali YouTube vengono trasformati per le tabelle e le viste BigQuery, consulta Trasformazioni dei report sui canali YouTube.

Importazione dati dai trasferimenti del canale YouTube

Quando trasferisci i dati da un canale YouTube a BigQuery, vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data da l'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o backfill in esecuzione non generano dati duplicati e le partizioni per altre date non sono interessate.

Aggiornare le finestre

Una finestra di aggiornamento indica il numero di giorni in cui un trasferimento di dati recupera i dati. quando avviene un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo Ad esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova Partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine dal giorno corrente, poi attiva automaticamente le esecuzioni di backfill per aggiornare La tabella di destinazione BigQuery esegue le partizioni con i dati della tabella di origine dal ultimi due giorni. Le esecuzioni di backfill attivate automaticamente sovrascrivono o aggiornano in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento di dati per la prima nel tempo, il trasferimento dei dati recupera tutti i dati di origine disponibili finestra. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui i dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo API TransferConfig.data_refresh_window_days.

Per recuperare i dati al di fuori della finestra di aggiornamento, ad esempio i dati storici, o per recuperare i dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare un'esecuzione di backfill.

Limitazioni

• La dimensione massima supportata del file per ogni report è 1710 GB.
• La frequenza minima con cui puoi pianificare un trasferimento di dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento di dati inizia nel momento in cui crei trasferimento. Tuttavia, puoi configurare l'ora di inizio del trasferimento dei dati quando configuri il trasferimento.
• BigQuery Data Transfer Service non supporta i trasferimenti di dati incrementali durante un Trasferimento del proprietario dei contenuti di YouTube. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.
• Non puoi creare un trasferimento dati per un canale YouTube se hai eseguito l'accesso come e identità federata. Puoi creare un trasferimento di canale YouTube solo mentre ha eseguito l'accesso utilizzando un Account Google.

Prima di iniziare

Prima di creare un trasferimento di dati di un canale YouTube:

• Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di YouTube.

Autorizzazioni obbligatorie

Per creare un trasferimento di dati su un canale YouTube devi soddisfare i seguenti requisiti:

• YouTube: proprietà del canale YouTube

• BigQuery: le seguenti autorizzazioni di Identity and Access Management (IAM) in BigQuery:

  • bigquery.transfers.update per creare il trasferimento.
  • bigquery.datasets.get e bigquery.datasets.update in linea con il target del set di dati.
  • Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, deve avere le autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Il ruolo IAM predefinito bigquery.admin include tutte le autorizzazioni BigQuery necessarie per creare un trasferimento dei dati del canale YouTube. Per saperne di più sui ruoli IAM in BigQuery, consulta Ruoli e autorizzazioni predefiniti.

Configurare il trasferimento di un canale YouTube

Per configurare il trasferimento dei dati di un canale YouTube, è necessario:

• Suffisso tabella: un nome semplice per il canale che fornisci quando configuri il trasferimento dei dati. Il suffisso viene aggiunto all'ID job per creare nome della tabella, ad esempio reportTypeId_suffix. Il suffisso viene utilizzato per impedire che trasferimenti separati scrivano nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano i dati nello stesso set di dati e deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Se utilizzi API di reporting di YouTube e sono già presenti job di generazione dei report, BigQuery Data Transfer Service carica il tuo report e i dati di Google Cloud. Se non hai job di generazione di report, configura il trasferimento attiva automaticamente la generazione di report di YouTube.

Per creare un trasferimento di dati del canale YouTube:

Console

1. Vai alla pagina Trasferimenti di dati nella console Google Cloud.

   Vai a Trasferimenti di dati

2. Fai clic su Crea trasferimento.

3. Nella pagina Crea trasferimento:

   • Nella sezione Tipo di origine, seleziona Canale YouTube per Origine.

     

   • Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento dei dati, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

     

   • Nella sezione Opzioni di pianificazione:

     • In Frequenza di ripetizione, scegli un'opzione per la frequenza di esecuzione del trasferimento di dati. Se selezioni Giorni, fornisci un orario valido nel formato UTC.

       • Ore
       • Giorni
       • On demand

     • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

   • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i tuoi dati.

     

   • Nella sezione Dettagli origine dati:

     • Per Suffisso tabella, inserisci un suffisso, ad esempio MT.

     • Seleziona la casella Configura job per consentire a BigQuery di gestire i job per i report di YouTube per tuo conto. Se esistono report di YouTube che non sono ancora disponibili per il tuo account, vengono creati nuovi job di generazione di report per attivarli.

       

   • (Facoltativo) Nella sezione Opzioni di notifica:

     • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Se attivi questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
     • Per Seleziona un argomento Pub/Sub, scegli l'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento dei dati.

4. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento: --transfer_config. Sono necessari anche i seguenti flag:

• --data_source
• --target_dataset
• --display_name
• --params

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dove:

• project_id è l'ID progetto.
• dataset è il set di dati di destinazione per la configurazione del trasferimento.
• name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento di dati può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
• parameters contiene i parametri per la configurazione del trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per i trasferimenti di dati dei canali YouTube, devi fornire il parametro table_suffix. Tu può facoltativamente impostare il parametro configure_jobs su true per consentire BigQuery Data Transfer Service per gestire per te i job di generazione di report di YouTube. Se ci sono Report di YouTube che al momento non esistono per il tuo canale; nuovi report vengono creati job per abilitarli.
• data_source è l'origine dati: youtube_channel.

Attenzione: al momento non puoi configurare le notifiche utilizzando lo strumento della riga di comando.

Puoi anche fornire il flag --project_id per specificare un progetto specifico. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

Ad esempio, il comando seguente crea un trasferimento di dati del canale YouTube denominato My Transfer utilizzando il suffisso tabella MT e il set di dati di destinazione mydataset. Il trasferimento dei dati viene creato nel progetto predefinito:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

Attenzione: quando crei un trasferimento del canale YouTube utilizzando lo strumento a riga di comando, la configurazione del trasferimento viene impostata utilizzando il valore predefinito per Pianifica.

API

Utilizza la projects.locations.transferConfigs.create e fornisce un'istanza del metodo TransferConfig risorsa.

Java

Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di BigQuery con librerie client. Per ulteriori informazioni, consulta API Java BigQuery documentazione di riferimento.

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube channel transfer config.
public class CreateYoutubeChannelTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Channel Config Name")
            .setDataSourceId("youtube_channel")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeChannelTransfer(projectId, transferConfig);
  }

  public static void createYoutubeChannelTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Youtube channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube channel transfer was not created." + ex.toString());
    }
  }
}

Nota: se stai configurando le offerte di lavoro di segnalazione di YouTube per la prima volta, possono trascorrere fino a 48 ore prima che i primi report siano pronti. Per maggiori informazioni, consulta la sezione Creare un job di generazione di report nella documentazione dell'API di reporting di YouTube.

Esegui query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta Esecuzione di query su tabelle partizionate.

Risolvere i problemi relativi alla configurazione del trasferimento di canali YouTube

Se riscontri problemi durante la configurazione del trasferimento dei dati, consulta Problemi di trasferimento di YouTube nella sezione Risolvere i problemi di configurazione del trasferimento.