Trasferimenti dei proprietari dei contenuti di YouTube

Il connettore BigQuery Data Transfer Service per i proprietari di contenuti di YouTube consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i report per i proprietari di contenuti di YouTube.

Report supportati

BigQuery Data Transfer Service per i report dei proprietari dei contenuti di YouTube supporta le seguenti opzioni di generazione di report:

Opzione di segnalazione Assistenza
Versione dell'API supportata 18 giugno 2018
Frequenza di ripetizione

Ogni giorno, intorno alle ore 14:45 UTC

Puoi configurare l'ora
Aggiorna finestra

Ultimo giorno

Non configurabile.
Durata massima del backfill

30 giorni

Da luglio 2018, i report di YouTube contenenti dati storici sono disponibili per 30 giorni dalla relativa data di generazione. I report contenenti dati non storici sono disponibili per 60 giorni dopo la modifica delle norme. Per saperne di più, consulta Dati storici nella documentazione dell'API di reporting di YouTube.

Per informazioni su come i report dei proprietari dei contenuti di YouTube vengono trasformati in tabelle e viste BigQuery, consulta Trasformazioni dei report dei proprietari dei contenuti di YouTube.

Importazione dei dati dai trasferimenti dei proprietari dei contenuti di YouTube

Quando trasferisci i dati dai report per i proprietari dei contenuti di YouTube a BigQuery, questi vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o l'esecuzione di backfill non generano dati duplicati e le partizioni per altre date non sono interessate.

Aggiornare le finestre

Una finestra di aggiornamento è il numero di giorni per i quali un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. Le esecuzioni di backfill attivate automaticamente sovrascrivono o aggiornano in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento dati per la prima volta, vengono recuperati tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo dell'API TransferConfig.data_refresh_window_days.

Per recuperare i dati al di fuori della finestra di aggiornamento, ad esempio i dati storici, o per recuperare i dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare una esecuzione di backfill.

Limitazioni

  • La dimensione massima supportata per ciascun report è 1710 GB.
  • La frequenza minima con cui puoi pianificare un trasferimento di dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento di dati inizia al momento della sua creazione. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando configuri il trasferimento.
  • BigQuery Data Transfer Service non supporta i trasferimenti incrementali dei dati durante un trasferimento del proprietario dei contenuti di YouTube. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.

Prima di iniziare

Prima di creare un trasferimento di dati dei proprietari dei contenuti di YouTube:

Autorizzazioni obbligatorie

Assicurati che la persona che crea il trasferimento dei dati disponga delle seguenti autorizzazioni obbligatorie:

  • BigQuery:

    • Autorizzazioni bigquery.transfers.update per creare il trasferimento di dati
    • Entrambe le autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

    Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per saperne di più sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

  • YouTube:

    • YouTube Content Manager o Proprietario dei contenuti di YouTube.

    A un gestore dei contenuti vengono concessi i diritti di amministrazione dei contenuti di YouTube per conto di un proprietario dei contenuti. Un proprietario di contenuti è un account cumulativo che possiede uno o più canali YouTube e i video pubblicati su quei canali.

    • L'opzione Hide revenue data non è selezionata nelle impostazioni dei report dei proprietari dei contenuti di YouTube.

    Affinché i report relativi alle entrate vengano trasferiti, l'impostazione dell'autorizzazione per i report di YouTube Hide revenue data non deve essere selezionata per l'utente che esegue il trasferimento.

    youtube-content-owner-reports-uncheck-hide-revenue

Configurare un trasferimento del proprietario dei contenuti di YouTube

La configurazione di un trasferimento di dati del proprietario dei contenuti di YouTube richiede:

  • ID proprietario dei contenuti: fornito da YouTube. Quando accedi a YouTube come proprietario o gestore dei contenuti, il tuo ID viene visualizzato nell'URL dopo o=. Ad esempio, se l'URL è https://studio.youtube.com/owner/AbCDE_8FghIjK?o=AbCDE_8FghIjK, l'ID proprietario dei contenuti è AbCDE_8FghIjK. Per selezionare un altro account Content Manager, consulta l'articolo Accedere a un account Content Manager o Strumento di trasferimento dei canali YouTube. Per maggiori informazioni sulla creazione e sulla gestione dell'account Content Manager, consulta Configurare le impostazioni dell'account Content Manager.
  • Suffisso tabella: un nome facile da ricordare per il canale fornito da te quando hai configurato il trasferimento. Il suffisso viene aggiunto all'ID job per creare il nome della tabella, ad esempio reportTypeId_suffix. Il suffisso viene utilizzato per impedire a trasferimenti di dati separati di scrivere nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano i dati nello stesso set di dati e deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Se utilizzi l'API YouTube Reporting e hai job di generazione di report esistenti, BigQuery Data Transfer Service carica i dati dei report. Se non hai job di generazione di report esistenti, la configurazione del trasferimento dei dati attiva automaticamente i job di generazione di report di YouTube.

Per configurare un trasferimento di dati dei proprietari di contenuti di YouTube:

Console

  1. Vai alla pagina BigQuery nella console Google Cloud. Assicurati di aver eseguito l'accesso all'account come proprietario dei contenuti o come gestore dei contenuti.

    Vai alla pagina BigQuery

  2. Fai clic su Trasferimenti.

  3. Fai clic su Crea trasferimento.

  4. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Proprietario dei contenuti di YouTube.

      Origine trasferimento

    • Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento dei dati, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • Nella sezione Opzioni di programmazione:

      • Per Frequenza di ripetizione, scegli un'opzione per la frequenza con cui eseguire il trasferimento di dati. Se selezioni Giorni, specifica un'ora valida in UTC.

        • Ore
        • Giorni
        • On demand

      • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

    • Nella sezione Impostazioni di destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

      Trasferisci set di dati

    • Nella sezione Dettagli dell'origine dati:

      • In ID proprietario dei contenuti, inserisci il tuo ID proprietario dei contenuti.

      • In Suffisso tabella, inserisci un suffisso come MT.

        Dettagli dell'origine del proprietario dei contenuti di YouTube

    • Nel menu Account di servizio, seleziona un account di servizio tra quelli associati al tuo progetto Google Cloud. Puoi associare un account di servizio al trasferimento dei dati anziché utilizzare le credenziali utente. Per ulteriori informazioni sull'utilizzo degli account di servizio con i trasferimenti di dati, consulta Utilizzare gli account di servizio.

      • Se hai eseguito l'accesso con un'identità federata, è necessario un account di servizio per creare un trasferimento di dati. Se hai eseguito accesso con un Account Google, un account di servizio per il trasferimento dei dati è facoltativo.
      • L'account di servizio deve disporre delle autorizzazioni richieste.

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per attivare le notifiche via email. Se attivi questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento dei dati non va a buon fine.
      • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento.

  5. Fai clic su Salva.

  6. Se è la prima volta che accedi all'account, seleziona un account e poi fai clic su Consenti. Seleziona lo stesso account in cui sei il proprietario o il gestore dei contenuti.

bq

Inserisci il comando bq mk e specifica il flag di creazione del trasferimento: --transfer_config. Sono obbligatori anche i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Flag facoltativi:

  • --service_account_name: specifica un account di servizio da utilizzare per l'autenticazione del trasferimento del proprietario dei contenuti anziché il tuo account utente.
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source \
--service_account_name=service_account_name

Dove:

  • project_id è l'ID progetto.
  • dataset è il set di dati di destinazione per la configurazione del trasferimento.
  • name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento di dati può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per la configurazione del trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per i trasferimenti di dati dei proprietari dei contenuti di YouTube, devi fornire i parametri content_owner_id e table_suffix. Se vuoi, puoi impostare il parametro configure_jobs su true per consentire a BigQuery Data Transfer Service di gestire i job di generazione di report di YouTube per tuo conto. Se esistono report di YouTube che non sono presenti per il tuo account, vengono creati nuovi job di generazione di report per attivarli.
  • data_source è l'origine dati - youtube_content_owner.
  • service_account_name è il nome dell'account di servizio utilizzato per autenticare il trasferimento dei dati. L'account di servizio deve essere di proprietà dello stesso project_id utilizzato per creare il trasferimento e deve disporre di tutte le autorizzazioni richieste.

Puoi anche fornire il flag --project_id per specificare un determinato progetto. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

Ad esempio, il seguente comando crea un trasferimento di dati del proprietario dei contenuti di YouTube chiamato My Transfer utilizzando l'ID proprietario dei contenuti AbCDE_8FghIjK, il suffisso della tabella MT e il set di dati di destinazione mydataset. Il trasferimento dei dati viene creato nel progetto predefinito:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"content_owner_id":"abCDE_8FghIjK","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_content_owner

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client. 

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create youtube content owner channel transfer config
public class CreateYoutubeContentOwnerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String contentOwnerId = "MY_CONTENT_OWNER_ID";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("content_owner_id", Value.newBuilder().setStringValue(contentOwnerId).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Youtube Owner Channel Config Name")
            .setDataSourceId("youtube_content_owner")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createYoutubeContentOwnerTransfer(projectId, transferConfig);
  }

  public static void createYoutubeContentOwnerTransfer(
      String projectId, TransferConfig transferConfig) throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println(
          "Youtube content owner channel transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Youtube content owner channel transfer was not created." + ex.toString());
    }
  }
}

Esegui query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta Tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta Esecuzione di query sulle tabelle partizionate.

Risolvere i problemi di configurazione del trasferimento dei report dei proprietari di contenuti di YouTube

Se riscontri problemi durante la configurazione del trasferimento dei dati, consulta la sezione Problemi di trasferimento di YouTube in Risoluzione dei problemi relativi alle configurazioni di trasferimento.