Trasferimenti dei rapporti Google Play

Il connettore BigQuery Data Transfer Service per Google Play consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i dati dei report di Google Play.

Report supportati

BigQuery Data Transfer Service per Google Play supporta le seguenti opzioni di generazione di report mensili:

Report dettagliati

Report aggregati

Per informazioni su come i report di Google Play vengono trasformati in tabelle BigQuery, consulta Trasformazioni dei report di Google Play.

Opzione di segnalazione Assistenza
Versione dell'API supportata

N/D
Frequenza di ripetizione

Giornalmente, al momento della prima creazione del trasferimento dei dati (valore predefinito)

Puoi configurare l'ora del giorno.
Aggiorna finestra

Ultimi 7 giorni

Non configurabile
Durata massima del backfill

Nessun limite

Sebbene Google Play non abbia limiti noti per la conservazione dei dati, BigQuery Data Transfer Service ha limiti per il numero di giorni che possono essere richiesti in un singolo backfill. Per informazioni sui backfill, vedi Attivare manualmente un trasferimento.

Importazione dei dati dai trasferimenti di Google Play

Quando trasferisci i dati da Google Play a BigQuery, questi vengono caricati nelle tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o l'esecuzione di backfill non generano dati duplicati e le partizioni per altre date non sono interessate.

Aggiornare le finestre

Una finestra di aggiornamento è il numero di giorni per i quali un trasferimento di dati recupera i dati quando si verifica un trasferimento di dati. Ad esempio, se la finestra di aggiornamento è di tre giorni e si verifica un trasferimento giornaliero, BigQuery Data Transfer Service recupera tutti i dati dalla tabella di origine degli ultimi tre giorni. In questo esempio, quando si verifica un trasferimento giornaliero, BigQuery Data Transfer Service crea una nuova partizione della tabella di destinazione BigQuery con una copia dei dati della tabella di origine del giorno corrente, quindi attiva automaticamente le esecuzioni di backfill per aggiornare le partizioni della tabella di destinazione BigQuery con i dati della tabella di origine degli ultimi due giorni. Le esecuzioni di backfill attivate automaticamente sovrascrivono o aggiornano in modo incrementale la tabella di destinazione BigQuery, a seconda che gli aggiornamenti incrementali siano supportati o meno nel connettore BigQuery Data Transfer Service.

Quando esegui un trasferimento dati per la prima volta, vengono recuperati tutti i dati di origine disponibili all'interno della finestra di aggiornamento. Ad esempio, se la finestra di aggiornamento è di tre giorni ed esegui il trasferimento dei dati per la prima volta, BigQuery Data Transfer Service recupera tutti i dati di origine entro tre giorni.

Le finestre di aggiornamento sono mappate al campo dell'API TransferConfig.data_refresh_window_days.

Per recuperare i dati al di fuori della finestra di aggiornamento, ad esempio i dati storici, o per recuperare i dati da eventuali interruzioni o lacune del trasferimento, puoi avviare o pianificare una esecuzione di backfill.

Limitazioni

  • La frequenza minima con cui puoi pianificare un trasferimento di dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento inizia al momento della sua creazione. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando configuri il trasferimento.
  • BigQuery Data Transfer Service non supporta i trasferimenti incrementali dei dati durante un trasferimento da Google Play. Quando specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.

Prima di iniziare

Prima di creare un trasferimento di dati di Google Play:

  • Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di Google Play.
  • Trova il tuo bucket Cloud Storage:
    1. In Google Play Console, fai clic su Scarica i report e seleziona Recensioni, Statistiche o Dati finanziari.
    2. Per copiare l'ID del bucket Cloud Storage, fai clic su Copia URI Cloud Storage. L'ID del bucket inizia con gs://. Ad esempio, per il report Recensioni, il tuo ID è simile al seguente: 
      gs://pubsite_prod_rev_01234567890987654321/reviews
    3. Per il trasferimento dei dati di Google Play, devi copiare solo l'ID univoco compreso tra gs:// e /reviews: 
      pubsite_prod_rev_01234567890987654321
  • Se intendi configurare le notifiche di esecuzione dei trasferimenti per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

  • BigQuery: assicurati che la persona che crea il trasferimento di dati disponga delle seguenti autorizzazioni in BigQuery:

    • Autorizzazioni bigquery.transfers.update per creare il trasferimento di dati
    • Entrambe le autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

    Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per saperne di più sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

  • Google Play: assicurati di disporre delle seguenti autorizzazioni in Google Play:

    Il team di Google Cloud NON ha la possibilità di generare o concedere l'accesso ai file di Google Play per tuo conto. Consulta la sezione Contattare l'assistenza di Google Play per assistenza sull'accesso ai file di Google Play.

Configurare un trasferimento di Google Play

La configurazione di un trasferimento di dati di Google Play richiede:

  • Bucket Cloud Storage. I passaggi per individuare il bucket Cloud Storage sono descritti in Prima di iniziare. Il bucket Cloud Storage inizia con pubsite_prod_rev. Ad esempio: pubsite_prod_rev_01234567890987654321.
  • Suffisso tabella: un nome facile da ricordare per tutte le origini dati caricate nello stesso set di dati. Il suffisso viene utilizzato per impedire che i trasferimenti distinti scrivano nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano i dati nello stesso set di dati e deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Per configurare un trasferimento di dati di Google Play:

Console

  1. Vai alla pagina Trasferimenti dati nella console Google Cloud.

    Vai a Trasferimenti dati

  2. Fai clic su Crea trasferimento.

  3. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Google Play.

      Origine trasferimento

    • Nella sezione Nome configurazione di trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento dei dati, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • Nella sezione Opzioni di programmazione:

      • Per Frequenza di ripetizione, scegli un'opzione per la frequenza con cui eseguire il trasferimento di dati. Se selezioni Giorni, specifica un'ora valida in UTC.

        • Ore
        • Giorni
        • On demand

      • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

    • Nella sezione Impostazioni di destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

      Trasferisci set di dati

    • Nella sezione Dettagli dell'origine dati:

      • In Bucket Cloud Storage, inserisci l'ID del tuo bucket Cloud Storage.

      • In Suffisso tabella, inserisci un suffisso come "MT" (per "Mio trasferimento").

        Dettagli della sorgente Google Play

    • Nel menu Account di servizio, seleziona un account di servizio tra quelli associati al tuo progetto Google Cloud. Puoi associare un account di servizio al trasferimento dei dati anziché utilizzare le credenziali utente. Per ulteriori informazioni sull'utilizzo degli account di servizio con i trasferimenti di dati, consulta Utilizzare gli account di servizio.

      • Se hai eseguito l'accesso con un'identità federata, è necessario un account di servizio per creare un trasferimento di dati. Se hai eseguito l'accesso con un Account Google, un account di servizio per il trasferimento è facoltativo.
      • L'account di servizio deve disporre delle autorizzazioni richieste.

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per attivare le notifiche via email. Se attivi questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
      • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche di esecuzione di Pub/Sub per il trasferimento.

  4. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento: --transfer_config. Sono obbligatori anche i seguenti flag:

  • --target_dataset
  • --display_name
  • --params
  • --data_source
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source
--service_account_name=service_account_name

Dove:

  • project_id è l'ID progetto. Se --project_id non viene specificato, viene utilizzato il progetto predefinito.
  • dataset è il set di dati di destinazione per la configurazione del trasferimento.
  • name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento di dati può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per la configurazione del trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per Google Play, devi fornire i parametri bucket e table_suffix. bucket è il bucket Cloud Storage che contiene i file dei report di Play.
  • data_source è l'origine dati: play.
  • service_account_name è il nome dell'account di servizio utilizzato per autenticare il trasferimento dei dati. L'account di servizio deve essere di proprietà dello stesso project_id utilizzato per creare il trasferimento e deve disporre di tutte le autorizzazioni richieste.

Ad esempio, il seguente comando crea un trasferimento di dati di Google Play denominato My Transfer utilizzando il bucket Cloud Storage pubsite_prod_rev_01234567890987654321 e il set di dati di destinazione mydataset. Il trasferimento dei dati viene creato nel progetto predefinito:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

La prima volta che esegui il comando, riceverai un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo di BigQuery con le librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API BigQuery Java.

Per autenticarti in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configurare l'autenticazione per le librerie client. 

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a play transfer config.
public class CreatePlayTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Play Config Name")
            .setDataSourceId("play")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createPlayTransfer(projectId, transferConfig);
  }

  public static void createPlayTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("play transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("play transfer was not created." + ex.toString());
    }
  }
}

Risolvere i problemi di configurazione del trasferimento di Google Play

Se hai problemi a configurare il trasferimento dei dati, consulta Risoluzione dei problemi di configurazione del trasferimento di BigQuery Data Transfer Service.

Esegui query sui dati

Quando vengono trasferiti a BigQuery, i tuoi dati vengono scritti in tabelle partizionate per data di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudocolonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta Esecuzione di query sulle tabelle partizionate.

Prezzi

Per informazioni sui prezzi del trasferimento dei dati di Google Play, consulta la pagina Prezzi.

Quando i dati vengono trasferiti su BigQuery, vengono applicati i prezzi standard di BigQuery per l'archiviazione e le query.

Passaggi successivi