Trasferimenti dei rapporti Google Play

BigQuery Data Transfer Service per Google Play consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i dati dei report di Google Play.

Report supportati

BigQuery Data Transfer Service per Google Play supporta le seguenti opzioni di generazione di report mensili:

Report dettagliati

• Recensioni
• Rapporti finanziari

Report aggregati

• Statistiche
• Acquisizione utenti

Per informazioni su come i report di Google Play vengono trasformati in tabelle BigQuery, vedi Trasformazioni dei report di Google Play.

Opzione di segnalazione	Assistenza
Versione API supportata	N/A
Pianificazione	Ogni giorno, nel momento in cui viene creato per la prima volta il trasferimento (impostazione predefinita) Puoi configurare l'ora del giorno.
Finestra di aggiornamento	Ultimi 7 giorni Non configurabile
Durata massima del backfill	Nessun limite Sebbene Google Play non abbia limiti noti di conservazione dei dati, BigQuery Data Transfer Service prevede dei limiti sul numero di giorni che è possibile richiedere in un singolo backfill. Per informazioni sui backfill, consulta Configurare un backfill.

Importazione dati da trasferimenti di Google Play

Quando trasferisci dati da Google Play a BigQuery, questi vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o backfill in esecuzione non generano dati duplicati e le partizioni per altre date non sono interessate.

Limitazioni

• La frequenza minima per cui puoi pianificare un trasferimento di dati è una volta ogni 24 ore. Per impostazione predefinita, un trasferimento inizia nel momento in cui viene creato. Tuttavia, puoi configurare l'ora di inizio del trasferimento quando configuri il trasferimento.
• BigQuery Data Transfer Service non supporta i trasferimenti incrementali durante un trasferimento da Google Play. Se specifichi una data per un trasferimento di dati, vengono trasferiti tutti i dati disponibili per quella data.

Prima di iniziare

Prima di creare un trasferimento Google Play:

• Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
• Crea un set di dati BigQuery per archiviare i dati di Google Play.
• Trova il tuo bucket Cloud Storage:
  1. In Google Play Console, fai clic su Scarica i report e seleziona Recensioni, Statistiche o Dati finanziari.
  2. Per copiare l'ID del bucket Cloud Storage, fai clic su Copia URI Cloud Storage. L'ID bucket inizia con gs://. Ad esempio, per il report Recensioni, il tuo ID è simile al seguente:

     gs://pubsite_prod_rev_01234567890987654321/reviews

  3. Per il trasferimento da Google Play, devi copiare solo l'ID univoco compreso tra gs:// e /reviews:

     pubsite_prod_rev_01234567890987654321

• Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono necessarie se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

• BigQuery: assicurati che la persona che crea il trasferimento disponga delle seguenti autorizzazioni in BigQuery:

  • bigquery.transfers.update autorizzazioni per creare il trasferimento
  • Entrambe le autorizzazioni bigquery.datasets.get e bigquery.datasets.update sul set di dati di destinazione

  Il ruolo IAM predefinito di bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

• Google Play: assicurati di disporre delle seguenti autorizzazioni in Google Play:

  • Devi disporre dell'accesso ai report in Google Play Console.

  Il team di Google Cloud NON ha la possibilità di generare o concedere l'accesso ai file di Google Play per tuo conto. Per informazioni sull'accesso ai file di Google Play, consulta Contattare l'assistenza di Google Play.

Configurare un trasferimento da Google Play

Per configurare un trasferimento da Google Play è necessario:

• Bucket Cloud Storage. I passaggi per individuare il bucket Cloud Storage sono descritti in Prima di iniziare. Il tuo bucket Cloud Storage inizia con pubsite_prod_rev. Ad esempio: pubsite_prod_rev_01234567890987654321.
• Suffisso della tabella: un nome semplice per tutte le origini dati che vengono caricate nello stesso set di dati. Il suffisso viene utilizzato per impedire la scrittura di trasferimenti separati nelle stesse tabelle. Il suffisso della tabella deve essere univoco in tutti i trasferimenti che caricano dati nello stesso set di dati e il suffisso deve essere breve per ridurre al minimo la lunghezza del nome della tabella risultante.

Per configurare un trasferimento da Google Play:

Console

1. Vai alla pagina BigQuery nella console Google Cloud.

   Vai alla pagina di BigQuery

2. Fai clic su Trasferimenti.

3. Fai clic su Crea trasferimento.

4. Nella pagina Crea trasferimento:

   • Nella sezione Tipo di origine, per Origine, scegli Google Play.

     

   • Nella sezione Nome configurazione trasferimento, in Nome visualizzato, inserisci un nome per il trasferimento, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che consenta di identificare facilmente il trasferimento qualora fosse necessario modificarlo in un secondo momento.

     

   • Nella sezione Opzioni di pianificazione:

     • In Frequenza di ripetizione, scegli un'opzione per la frequenza di esecuzione del trasferimento. Se selezioni Giorni, fornisci un orario valido nel formato UTC.

       • Ore
       • Giorni
       • On demand

     • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

   • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati creato per archiviare i dati.

     

   • Nella sezione Dettagli origine dati:

     • In Bucket Cloud Storage, inserisci l'ID del bucket Cloud Storage.

     • Per Suffisso tabella, inserisci un suffisso, ad esempio "MT" (per "Il mio trasferimento").

       

   • Nel menu Account di servizio, seleziona un account di servizio dagli account di servizio associati al tuo progetto Google Cloud. Puoi associare un account di servizio al trasferimento anziché utilizzare le tue credenziali utente. Per ulteriori informazioni sull'utilizzo di account di servizio con trasferimenti di dati, vedi Utilizzare account di servizio.

     • Se hai eseguito l'accesso con un'identità federata, sarà necessario un account di servizio per creare un trasferimento. Se hai eseguito l'accesso con un Account Google, un account di servizio per il trasferimento è facoltativo.
     • L'account di servizio deve disporre delle autorizzazioni richieste.

   • (Facoltativo) Nella sezione Opzioni di notifica:

     • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando abiliti questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un trasferimento non va a buon fine.
     • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione consente di configurare le notifiche di Pub/Sub per il trasferimento.

5. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config. Sono necessari anche i seguenti flag:

• --target_dataset
• --display_name
• --params
• --data_source

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source
--service_account_name=service_account_name

Dove:

• project_id è l'ID progetto. Se --project_id non è specificato, viene utilizzato il progetto predefinito.
• dataset è il set di dati di destinazione per la configurazione del trasferimento.
• name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento, qualora dovessi modificarlo in un secondo momento.
• parameters contiene i parametri per la configurazione di trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per Google Play, devi fornire i parametri bucket e table_suffix. bucket è il bucket Cloud Storage che contiene i file dei report di Play.
• data_source è l'origine dati: play.
• service_account_name è il nome dell'account di servizio utilizzato per autenticare il trasferimento. L'account di servizio deve essere di proprietà dello stesso project_id utilizzato per creare il trasferimento e deve avere tutte le autorizzazioni richieste.

Attenzione: non puoi configurare le notifiche utilizzando lo strumento a riga di comando.

Ad esempio, il comando seguente crea un trasferimento Google Play denominato My Transfer utilizzando il bucket Cloud Storage pubsite_prod_rev_01234567890987654321 e il set di dati di destinazione mydataset. Il trasferimento viene creato nel progetto predefinito:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' \
--data_source=play

La prima volta che esegui il comando, riceverai un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni nel messaggio e incolla il codice di autenticazione nella riga di comando.

Attenzione :quando crei un trasferimento in Google Play utilizzando lo strumento a riga di comando, la configurazione del trasferimento viene impostata utilizzando il valore predefinito di Pianifica (ogni 24 ore).

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di BigQuery.

Per eseguire l'autenticazione su BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create a play transfer config.
public class CreatePlayTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    String tableSuffix = "_test";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("table_suffix", Value.newBuilder().setStringValue(tableSuffix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Play Config Name")
            .setDataSourceId("play")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createPlayTransfer(projectId, transferConfig);
  }

  public static void createPlayTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("play transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("play transfer was not created." + ex.toString());
    }
  }
}

Avviso: se modifichi lo schema di un report, tutti i file di quel giorno devono avere lo stesso schema, altrimenti il trasferimento per l'intera giornata non andrà a buon fine.

Risolvere i problemi di configurazione del trasferimento di Google Play

Se riscontri problemi durante la configurazione del trasferimento, consulta Risoluzione dei problemi di configurazione del trasferimento di BigQuery Data Transfer Service.

Eseguire query sui dati

Quando vengono trasferiti in BigQuery, i dati vengono scritti in tabelle partizionate in fase di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui una query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudo-colonna _PARTITIONTIME nella query. Per maggiori informazioni, consulta Esecuzione di query su tabelle partizionate.

Prezzi

Per informazioni sui prezzi dei trasferimenti di Google Play, consulta la pagina Prezzi.

Una volta che i dati vengono trasferiti su BigQuery, vengono applicati i prezzi standard di BigQuery per l'archiviazione e le query.

Passaggi successivi

• Per vedere come vengono trasferiti i report di Google Play in BigQuery, vedi Trasformazioni dei report di Google Play.
• Per una panoramica di BigQuery Data Transfer Service, consulta Introduzione a BigQuery Data Transfer Service.
• Per informazioni sull'utilizzo dei trasferimenti, tra cui la ricezione di informazioni sulla configurazione di trasferimento, l'elenco delle configurazioni di trasferimento e la visualizzazione della cronologia di esecuzione di un trasferimento, consulta la sezione Utilizzo dei trasferimenti.