Transferências do Google Play

Com o BigQuery Data Transfer Service para Google Play, você pode programar e gerenciar automaticamente jobs de carregamento recorrentes para dados de relatórios do Google Play.

Relatórios compatíveis

Atualmente, o serviço de transferência de dados do BigQuery para Google Play é compatível com as seguintes opções de relatórios mensais:

Relatórios detalhados

Relatórios agregados

Para informações sobre como os relatórios do Google Play são transformados em tabelas do BigQuery, consulte Transformações de relatórios do Google Play.

Opção de relatório Suporte
Versão da API compatível

N/D

Programação

Diariamente, no horário em que a transferência foi criada pela primeira vez (padrão)

Você pode configurar a hora do dia.

Janela de atualização

Últimos 7 dias

Não configurável

Duração máxima do preenchimento

Sem limite

O Google Play não tem limites conhecidos de retenção de dados, mas o BigQuery Data Transfer Service tem limites em relação a quantos dias podem ser solicitados em um único preenchimento. Para informações sobre preenchimentos, consulte Configurar um preenchimento.

Antes de começar

Antes de criar uma transferência do Google Play, confira estas informações:

  • Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
  • Se você estiver criando a transferência por meio da IU da Web clássica do BigQuery, permita pop-ups de bigquery.cloud.google.com no navegador para visualizar a janela de permissões. É necessário conceder ao serviço de transferência de dados do BigQuery a permissão para gerenciar a transferência.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do Google Play.
  • Localize seu intervalo do Cloud Storage:
    • No Google Play Console, selecione qualquer relatório, como "Resenhas". Você encontrará o código do seu intervalo do Cloud Storage perto da parte inferior da página. Seu código de intervalo começa com gs://. Por exemplo, para o relatório "Resenhas", você verá:
      gs://pubsite_prod_rev_01234567890987654321/reviews
      Para configurar a transferência, copie apenas o código exclusivo entre gs:// e /reviews:
      pubsite_prod_rev_01234567890987654321
  • As notificações de execução de transferência estão em Alfa. Se quiser configurar notificações de transferência do Cloud Pub/Sub, você precisará ter permissões pubsub.topics.setIamPolicy. As permissões do Cloud Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para saber mais, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Permissões exigidas

  • BigQuery: verifique se a pessoa que está criando a transferência tem as seguintes permissões no BigQuery:

    • É preciso ter as permissões bigquery.transfers.update para criar a transferência.

    O papel de IAM bigquery.admin predefinido para envolvidos no projeto inclui as permissões de bigquery.transfers.update. Para mais informações sobre papéis do IAM no BigQuery, consulte Controle de acesso.

  • Google Play: verifique se você tem as seguintes permissões no Google Play:

    A equipe do Google Cloud NÃO gera nem concede acesso aos arquivos do Google Play em seu nome. Se você precisar de ajuda para acessá-los, consulte Entrar em contato com o suporte do Google Play.

Como configurar uma transferência do Google Play

A configuração de uma transferência do Google Play requer os itens a seguir:

  • Intervalo do Cloud Storage: as etapas para localizar seu intervalo do Cloud Storage são descritas em Antes de começar. O intervalo do Cloud Storage começa com pubsite_prod_rev. Por exemplo: pubsite_prod_rev_01234567890987654321.
  • Sufixo da tabela: um nome fácil para todas as fontes de dados que são carregadas no mesmo conjunto de dados. O sufixo é usado para evitar que transferências separadas gravem nas mesmas tabelas. O sufixo da tabela precisa ser único em todas as transferências que carregam dados para o mesmo conjunto de dados. Além disso, o sufixo precisa ser curto para reduzir o comprimento do nome de tabela resultante.

Etapas para configurar uma transferência do Google Play:

Console

  1. Acesse a IU da Web do BigQuery.

    Acessar a IU da Web do BigQuery

  2. Clique em Transferências.

  3. Clique em + CRIAR.

  4. Na página Criar transferência, siga estas etapas:

    • Na seção Tipo de origem, em Origem, escolha Google Play.

      Fonte da transferência

    • Na seção Nome da configuração de transferência, em Nome de exibição, insira um nome para a transferência, como My Transfer. Esse nome pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.

      Nome da transferência

    • Na seção Opções de programação, em Programação, mantenha o valor padrão (Começar agora) ou clique em Começar em um horário definido.

      • Em Repetições, escolha uma opção para a frequência de execução da transferência.
        • Diário (padrão)
        • Semanal
        • Mensal
        • Personalizada
        • Sob demanda
      • Em Data e hora de início, insira essas informações para iniciar a transferência. Essa opção estará desativada se você escolher Começar agora.

        Programação de transferência

    • Na seção Configurações de destino, em Conjunto de dados de destino, escolha o conjunto que você criou para armazenar os dados.

      Conjunto de dados da transferência

    • Na seção Detalhes da origem dos dados, siga estas etapas:

      • Em Intervalo do Cloud Storage, insira o código do intervalo.
      • Para Sufixo da tabela, insira um sufixo como "MT" (para "Minha Transferência").

        Detalhes de origem do Google Play

    • (Opcional) Na seção Opções de notificação, siga estas etapas:

      • Clique no botão para ativar as notificações por e-mail. Com essa opção ativada, o administrador de transferência receberá uma notificação por e-mail sempre que ocorrer uma falha na execução da transferência.
      • Em Selecione um tópico do Cloud Pub/Sub, escolha o nome do seu tópico ou clique em Criar um tópico. Essa opção configura as notificações de execução do Cloud Pub/Sub da sua transferência. No momento, essas notificações estão na versão Alfa.
  5. Clique em Salvar.

IU clássica

  1. Acesse a IU da Web do BigQuery.

    Acessar a IU da Web do BigQuery

  2. Clique em Transferências.

  3. Clique em Adicionar transferência.

  4. Na página Nova transferência:

    • Para Origem, escolha o Google Play.
    • Em Nome de exibição, digite um nome para a transferência, como "Minha transferência". Esse nome pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.
    • Em Programação, mantenha o valor padrão, que é de 24 horas a partir do horário de criação da transferência, ou clique em Editar para alterá-lo.

      Programação personalizada da transferência do Google Play

    • Em Conjunto de dados de destino, escolha o conjunto de dados apropriado.

    • Para o intervalo do Cloud Storage, insira seu intervalo do Cloud Storage.

    • Para Sufixo da tabela, insira um sufixo como "MT" (para "Minha Transferência").

      Programação padrão da transferência do Google Play

    • (Opcional) Expanda a seção Avançado e configure as notificações de execução da transferência. As notificações de execução de transferência estão em Alfa.

      • Em Tópico do Cloud Pub/Sub, insira o nome do tópico, por exemplo, "projects/myproject/topics/mytopic".
      • Marque Enviar notificações por e-mail para permitir notificações por e-mail sobre falhas na execução da transferência.
      • Não selecione a opção Desativada ao configurar uma transferência. Consulte Como trabalhar com transferências para desativar transferências existentes.

        Tópico do Cloud Pub/Sub

  5. Clique em Adicionar. Ao clicar nesse botão, você concede aos Relatórios do Google Play acesso de leitura e gravação ao conjunto de dados do BigQuery de destino selecionado.

  6. Quando solicitado, clique em Permitir para conceder ao serviço de transferência de dados do BigQuery a permissão para ver os dados de relatórios do Google Play e acessar e gerenciar os dados no BigQuery. É necessário permitir pop-ups do endereço bigquery.cloud.google.com para ver a janela de permissões.

    Permitir transferência

Linha de comando

Digite o comando bq mk e forneça a sinalização de criação da transferência --transfer_config. As sinalizações abaixo também são obrigatórias:

  • --target_dataset
  • --display_name
  • --params
  • --data_source

    bq mk --transfer_config --project_id=[PROJECT_ID] --target_dataset=[DATASET] --display_name=[NAME] --params='[PARAMETERS]' --data_source=[DATA_SOURCE]
    

Onde:

  • --project_id é seu código do projeto. Se --project_id não for especificado, o projeto padrão será usado;
  • --target_dataset é o conjunto de dados de destino para a configuração de transferência;
  • --display_name é o nome de exibição para a configuração de transferência. O nome da transferência é qualquer valor que facilite a identificação, caso seja necessário modificá-la posteriormente;
  • --params contém os parâmetros para a configuração da transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Para o Google Play, você precisa fornecer os parâmetros bucket e table_suffix. O parâmetro bucket é o intervalo do Cloud Storage que contém seus arquivos do relatório do Google Play;
  • --data_source é a fonte de dados: play.

Por exemplo, o comando a seguir cria uma transferência do Google Play chamada My Transfer usando o intervalo do Cloud Storage pubsite_prod_rev_01234567890987654321 e o conjunto de dados de destino mydataset. A transferência é criada no projeto padrão:

bq mk --transfer_config --target_dataset=mydataset --display_name='My Transfer' --params='{"bucket":"pubsite_prod_rev_01234567890987654321","table_suffix":"MT"}' --data_source=play

Ao executar o comando pela primeira vez, você receberá uma mensagem como esta:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções na mensagem e cole o código de autenticação na linha de comando.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Solução de problemas na configuração de transferência do Google Play

Se você tiver problemas ao configurar a transferência, consulte Solução de problemas de configuração da transferência do serviço de transferência de dados do BigQuery.

Como consultar dados

Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.

Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, consulte Como consultar tabelas particionadas.

Próximas etapas

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.