Transferências de canal do YouTube

Com o serviço de transferência de dados do BigQuery para YouTube é possível programar e gerenciar automaticamente jobs de carregamento recorrentes para os relatórios de canais do YouTube.

Relatórios compatíveis

Atualmente, o serviço de transferência de dados do BigQuery para relatórios de canais do YouTube é compatível com as seguintes opções de relatório:

Para saber como os relatórios de canais do YouTube são transformados em tabelas e visualizações do BigQuery, consulte Transformações de relatório de canais do YouTube.

Opção de relatório Suporte
Versão da API compatível 18 de junho de 2018
Programação

Diariamente, aproximadamente às 14h10 UTC

Você pode configurar a hora do dia

Atualizar janela

Último dia

Não configurável.

Duração máxima do preenchimento

30 dias

Desde julho de 2018, os relatórios do YouTube que contêm dados históricos ficam disponíveis por 30 dias a partir do momento em que são gerados. Relatórios que contêm dados não históricos ficam acessíveis durante 60 dias. Para mais informações, consulte Dados históricos na documentação da API YouTube Reporting.

Antes de começar

Antes de criar uma transferência de canal do YouTube, confira estas informações:

  • Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do YouTube.
  • Se você quiser criar transferências usando a IU da Web clássica do BigQuery, permita os pop-ups de bigquery.cloud.google.com. Assim, será possível ver a janela de permissões. Permita que o serviço de transferência de dados do BigQuery gerencie seus dados de relatórios do YouTube para que a transferência seja bem-sucedida.
  • As notificações de execução de transferência estão na versão Alfa. Se quiser configurar notificações de transferência do Cloud Pub/Sub, você precisará ter permissões pubsub.topics.setIamPolicy. As permissões do Cloud Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para saber mais, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Permissões exigidas

Certifique-se de que a pessoa que está criando a transferência tenha as seguintes permissões necessárias:

  • BigQuery:

    • Permissões bigquery.transfers.update para criar a transferência
    • Permissões bigquery.datasets.update no conjunto de dados de destino

    O papel predefinido bigquery.admin do Cloud IAM no nível do projeto inclui bigquery.transfers.update e bigquery.datasets.update. Para mais informações sobre os papéis do Cloud IAM no BigQuery, consulte Controle de acesso.

  • YouTube: proprietário de um canal do YouTube.

Como configurar uma transferência de canal do YouTube

A configuração de uma transferência de canal do YouTube requer estes itens:

  • Sufixo de tabela: um nome simples para o canal, que você fornece ao configurar a transferência. O sufixo é anexado ao código do job para criar o nome da tabela, por exemplo [reportTypeId]_[suffix]. O sufixo é usado para evitar que transferências separadas gravem nas mesmas tabelas. O sufixo da tabela precisa ser único em todas as transferências que carregam dados para o mesmo conjunto de dados. Além disso, o sufixo precisa ser curto para reduzir o comprimento do nome de tabela resultante.

Se você estiver usando a API Reporting do YouTube no momento e tiver jobs de relatórios atuais, o serviço de transferência de dados do BigQuery carregará os dados de relatório. Se você não tiver jobs de relatório existentes, configurar a transferência ativará automaticamente os jobs de relatório do YouTube.

Para criar uma transferência de canal do YouTube:

Console

  1. Acesse o Console do GCP.

    Acessar o Console do GCP

  2. Clique em Transferências.

  3. Clique em Criar transferência.

  4. Na página Criar transferência:

    • Na seção Tipo de origem, para Origem, escolha Canal do YouTube.

      Fonte da transferência

    • No campo Nome de exibição da seção Transferir nome da configuração, insira um nome para a transferência, como My Transfer. Esse nome pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.

      Nome da transferência

    • Na seção Opções de programação, em Programação, use o valor padrão (Iniciar agora) ou clique em Iniciar em um horário definido.

      • Em Repetições, escolha uma opção para a frequência de execução da transferência:
        • Diário (padrão)
        • Semanalmente
        • Mensalmente
        • Personalizada
        • Sob demanda
      • Em Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.

        Programação de transferência

    • Na seção Configurações de destino, em Conjunto de dados de destino, escolha o conjunto criado para armazenar seus dados.

      Transferir conjunto de dados

    • Na seção Detalhes da fonte de dados:

      • Em ID de cliente, digite esse dado ou a conta de administrador.
      • Marque Excluir itens removidos/desativados para evitar a transferência de entidades e métricas removidas ou desativadas.

        Detalhes da origem do canal do YouTube

    • (Opcional) Na seção Opções de notificação:

      • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falha.
      • Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do seu tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Cloud Pub/Sub para sua transferência. As notificações de execução de transferência estão na versão Alfa.
  5. Clique em Salvar.

IU clássica

  1. Acesse a IU da Web do BigQuery.

    Acessar a IU da Web do BigQuery

  2. Clique em Transferências.

  3. Clique em Adicionar transferência.

  4. Na página Nova transferência:

    • Para Origem, escolha Canal do YouTube.
    • Em Nome de exibição, digite um nome para a transferência, como My Transfer.
    • Em Programação, deixe o valor padrão ou clique em Editar e altere a hora.

      Programação personalizada de transferência de canal

    • Em Conjunto de dados de destino, escolha o conjunto de dados apropriado.

    • Em Código da página do canal, insira o código da página do seu canal.

    • Em Sufixo de tabela, insira um sufixo como MT.

    • Marque Configurar jobs para permitir que o serviço de transferência do BigQuery gerencie jobs de relatórios do YouTube para você. Se houver relatórios do YouTube que atualmente não existem para seu canal, novos jobs de relatório serão criados para ativá-los.

      Transferência de canal do YouTube

    • (Opcional) Expanda a seção Avançado e configure as notificações de execução da transferência. As notificações de execução de transferência estão na versão Alfa.

      • Em Tópico do Cloud Pub/Sub, insira o nome do tópico, como projects/myproject/topics/mytopic.
      • Marque Enviar notificações por e-mail para permitir notificações por e-mail sobre falhas na execução da transferência.
      • Não marque Desativada ao configurar uma transferência. Para desativar transferências, consulte Como trabalhar com transferências.

        Tópico do Cloud Pub/Sub

  5. Clique em Adicionar.

  6. Quando solicitado, clique em Permitir para que o serviço de transferência de dados do BigQuery possa gerenciar os dados de relatórios do YouTube. É necessário permitir pop-ups do endereço bigquery.cloud.google.com para ver a janela de permissões. Caso tenha várias contas, talvez você tenha que escolher uma delas.

    Permitir transferência

CLI

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações abaixo também são obrigatórias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Em que:

  • project_id é o ID do projeto.
  • dataset é o conjunto de dados de destino na configuração da transferência;
  • name é o nome de exibição da configuração da transferência. Esse nome pode ser qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente;
  • parameters contém os parâmetros da configuração da transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Para transferências de canais do YouTube, é preciso fornecer os parâmetros page_id e table_suffix. Opcionalmente, você pode definir o parâmetro configure_jobs como true para permitir que o serviço de transferência de dados do BigQuery gerencie jobs de relatórios do YouTube para você. Se houver relatórios do YouTube que atualmente não existem para seu canal, novos jobs de relatório são criados para ativá-los;
  • data_source é a fonte de dados: youtube_channel.

Também é possível fornecer a sinalização --project_id para especificar um projeto específico. Se --project_id não for especificado, o projeto padrão será usado.

Por exemplo, o comando a seguir cria uma transferência de canal do YouTube chamada My Transfer usando o código da página 123123123, o sufixo da tabela MT e o conjunto de dados de destino mydataset. A transferência é criada no projeto padrão:

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"page_id":"123123123","table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Como consultar dados

Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.

Use a pseudocoluna _PARTITIONTIME para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, consulte Como consultar tabelas particionadas.

Como solucionar problemas de configuração de transferência do canal do YouTube

Em caso de problemas ao configurar a transferência, consulte Problemas de transferência no YouTube em Solução de problemas de configuração do serviço de transferência de dados do BigQuery.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.