Com o serviço de transferência de dados do BigQuery para YouTube, é possível programar e gerenciar automaticamente jobs de carregamento recorrentes para os relatórios de canais do YouTube.
Relatórios compatíveis
Atualmente, o serviço de transferência de dados do BigQuery para relatórios de canais do YouTube é compatível com a seguinte opção de relatório:
- Relatórios de canais (carregados automaticamente no BigQuery)
Para saber como os relatórios de canais do YouTube são transformados em tabelas e visualizações do BigQuery, consulte Transformações de relatório de canais do YouTube.
Opção de relatório | Suporte |
---|---|
Versão da API compatível | 18 de junho de 2018 |
Programação | Diariamente, aproximadamente às 14h10 UTC Você pode configurar a hora do dia |
Atualizar janela | Último dia Não configurável. |
Duração máxima do preenchimento | 30 dias Desde julho de 2018, os relatórios do YouTube que contêm dados históricos ficam disponíveis por 30 dias a partir do momento em que são gerados. Relatórios que contêm dados não históricos ficam acessíveis durante 60 dias. Para mais informações, consulte Dados históricos na documentação da API Reporting do YouTube. |
Antes de começar
Antes de criar uma transferência de canal do YouTube, confira estas informações:
- Verifique se você realizou todas as ações necessárias para ativar o serviço de transferência de dados do BigQuery.
- Crie um conjunto de dados do BigQuery para armazenar os dados do YouTube.
- Se você pretende configurar notificações de execução de transferência do Pub/Sub,
é preciso ter permissões
pubsub.topics.setIamPolicy
. As permissões do Pub/Sub não serão necessárias se você configurar notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.
Permissões exigidas
A pessoa que está criando a transferência precisa ter as seguintes permissões necessárias:
BigQuery:
- Permissões
bigquery.transfers.update
para criar a transferência - Permissões
bigquery.datasets.update
no conjunto de dados de destino
O papel
bigquery.admin
predefinido do IAM para envolvidos no projeto inclui as permissõesbigquery.transfers.update
ebigquery.datasets.update
. Para mais informações sobre papéis do IAM no serviço de transferência de dados do BigQuery, consulte Referência de controle de acesso.- Permissões
YouTube: proprietário de um canal do YouTube.
Como configurar uma transferência de canal do YouTube
A configuração de uma transferência de canal do YouTube requer estes itens:
- Sufixo de tabela: um nome fácil de usar para o canal, fornecido por você ao configurar a transferência. O sufixo é anexado ao ID do job para criar o nome da tabela, por exemplo, reportTypeId_suffix. O sufixo é usado para evitar que transferências separadas gravem nas mesmas tabelas. O sufixo da tabela precisa ser único em todas as transferências que carregam dados no mesmo conjunto de dados. Além disso, o sufixo precisa ser curto para reduzir o comprimento do nome da tabela resultante.
Se você usa a API Reporting do YouTube no momento e tem jobs de relatórios atuais, o serviço de transferência de dados do BigQuery carregará os dados de relatório. Se você não tiver jobs de relatório existentes, configurar a transferência ativará automaticamente os jobs de relatório do YouTube.
Para criar uma transferência de canal do YouTube, faça o seguinte:
Console
Acesse a página do BigQuery no Console do Cloud.
Clique em Transferências.
Clique em Criar transferência.
Na página Criar transferência:
Na seção Tipo de origem, para Origem, escolha Canal do YouTube.
No campo Nome da configuração de transferência da seção Nome de exibição, insira um nome para a transferência, como
My Transfer
. Esse nome pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.Na seção Opções de programação, não altere o valor padrão de Programação (Começar agora). Se preferir, clique em Começar no horário definido.
- Em Repetições, escolha uma opção para a frequência de execução da transferência:
- Diário (padrão)
- Semanal
- Mensal
- Personalizada
- Sob demanda
Em Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.
- Em Repetições, escolha uma opção para a frequência de execução da transferência:
Na seção Configurações de destino, em Conjunto de dados de destino, escolha o conjunto criado para armazenar seus dados.
Na seção Detalhes da origem de dados:
- Em Sufixo de tabela, insira um sufixo como
MT
. Marque a caixa Configurar jobs para permitir que o BigQuery Data Transfer Service gerencie os jobs de relatórios do YouTube para você. Se houver relatórios do YouTube que atualmente não existam na sua conta, novos jobs de relatório serão criados para ativá-los.
- Em Sufixo de tabela, insira um sufixo como
(Opcional) Na seção Opções de notificação:
- Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
- Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub da sua transferência.
Clique em Salvar.
bq
Insira o comando bq mk
e forneça a sinalização de execução da transferência
--transfer_config
. As sinalizações a seguir também são obrigatórias:
--data_source
--target_dataset
--display_name
--params
bq mk \ --transfer_config \ --project_id=project_id \ --target_dataset=dataset \ --display_name=name \ --params='parameters' \ --data_source=data_source
Em que:
- project_id é o ID do projeto.
- dataset é o conjunto de dados de destino na configuração da transferência.
- name é o nome de exibição da configuração de transferência. Esse nome pode ser qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.
- parameters contém os parâmetros da configuração da
transferência criada no formato JSON. Por exemplo,
--params='{"param":"param_value"}'
. Para transferências de canal do YouTube, você precisa fornecer o parâmetrotable_suffix
. Opcionalmente, você pode definir o parâmetroconfigure_jobs
comotrue
para permitir que o serviço de transferência de dados do BigQuery gerencie jobs de relatórios do YouTube para você. Se houver relatórios do YouTube que atualmente não existem para seu canal, novos jobs de relatório são criados para ativá-los; - data_source é a fonte de dados:
youtube_channel
.
Também é possível fornecer a sinalização --project_id
para especificar um
projeto específico. Se --project_id
não for especificado, o projeto padrão será usado.
Por exemplo, o comando a seguir cria uma transferência de canal do YouTube chamada
My Transfer
usando o sufixo da tabela MT
e o conjunto de dados de destino mydataset
. A
transferência é criada no projeto padrão:
bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"table_suffix":"MT","configure_jobs":"true"}' \
--data_source=youtube_channel
API
Use o método projects.locations.transferConfigs.create
e forneça uma instância do recurso
TransferConfig
.
Java
Como consultar seus dados
Quando os dados são transferidos para o BigQuery, eles são gravados em tabelas particionadas por tempo de processamento. Para mais informações, consulte Introdução às tabelas particionadas.
Use a pseudocoluna _PARTITIONTIME
para consultar suas tabelas diretamente em vez de usar visualizações geradas automaticamente. Para mais informações, consulte Como consultar tabelas particionadas.
Como solucionar problemas de configuração de transferência do canal do YouTube
Em caso de problemas ao configurar a transferência, consulte Problemas na transferência do YouTube, em Solução de problemas de configuração do serviço de transferência de dados do BigQuery.