Programar uma transferência do Comparison Shopping Service Center

Neste documento, mostramos como programar e gerenciar jobs de carregamento recorrentes para dados de relatórios do CSS Center usando o serviço de transferência de dados do BigQuery.

Antes de começar

Antes de criar uma transferência de dados do CSS Center:

  • Ative o serviço de transferência de dados do BigQuery.
  • Crie um conjunto de dados do BigQuery para armazenar os dados do CSS Center.
    • Para a região do conjunto de dados, é possível usar a opção padrão, multirregional, nos EUA ou na UE.
    • Se você quiser criar um conjunto de dados em uma região específica, a transferência de dados do CSS Center só será aceita nas seguintes regiões:
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo),
    • asia-southeast1 (Singapore),
    • australia-southeast1 (Sydney),
    • europe-north1 (Findland),
    • europe-west2 (London),
    • europe-west6 (Zurich).
  • Você precisa ter o ID do domínio do CSS para criar uma transferência de dados do CSS Center.
  • Se você pretende configurar notificações de execução de transferência do Pub/Sub, é preciso ter permissões pubsub.topics.setIamPolicy. As permissões do Pub/Sub não serão necessárias caso você configure notificações por e-mail. Para mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Permissões necessárias

Verifique se o usuário que está criando a transferência de dados tem as seguintes permissões necessárias:

Para o BigQuery:

Para receber as permissões necessárias para criar uma transferência, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin). Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência:

  • bigquery.transfers.update no usuário
  • bigquery.datasets.get no conjunto de dados de destino
  • bigquery.datasets.update no conjunto de dados de destino

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para o CSS Center:

Você precisa ter acesso à conta do CSS Center usada na configuração da transferência.

Configurar uma transferência do CSS Center

Para criar uma transferência de dados para relatórios do CSS Center:

Console

  1. Acesse a página "Transferências de dados" no console do Google Cloud.

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência:

    • Na seção Tipo de origem, em Origem, escolha Google CSS Center.

    • No campo Nome de exibição da seção Transferir nome da configuração, insira um nome para a transferência de dados, como My Transfer. O nome da transferência pode ser qualquer valor que permita identificá-la, caso você precise modificá-la mais tarde.

      Nome da transferência

    • A seção Opções de programação não é configurável. Centro de CSS as transferências de dados são programadas para execução a cada 24 horas.

    • Na seção Configurações de destino, em Conjunto de dados de destino, escolha o conjunto criado para armazenar seus dados.

    • Na seção Detalhes da fonte de dados, em ID do CSS, insira o ID do domínio do CSS.

      Selecione os relatórios que você quer transferir. Consulte Relatórios suportados para mais detalhes.

      Dados de transferência do CSS Center.

    • Opcional: na seção Opções de notificação:

      • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
      • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub da sua transferência de dados.

  4. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações a seguir também são obrigatórias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Também é possível fornecer a sinalização --project_id para especificar um projeto determinado. Se --project_id não for especificado, o projeto padrão será usado.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Em que:

  • project_id é o ID do projeto;
  • dataset é o conjunto de dados de destino na configuração da transferência de dados.
  • name é o nome de exibição da configuração de transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la facilmente, caso precise modificá-la mais tarde.
  • parameters contém os parâmetros da configuração da transferência de dadps criada no formato JSON. Por exemplo, --params='{"param":"param_value"}'.
    • css_id: o ID do domínio do CSS.
    • export_products: se é necessário ou não transferir os dados do produto e de problemas do produto. Esse parâmetro está incluído por padrão, mesmo que você não especifique o parâmetro export_products. Recomendamos que você inclua esse parâmetro explicitamente e o defina como true.
  • data_source é a fonte de dados: css_center.

Por exemplo, o comando a seguir cria uma transferência de dados do CSS Center chamada My Transfer usando o ID de domínio do CSS 1234 e o conjunto de dados de destino mydataset. A transferência de dados é criada no projeto padrão.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

Ao executar o comando pela primeira vez, você recebe uma mensagem como esta:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Siga as instruções na mensagem e cole o código de autenticação na linha de comando.

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.