Carregue dados do ServiceNow para o BigQuery

Pré-visualização

Esta funcionalidade está sujeita aos "Termos das Ofertas de Pré-DG" na secção Termos Gerais de Serviço dos Termos Específicos do Serviço. As funcionalidades de pré-DG estão disponíveis "tal como estão" e podem ter apoio técnico limitado. Para mais informações, consulte as descrições das fases de lançamento.

Nota: para receber apoio técnico ou enviar feedback sobre esta funcionalidade, contacte [e-mail].

Pode carregar dados do ServiceNow para o BigQuery através do conetor do Serviço de transferência de dados do BigQuery para o ServiceNow. Com o Serviço de transferência de dados do BigQuery, pode agendar tarefas de transferência recorrentes que adicionam os seus dados mais recentes do ServiceNow ao BigQuery.

Limitações

As transferências de dados do ServiceNow estão sujeitas às seguintes limitações:

• Não é recomendado executar transferências de dados simultâneas na mesma instância do ServiceNow.
• O intervalo de tempo mínimo entre transferências de dados recorrentes é de 15 minutos. O intervalo predefinido para uma transferência recorrente é de 24 horas.
• Uma única configuração de transferência só pode suportar uma execução de transferência de dados num determinado momento. No caso em que uma segunda transferência de dados esteja agendada para ser executada antes de a primeira transferência estar concluída, apenas a primeira transferência de dados é concluída, enquanto todas as outras transferências de dados que se sobreponham à primeira transferência são ignoradas.
  • Para evitar transferências ignoradas numa única configuração de transferência, recomendamos que aumente a duração do tempo entre transferências de dados grandes configurando a frequência de repetição.

Antes de começar

Antes de criar uma transferência de dados do ServiceNow, faça as seguintes configurações para o ServiceNow e o BigQuery.

Pré-requisitos do ServiceNow

• Para aceder às APIs ServiceNow, crie credenciais OAuth.

• As seguintes aplicações do ServiceNow têm de estar ativadas na instância do ServiceNow:

  • Aprovisionamento
  • Catálogo de produtos
  • Gestão de contratos

Pré-requisitos do BigQuery

• Conclua todas as ações necessárias para ativar o Serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os dados.
• Se pretender configurar notificações de execução de transferências para o Pub/Sub, certifique-se de que tem a autorização de pubsub.topics.setIamPolicy gestão de identidade e de acesso (IAM). Se configurar apenas notificações por email, não são necessárias autorizações do Pub/Sub. Para mais informações, consulte o artigo Notificações de execução do Serviço de transferência de dados do BigQuery.

Funções do BigQuery necessárias

Para obter as autorizações de que precisa para criar uma transferência, peça ao seu administrador que lhe conceda a função de IAM de administrador do BigQuery (roles/bigquery.admin). Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para criar uma transferência. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para criar uma transferência:

• bigquery.transfers.update no utilizador
• bigquery.datasets.get no conjunto de dados de destino
• bigquery.datasets.update no conjunto de dados de destino

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Configure uma transferência de dados do ServiceNow

Adicione dados do ServiceNow ao BigQuery configurando uma configuração de transferência através de uma das seguintes opções:

Consola

1. Aceda à página Transferências de dados na Google Cloud consola.

   Aceda a Transferências de dados

2. Clique em Criar transferência.

3. Na secção Tipo de origem, para Origem, selecione ServiceNow.

4. Na secção Detalhes da origem de dados, faça o seguinte:

   • Para o ID da instância, introduza o ID da instância do ServiceNow. Pode obter esta informação no URL do ServiceNow, por exemplo, https://INSTANCE_ID.service-now.com.
   • Para Nome de utilizador, introduza o nome de utilizador do ServiceNow a usar para a associação.
   • Para Palavra-passe, introduza a palavra-passe do ServiceNow.
   • Para o ID de cliente, introduza o ID de cliente das suas credenciais OAuth. Para gerar credenciais, consulte o artigo Crie credenciais OAuth.
   • Para o segredo do cliente, introduza o segredo do cliente das suas credenciais OAuth.
   • Para Tabelas do ServiceNow a transferir, introduza os nomes das tabelas do ServiceNow a transferir ou clique em Procurar e selecione as tabelas que quer transferir.
   • Para Tipo de valor, escolha uma das seguintes opções:
     • Para transferir os valores armazenados na base de dados, escolha Real.
     • Para transferir os valores de apresentação das colunas, escolha Apresentação.

5. Na secção Definições de destino, para Conjunto de dados, selecione o conjunto de dados que criou para armazenar os seus dados.

6. Na secção Nome da configuração de transferência, em Nome a apresentar, introduza um nome para a transferência de dados.

7. Na secção Opções de agendamento, faça o seguinte:

   • Na lista Frequência de repetição, selecione uma opção para especificar a frequência com que esta transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizado. Se selecionar A pedido, esta transferência de dados é executada quando aciona manualmente a transferência.
   • Se aplicável, selecione Começar agora ou Começar à hora definida e indique uma data de início e um tempo de execução.

8. Opcional: na secção Opções de notificação, faça o seguinte:

   • Para ativar as notificações por email, clique no botão Notificação por email. Quando ativa esta opção, o administrador da transferência recebe uma notificação por email quando uma execução da transferência falha.
   • Para ativar as notificações de execução de transferências do Pub/Sub para esta transferência de dados, clique no botão ativar/desativar Notificações do Pub/Sub. Pode selecionar o nome do tópico ou clicar em Criar um tópico para criar um.

9. Clique em Guardar.

bq

Introduza o comando bq mk e forneça a marca de criação de transferência, --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Substitua o seguinte:

• PROJECT_ID (opcional): o ID do seu Google Cloud projeto. Se não for especificado um ID do projeto, é usado o projeto predefinido.
• DATA_SOURCE: a origem de dados (por exemplo, servicenow).
• DISPLAY_NAME: o nome a apresentar da configuração de transferência. O nome da transferência de dados pode ser qualquer valor que lhe permita identificar a transferência se precisar de a modificar mais tarde.
• DATASET: o conjunto de dados de destino para a configuração de transferência.

• PARAMETERS: os parâmetros da configuração de transferência criada no formato JSON. Por exemplo: --params='{"param":"param_value"}'. Seguem-se os parâmetros para uma transferência de dados do ServiceNow:

  Parâmetro do ServiceNow	Obrigatório ou opcional	Descrição
  connector.instanceId	Obrigatória	ID da instância do ServiceNow
  connector.authentication.username	Obrigatória	Nome de utilizador das credenciais
  connector.authentication.password	Obrigatória	Palavra-passe das credenciais
  connector.authentication.oauth.clientId	Obrigatória	ID de cliente do OAuth gerado
  connector.authentication.oauth.clientSecret	Obrigatória	Segredo do cliente do OAuth gerado
  connector.valueType	Opcional	Actual ou Display (predefinição: Actual)

  Por exemplo, o comando seguinte cria uma transferência de dados do ServiceNow no projeto predefinido com todos os parâmetros necessários:

    bq mk
      --transfer_config
      --target_dataset=mydataset
      --data_source=servicenow
      --display_name='My Transfer'
      --params='{"connector.authentication.oauth.clientId": "1234567890",
          "connector.authentication.oauth.clientSecret":"ABC12345",
          "connector.authentication.username":"user1",
          "connector.authentication.password":"abcdef1234",
          "connector.instanceId":"https://dev-instance.service-now.com"}'
  

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Quando guarda a configuração de transferência, o conector do ServiceNow aciona automaticamente uma execução de transferência de acordo com a opção de horário. Com cada execução de transferência, o conetor do ServiceNow transfere todos os dados disponíveis do ServiceNow para o BigQuery.

Para executar manualmente uma transferência de dados fora da sua programação normal, pode iniciar uma execução de preenchimento.

Mapeamento de tipos de dados

A tabela seguinte mostra como os tipos de dados são mapeados numa transferência de dados do ServiceNow:

Tipo de dados do ServiceNow	Tipo de dados do BigQuery
decimal	FLOAT64
integer	INTEGER
boolean	BOOLEAN
glide_date	DATE
glide_date_time	DATETIME
glide_time	INT64
reference currency sys_class_name domain_id domain_path GUID translated_html journal string	STRING

Resolva problemas de transferência

Para mais informações, consulte o artigo Resolva problemas de configurações de transferência.

A transferência falha devido à ativação do ServiceNow

Ocorre um problema que faz com que as transferências de dados falhem quando as aplicações de aprovisionamento, catálogo de produtos ou gestão de contratos não estão ativadas no ServiceNow. Para corrigir este problema, ative todas as três aplicações. Por exemplo, ative a opção Aprovisionamento.

O problema ocorre durante a execução da transferência

Ocorre um problema que impede a criação da execução da transferência conforme previsto. Para resolver o problema, faça o seguinte:

• Verifique se as credenciais da conta do ServiceNow, como os valores de Nome de utilizador, Palavra-passe, ID de cliente e Segredo do cliente, são válidas.
• Verifique se o ID da instância é o ID válido da sua instância do ServiceNow.

Preços

Não existe qualquer custo para transferir dados do ServiceNow para o BigQuery enquanto esta funcionalidade estiver em pré-visualização.

O que se segue?

• Para uma vista geral do Serviço de transferência de dados do BigQuery, consulte o artigo Introdução ao Serviço de transferência de dados do BigQuery.
• Para obter informações sobre a utilização de transferências, incluindo a obtenção de informações sobre uma configuração de transferência, a apresentação de configurações de transferência e a visualização do histórico de execução de uma transferência, consulte o artigo Trabalhar com transferências.
• Saiba como carregar dados com operações em várias nuvens.