Azure Synapse

Com o conector do Azure Synapse, você pode se conectar a um pool de SQL do Azure Synapse e usar o SQL para recuperar e atualizar os dados do Azure Synapse.

Antes de começar

Antes de usar o conector do Azure Synapse, execute as seguintes tarefas:

• No seu projeto do Google Cloud, faça o seguinte:
  • Conceda a função IAM roles/connectors.admin ao usuário que está configurando o conector.
  • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Para entender como ativar os serviços, consulte Como ativar serviços.

  Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

   Acessar a página "Conexões"

2. Clique em + Criar novo para abrir a página Criar conexão.
3. Na seção Local, escolha o local da conexão.
   1. Região: selecione um local na lista suspensa.

      Veja abaixo as regiões compatíveis com o conector:

      Para conferir a lista de todas as regiões com suporte, consulte Locais.

   2. Clique em Próxima.
4. Na seção Detalhes da conexão, faça o seguinte:
   1. Conector: selecione Azure Synapse na lista suspensa de conectores disponíveis.
   2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
   3. No campo Nome da conexão, insira um nome para a instância de conexão

      Os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem ter mais de 49 caracteres.
   4. Opcionalmente, insira uma descrição para a instância de conexão.
   5. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
   6. Opcionalmente, defina as Configurações do nó de conexão:
      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   7. Locatário do Azure: essa propriedade especifica o locatário do Microsoft Azure que está sendo usado para acessar dados.
   8. Banco de dados: essa propriedade especifica o nome do banco de dados Synapse no pool SQL sem servidor ou no pool SQL dedicado .
   9. Em "Destinos", insira as seguintes propriedades:
   • Tipo de destino: selecione "Endereço do host" no menu suspenso.
   • Host 1: insira o endpoint do pool SQL
   • Porta 1: insira a porta do endpoint SQL.
   .
   10. Também é possível inserir as seguintes propriedades para SSL:
       • Ativar SSL: essa propriedade de caixa de seleção especifica se o SSL será ativado.
       • Repositório de confiança: essa propriedade especifica o repositório de confiança. É possível selecionar um botão de opção para selecionar o repositório de confiança em "Conexão Pública", "Particular" ou "Não segura".
       • Repositório de confiança personalizado: essa propriedade é usada para selecionar um segredo que contém o repositório de confiança personalizado no formato PEM.
       • Certificado de cliente SSL: esta propriedade especifica o certificado do cliente SSL.
       • Chave privada do cliente SSL: esta propriedade especifica a chave privada do cliente SSL no formato PEM.
       • Senha longa da chave do certificado do cliente SSL: essa propriedade especifica a senha longa da chave privada do cliente SSL.
   11. Outra opção é clicar em + Adicionar rótulo para adicionar um rótulo à conexão na forma de um par de chave-valor.
   12. Clique em Próxima.
5. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Azure Synapse oferece suporte aos seguintes tipos de autenticação:

      • Senha de usuário inválida.
      • Azure AD

   Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.

   2. Clique em Next.
6. Revisão: revise os detalhes de conexão e autenticação.
7. Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

• Senha do usuário
  • Nome de usuário: insira o nome de usuário do banco de dados.
  • Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário.

• Azure AD
  • ID do cliente: o ID usado para solicitar tokens de acesso. Essa informação está na visão geral do app conectado criado no portal do Azure.
  • Escopo: uma lista separada por vírgulas dos escopos desejados.
  • Chave secreta do cliente: é a chave secreta do Secret Manager que contém a chave de acesso da conta.
  • URL de autorização: é gerado quando o cliente é criado.

Etapas adicionais após a criação da conexão

Se você selecionou OAuth 2.0 - Authorization code para siga estas etapas extras depois de criar a conexão:

1. Na página "Conexões", localize a conexão recém-criada.

   O Status do novo conector será Autorização necessária.

2. Clique em Autorização necessária.

   O painel Editar autorização é mostrado.

3. Copie o valor de Redirect URI no seu aplicativo externo.
4. Verifique os detalhes da autorização.
5. Clique em Autorizar.

   Se a autorização for bem-sucedida, o status da conexão será definido como Ativo na página "Conexões".

Reautorização do código de autorização

Se você estiver usando o tipo de autenticação Authorization code e tiver feito alterações de configuração no aplicativo Azure Synapse, Autorize novamente a conexão do Azure Synapse. Para autorizar novamente uma conexão, siga estas etapas:

1. Clique na conexão necessária na página "Conexões".

   Isso abre a página de detalhes da conexão.

2. Clique em Editar para editar os detalhes da conexão.
3. Verifique os detalhes de OAuth 2.0 - Código de autorização na seção Autenticação.

   Se necessário, faça as mudanças necessárias.

4. Clique em Salvar. Isso leva você à página de detalhes da conexão.
5. Clique em Editar autorização na seção Autenticação. O painel Authorize é mostrado.
6. Clique em Autorizar.

   Se a autorização for bem-sucedida, o status da conexão será definido como Ativo na página Conexões.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Observação:você pode ver as entidades, as operações e as ações de um conector na tarefa de conectores.

• Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
  • Lista
  • Receber
  • Criar
  • Atualizar
  • Excluir

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações da entidade, como as operações não estão listadas na lista Operations.

• Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e um de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Observação: todas as entidades e ações terão um esquema associado a elas. Por exemplo, um esquema de ação terá os detalhes do parâmetro, como: os nomes do parâmetro e tipos de dados correspondentes. O esquema (metadados) de entidades e ações é buscado pela conexão em do seu back-end. Se houver atualizações no esquema, elas não serão refletidas automaticamente nas suas conexões. Faça isso manualmente. Atualizar o esquema de uma conexão, abra a página Detalhes da conexão e clique em Atualizar o esquema de conexão.

Limitações do sistema

O conector do Azure Synapse pode processar no máximo quatro transações por segundo, por nó, e limita qualquer transação além desse limite. Por padrão, o Integration Connectors aloca dois nós para melhor disponibilidade para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Observação:o número de nós do Integration Connectors será escalonado automaticamente de maneira dinâmica com base no seu uso. No entanto, se você quiser reservar capacidade para grandes volumes sem esperar pelo escalonamento automático, ajuste o valor mínimo do nó para uma conexão. Mais nós são necessários para processar mais transações para uma conexão. Por outro lado, menos nós são necessários se uma conexão processa menos transações. Para configurar o nó , faça o seguinte:

• Se você for um cliente de pagamento por utilização, configure o valor mínimo e máximo do nó na página de edição de conexão.
• Se você for um cliente de assinatura, entre em contato com o suporte.

O número máximo de transações que um nó pode processar depende de vários fatores. Portanto, antes de ajustar os nós mínimos para uma melhor taxa de transferência, recomendamos verificar se os sistemas de back-end estão configurados de maneira ideal para processar o tráfego necessário.

Tipos de dados compatíveis

Veja a seguir os tipos de dados compatíveis com este conector:

• BIGINT
• Binário
• BIT
• CHAR
• DATE
• DATETIME
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• INT
• DINHEIRO
• NCHAR
• NVARCHAR
• REAL
• LSEG
• SMALLDATETIME
• SMALLINT
• SMALLMONEY
• TINYINT
• UNIQUEIDENTIFIER
• VARBINARY
• VARCHAR

Ações

O conector do Azure Synapse permite executar procedimentos armazenados e consultas SQL personalizadas consultas no formato compatível com o Azure Synapse. Para executar consultas SQL personalizadas, o conector fornece a ação Executar consulta personalizada.

Para criar uma consulta salva, siga estas etapas:

1. Siga as instruções detalhadas para adicionar uma tarefa de conectores.
2. Quando você configurar a tarefa do conector, selecione Ações no tipo de ação que você quer realizar.
3. Na lista Ação, selecione Executar consulta personalizada e clique em Concluído.

   

4. Expanda a seção Entrada de tarefas e faça o seguinte:
   1. No campo Tempo limite após, digite o número de segundos de espera até que a consulta seja executada.

      Valor padrão: 180 segundos

   2. No campo Número máximo de linhas, digite o número máximo de linhas a serem retornadas do banco de dados.

      Valor padrão: 25.

   3. Para atualizar a consulta personalizada, clique em Editar script personalizado. A caixa de diálogo Editor de script é aberta.

      

   4. Na caixa de diálogo Editor de script, insira a consulta SQL e clique em Salvar.

      É possível usar um ponto de interrogação (?) em uma instrução SQL para representar um único parâmetro que precisa ser especificado na lista de parâmetros de consulta. Por exemplo, a seguinte consulta SQL seleciona todas as linhas da tabela Employees que correspondem aos valores especificados na coluna LastName:

      SELECT * FROM Employees where LastName=?

      Observação:há suporte para as instruções de linguagem de manipulação de dados (DML) e de linguagem de definição de dados (DDL).
   5. Se você usou pontos de interrogação na consulta SQL, adicione o parâmetro clicando em + Adicionar nome do parâmetro para cada ponto de interrogação. Ao executar a integração, esses parâmetros substituem os pontos de interrogação (?) na consulta SQL sequencialmente. Por exemplo, se você tiver adicionado três pontos de interrogação (?), deverá adicionar três parâmetros em ordem de sequência.

      

      Para adicionar parâmetros de consulta, faça o seguinte:

      1. Na lista Tipo, selecione o tipo de dados do parâmetro.
      2. No campo Valor, insira o valor do parâmetro.
      3. Para adicionar vários parâmetros, clique em + Adicionar parâmetro de consulta.

Exemplos de operações de entidade

Exemplo: listar registros de uma entidade

Este exemplo lista os registros da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação List e clique em Concluído.
4. Na seção Entrada de tarefas da tarefa Conectores, é possível definir a filterClause de acordo com sua necessidade.

   Por exemplo, definir a cláusula de filtro como employeeCode='5100' and startDate='2010-01-01 00:00:00' lista apenas os registros com employeeCode 5100 e startDate 2010-01-01 00:00:00.

Exemplo: extrair um único registro de uma entidade

Este exemplo busca um registro da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione User na lista Entity.
3. Selecione a operação Get e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, clique em entityId e e insira 103032 no campo Valor padrão.

   Aqui, 103032 é o valor da chave primária da entidade Users.

Exemplo: excluir um registro de uma entidade

Este exemplo exclui um registro da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Delete e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, clique em entityId e e insira 113132 no campo Valor padrão.

   Como alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, é possível defina o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Exemplo: criar um registro em uma entidade

Este exemplo cria um registro na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Create e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá a resposta da operação de criação.

Exemplo: atualizar um registro em uma entidade

Este exemplo atualiza um registro na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Update e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Campo Default Value:

   {
   "country": "IN"
   }

5. Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e digite 113132 no campo Valor padrão.

   Como alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, você poderá definir a filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá a resposta da operação de atualização.

Usar a conexão do Azure Synapse em uma integração

Depois de criar a conexão, ela fica disponível na integração da Apigee e na integração do aplicativo. Você pode usar a conexão em uma integração pela tarefa Conectores.

• Para entender como criar e usar a tarefa Conectores na integração da Apigee, consulte a Tarefa Conectores.
• Para entender como criar e usar a tarefa "Conectores" na integração de aplicativos, consulte Tarefa "Conectores".

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

• Entenda como suspender e retomar uma conexão.
• Entenda como monitorar o uso do conector.
• Saiba como acessar os registros do conector.