Azure Synapse

O conetor do Azure Synapse permite-lhe ligar-se a pools de SQL do Azure Synapse e usar SQL para obter e atualizar os dados do Azure Synapse.

Antes de começar

Antes de usar o conector do Azure Synapse, conclua as seguintes tarefas:

• No seu projeto do Google Cloud:
  • Certifique-se de que a conetividade de rede está configurada. Para obter informações sobre padrões de rede, consulte o artigo Conetividade de rede.
  • Conceda a função IAM roles/connectors.admin ao utilizador que está a configurar o conetor.
  • Conceda as seguintes funções de IAM à conta de serviço que quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta Google destinada a representar um utilizador não humano que precisa de autenticação e autorização para aceder a dados nas APIs Google. Se não tiver uma conta de serviço, tem de criar uma. O conector e a conta de serviço têm de pertencer ao mesmo projeto. Para mais informações, consulte Criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (API Connectors)

    Para saber como ativar serviços, consulte o artigo Ativar serviços.

  Se estes serviços ou autorizações não tiverem sido ativados anteriormente para o seu projeto, é-lhe pedido que os ative quando configurar o conector.

Configure o conetor

Uma associação é específica de uma origem de dados. Isto significa que, se tiver muitas origens de dados, tem de criar uma associação separada para cada origem de dados. Para criar uma associação, faça o seguinte:

1. Na Cloud Console, aceda à página Integration Connectors > Ligações e, de seguida, selecione ou crie um projeto do Google Cloud.

   Aceda à página Ligações

2. Clique em + Criar novo para abrir a página Criar associação.
3. Na secção Localização, escolha a localização para a ligação.
   1. Região: selecione uma localização na lista pendente.

      As regiões suportadas para conetores incluem:

      Para ver a lista de todas as regiões suportadas, consulte o artigo Localizações.

   2. Clicar em Seguinte.
4. Na secção Detalhes da associação, conclua o seguinte:
   1. Conetor: selecione Azure Synapse na lista pendente de conetores disponíveis.
   2. Versão do conetor: selecione a versão do conetor na lista pendente de versões disponíveis.
   3. No campo Nome da ligação, introduza um nome para a instância de ligação.

      Os nomes das associações têm de cumprir os seguintes critérios:

      • Os nomes das associações podem usar letras, números ou hífenes.
      • As letras têm de ser minúsculas.
      • Os nomes das associações têm de começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das associações não podem exceder 49 carateres.
   4. Opcionalmente, introduza uma Descrição para a instância de associação.
   5. Conta de serviço: selecione uma conta de serviço que tenha as funções necessárias.
   6. Opcionalmente, configure as definições do nó de associação:
      • Número mínimo de nós: introduza o número mínimo de nós de ligação.
      • Número máximo de nós: introduza o número máximo de nós de ligação.

      Um nó é uma unidade (ou uma réplica) de uma ligação que processa transações. São necessários mais nós para processar mais transações para uma ligação e, inversamente, são necessários menos nós para processar menos transações. Para compreender como os nós afetam os preços dos conectores, consulte o artigo Preços dos nós de ligação. Se não introduzir valores, por predefinição, os nós mínimos são definidos como 2 (para uma melhor disponibilidade) e os nós máximos são definidos como 50.

   Nota: só pode personalizar os valores dos nós de associação se for cliente de pagamento conforme o uso.
   7. Inquilino do Azure: esta propriedade especifica o inquilino do Microsoft Azure que está a ser usado para aceder aos dados.
   8. Base de dados: esta propriedade especifica o nome da base de dados do Synapse no conjunto de SQL sem servidor ou no conjunto de SQL dedicado .
   9. Em Destinos, introduza as seguintes propriedades:
   • Tipo de destino: selecione Endereço do anfitrião no menu pendente
   • Anfitrião 1: introduza o ponto final do conjunto de SQL
   • Porta 1: introduza a porta do ponto final SQL
   .
   10. Opcionalmente, introduza as seguintes propriedades para SSL:
       • Ativar SSL: esta propriedade de caixa de verificação especifica se a SSL deve ser ativada.
       • Trust Store: esta propriedade especifica o repositório fidedigno. Pode selecionar um botão de opção para selecionar o repositório de confiança a partir de Público, Privado ou Ligação não segura.
       • Repositório fidedigno personalizado: esta propriedade é usada para selecionar um segredo que contenha o repositório fidedigno personalizado no formato PEM.
       • Certificado de cliente SSL: esta propriedade especifica o certificado de cliente SSL.
       • Chave privada do cliente SSL: esta propriedade especifica a chave privada do cliente SSL no formato PEM.
       • Frase de acesso da chave do certificado de cliente SSL: esta propriedade especifica a frase de acesso da chave privada do cliente SSL.
   11. Opcionalmente, clique em + Adicionar etiqueta para adicionar uma etiqueta à associação sob a forma de um par chave/valor.
   12. Clicar em Seguinte.
5. Na secção Autenticação, introduza os detalhes de autenticação.
   1. Selecione um Tipo de autenticação e introduza os detalhes relevantes.

      Os seguintes tipos de autenticação são suportados pela ligação do Azure Synapse:

      • Palavra-passe do utilizador
      • Azure AD

   Para saber como configurar estes tipos de autenticação, consulte o artigo Configurar autenticação.

   2. Clicar em Seguinte.
6. Rever: reveja os detalhes da ligação e da autenticação.
7. Clique em Criar.

Configure a autenticação

Introduza os detalhes com base na autenticação que quer usar.

• Palavra-passe do utilizador
  • Nome de utilizador: introduza o nome de utilizador da base de dados.
  • Palavra-passe: o Secret do Secret Manager que contém a palavra-passe associada ao nome de utilizador.

• Azure AD
  • ID de cliente: o ID de cliente usado para pedir tokens de acesso. Pode encontrar esta informação na vista geral da app associada criada no portal do Azure.
  • Âmbito:uma lista separada por vírgulas dos âmbitos pretendidos.
  • Segredo do cliente: segredo do Secret Manager que contém a chave de acesso à conta.
  • URL de autorização: o URL de autorização que gera quando cria um cliente OAuth. Introduza o URL no seguinte formato: https://login.microsoftonline.com/TENANT_IDENTIFIER/oauth2/v2.0/authorize?prompt=consent. Por exemplo, https://login.microsoftonline.com/9bxxxxxxxxx8112/oauth2/v2.0/authorize?prompt=consent.

Passos adicionais após a criação da associação

Se selecionou OAuth 2.0 - Authorization code para a autenticação, tem de realizar os seguintes passos adicionais após criar a associação:

1. Na página Ligações, encontre a ligação criada recentemente.

   Tenha em atenção que o Estado do novo conetor é Autorização necessária.

2. Clique em Autorização obrigatória.

   É apresentado o painel Editar autorização.

3. Copie o valor do URI de redirecionamento para a sua aplicação externa.
4. Valide os detalhes da autorização.
5. Clique em Autorizar.

   Se a autorização for bem-sucedida, o estado da ligação é definido como Ativo na página Ligações.

Nova autorização para o código de autorização

Se estiver a usar o tipo de autenticação Authorization code e tiver feito alterações de configuração na sua aplicação Azure Synapse, tem de voltar a autorizar a ligação do Azure Synapse. Para autorizar novamente uma associação, siga estes passos:

1. Clique na associação necessária na página Associações.

   É apresentada a página de detalhes da associação.

2. Clique em Editar para editar os detalhes da associação.
3. Valide os detalhes de OAuth 2.0 – Código de autorização na secção Autenticação.

   Se necessário, faça as alterações necessárias.

4. Clique em Guardar. Esta ação direciona para a página de detalhes da associação.
5. Clique em Editar autorização na secção Autenticação. É apresentado o painel Autorizar.
6. Clique em Autorizar.

   Se a autorização for bem-sucedida, o estado da ligação é definido como Ativo na página Ligações.

Entidades, operações e ações

Todos os conetores de integração oferecem uma camada de abstração para os objetos da aplicação ligada. Só pode aceder aos objetos de uma aplicação através desta abstração. A abstração é exposta como entidades, operações e ações.

Nota: pode ver as entidades, as operações e as ações de um conector na tarefa Conectores.

• Entidade: pode considerar uma entidade como um objeto ou uma coleção de propriedades na aplicação ou no serviço associado. A definição de uma entidade difere de um conetor para um conetor. Por exemplo, num conetor de base de dados, as tabelas são as entidades. Num conetor de servidor de ficheiros, as pastas são as entidades. Num conetor de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não suporte ou não tenha entidades, caso em que a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode realizar numa entidade. Pode realizar qualquer uma das seguintes operações numa entidade:
  • Lista
  • Obter
  • Criar
  • Atualizar
  • Eliminar

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para a entidade. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa de conectores. No entanto, se um conector não suportar nenhuma das operações de entidades, essas operações não suportadas não são apresentadas na lista Operations.

• Ação: uma ação é uma função de primeira classe que é disponibilizada à integração através da interface do conetor. Uma ação permite-lhe fazer alterações a uma ou mais entidades e varia de conetor para conetor. Normalmente, uma ação tem alguns parâmetros de entrada e um parâmetro de saída. No entanto, é possível que um conector não suporte nenhuma ação, caso em que a lista Actions está vazia.

Nota: todas as entidades e ações têm um esquema associado. Por exemplo, um esquema de ação tem os detalhes dos parâmetros, como os nomes dos parâmetros e o respetivo tipo de dados. O esquema (metadados) para entidades e ações é obtido pela ligação em tempo de execução a partir do seu back-end. Se existirem atualizações ao esquema, estas não são refletidas automaticamente nas suas associações existentes. Tem de atualizar o esquema manualmente. Para atualizar o esquema de uma associação, abra a página Detalhes da associação da associação e, de seguida, clique em Atualizar esquema da associação.

Limitações do sistema

O conector do Azure Synapse pode processar um máximo de 4 transações por segundo, por nó, e limita todas as transações que excedam este limite. Por predefinição, os Integration Connectors atribuem 2 nós (para uma melhor disponibilidade) a uma ligação.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Nota: o número de nós de conectores de integração é dimensionado automaticamente de forma dinâmica com base na sua utilização. No entanto, se quiser reservar capacidade para grandes volumes sem esperar pela escalabilidade automática, pode ajustar o valor mínimo de nós para uma ligação. São necessários mais nós para processar mais transações para uma associação. Por outro lado, são necessários menos nós se uma associação processar menos transações. Para configurar os valores dos nós, faça o seguinte:

• Se for cliente de pagamento conforme o uso, configure o valor mínimo e máximo do nó na página de edição da associação.
• Se for cliente com base numa subscrição, contacte o apoio técnico.

O número máximo de transações que um nó pode processar depende de vários fatores. Assim, antes de ajustar os nós mínimos para um melhor débito, é recomendável verificar se os seus sistemas de back-end estão configurados de forma ideal para processar o tráfego necessário.

Tipos de dados suportados

Seguem-se os tipos de dados suportados para este conector:

• BIGINT
• BINARY
• BIT
• CHAR
• DATA
• DATA/HORA
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• INT
• DINHEIRO
• NCHAR
• NVARCHAR
• REAL
• LSEG
• SMALLDATETIME
• SMALLINT
• SMALLMONEY
• TINYINT
• UNIQUEIDENTIFIER
• VARBINARY
• VARCHAR

Ações

O conector do Azure Synapse permite-lhe executar os seus procedimentos armazenados e consultas SQL personalizadas no formato suportado pelo Azure Synapse. Para executar consultas SQL personalizadas, o conector fornece a ação Executar consulta personalizada.

Para criar uma consulta personalizada, siga estes passos:

1. Siga as instruções detalhadas para adicionar uma tarefa de conetores.
2. Quando configurar a tarefa do conetor, no tipo de ação que quer realizar, selecione Ações.
3. Na lista Ação, selecione Executar consulta personalizada e, de seguida, clique em Concluído.

   

4. Expanda a secção Entrada de tarefas e, de seguida, faça o seguinte:
   1. No campo Tempo limite após, introduza o número de segundos a aguardar até que a consulta seja executada.

      Valor predefinido: 180 segundos.

   2. No campo Número máximo de linhas, introduza o número máximo de linhas a devolver da base de dados.

      Valor predefinido: 25.

   3. Para atualizar a consulta personalizada, clique em Editar script personalizado. É apresentada a caixa de diálogo Editor de scripts.

      

   4. Na caixa de diálogo Editor de scripts, introduza a consulta SQL e clique em Guardar.

      Pode usar um ponto de interrogação (?) numa declaração SQL para representar um único parâmetro que tem de ser especificado na lista de parâmetros de consulta. Por exemplo, a seguinte consulta SQL seleciona todas as linhas da tabela Employees que correspondem aos valores especificados para a coluna LastName:

      SELECT * FROM Employees where LastName=?

      Nota: as declarações de linguagem de manipulação de dados (DML) e linguagem de definição de dados (DDL) são suportadas.
   5. Se usou pontos de interrogação na sua consulta SQL, tem de adicionar o parâmetro clicando em + Adicionar nome do parâmetro para cada ponto de interrogação. Durante a execução da integração, estes parâmetros substituem os pontos de interrogação (?) na consulta SQL sequencialmente. Por exemplo, se adicionou três pontos de interrogação (?), tem de adicionar três parâmetros por ordem de sequência.

      

      Para adicionar parâmetros de consulta, faça o seguinte:

      1. Na lista Tipo, selecione o tipo de dados do parâmetro.
      2. No campo Valor, introduza o valor do parâmetro.
      3. Para adicionar vários parâmetros, clique em + Adicionar parâmetro de consulta.

   A ação Executar consulta personalizada não suporta variáveis de matriz.

Exemplos de operações de entidades

Exemplo: listar registos de uma entidade

Este exemplo apresenta os registos da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação List e, de seguida, clique em Concluído.
4. Na secção Entrada de tarefas da tarefa Conectores, pode definir o filterClause de acordo com o seu requisito.

   Por exemplo, definir a cláusula de filtro como employeeCode='5100' and startDate='2010-01-01 00:00:00', lista apenas os registos cujo employeeCode é 5100 e startDate é 2010-01-01 00:00:00.

Exemplo: obtenha um único registo de uma entidade

Este exemplo obtém um registo da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione User na lista Entity.
3. Selecione a operação Get e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 103032 no campo Valor predefinido.

   Aqui, 103032 é o valor-chave principal da entidade Users.

Exemplo: elimine um registo de uma entidade

Este exemplo elimina um registo da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Delete e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 113132 no campo Valor predefinido.

   Em alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, pode definir o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Exemplo: crie um registo numa entidade

Este exemplo cria um registo na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Create e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conetores, clique em connectorInputPayload e, de seguida, introduza um valor semelhante ao seguinte no campo Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector tem a resposta da operação de criação.

Exemplo: atualize um registo numa entidade

Este exemplo atualiza um registo na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Update e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conetores, clique em connectorInputPayload e, de seguida, introduza um valor semelhante ao seguinte no campo Default Value:

   {
   "country": "IN"
   }

5. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 113132 no campo Valor predefinido.

   Em alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, pode definir o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector tem a resposta da operação de atualização.

Use a ligação do Azure Synapse numa integração

Depois de criar a ligação, esta fica disponível no Apigee Integration e no Application Integration. Pode usar a ligação numa integração através da tarefa Conectores.

• Para compreender como criar e usar a tarefa Connectors no Apigee Integration, consulte o artigo Tarefa Connectors.
• Para compreender como criar e usar a tarefa Connectors na integração de aplicações, consulte o artigo Tarefa Connectors.

Obtenha ajuda da comunidade do Google Cloud

Pode publicar as suas perguntas e discutir este conector na comunidade do Google Cloud nos Fóruns do Cloud.

O que se segue?

• Compreenda como suspender e retomar uma associação.
• Compreenda como monitorizar a utilização do conector.
• Compreenda como ver os registos do conetor.