Floco de neve

O conetor do Snowflake permite-lhe realizar operações de inserção, eliminação, atualização e leitura na base de dados do Snowflake.

Versões suportadas

Todas as edições do Snowflake.

Antes de começar

Antes de usar o conetor do Snowflake, conclua as seguintes tarefas:

• No seu projeto do Google Cloud:
  • Certifique-se de que a conetividade de rede está configurada. Para obter informações sobre padrões de rede, consulte o artigo Conetividade de rede.
  • Conceda a função IAM roles/connectors.admin ao utilizador que está a configurar o conetor.
  • Conceda as seguintes funções de IAM à conta de serviço que quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta Google destinada a representar um utilizador não humano que precisa de autenticação e autorização para aceder a dados nas APIs Google. Se não tiver uma conta de serviço, tem de criar uma. O conector e a conta de serviço têm de pertencer ao mesmo projeto. Para mais informações, consulte Criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (API Connectors)

    Para saber como ativar serviços, consulte o artigo Ativar serviços.

  Se estes serviços ou autorizações não tiverem sido ativados anteriormente para o seu projeto, é-lhe pedido que os ative quando configurar o conector.

Configure o conetor

Uma associação é específica de uma origem de dados. Isto significa que, se tiver muitas origens de dados, tem de criar uma associação separada para cada origem de dados. Para criar uma associação, faça o seguinte:

1. Na Cloud Console, aceda à página Integration Connectors > Ligações e, de seguida, selecione ou crie um projeto do Google Cloud.

   Aceda à página Ligações

2. Clique em + CRIAR NOVO para abrir a página Criar associação.
3. Na secção Localização, escolha a localização para a ligação.
   1. Região: selecione uma localização na lista pendente.

      Para ver a lista de todas as regiões suportadas, consulte o artigo Localizações.

   2. Clique em SEGUINTE.
4. Na secção Detalhes da associação, conclua o seguinte:
   1. Conector: selecione Snowflake na lista pendente de conectores disponíveis.
   2. Versão do conetor: selecione a versão do conetor na lista pendente de versões disponíveis.
   3. No campo Nome da ligação, introduza um nome para a instância de ligação.

      Os nomes das associações têm de cumprir os seguintes critérios:

      • Os nomes das associações podem usar letras, números ou hífenes.
      • As letras têm de ser minúsculas.
      • Os nomes das associações têm de começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das associações não podem exceder 49 carateres.
   4. Opcionalmente, introduza uma Descrição para a instância de associação.
   5. Opcionalmente, ative o Registo na nuvem e, em seguida, selecione um nível de registo. Por predefinição, o nível do registo está definido como Error.
   6. Conta de serviço: selecione uma conta de serviço que tenha as funções necessárias.
   7. Opcionalmente, configure as definições do nó de associação:
      • Número mínimo de nós: introduza o número mínimo de nós de ligação.
      • Número máximo de nós: introduza o número máximo de nós de ligação.

      Um nó é uma unidade (ou uma réplica) de uma ligação que processa transações. São necessários mais nós para processar mais transações para uma ligação e, inversamente, são necessários menos nós para processar menos transações. Para compreender como os nós afetam os preços dos conectores, consulte o artigo Preços dos nós de ligação. Se não introduzir valores, por predefinição, os nós mínimos são definidos como 2 (para uma melhor disponibilidade) e os nós máximos são definidos como 50.

   Nota: só pode personalizar os valores dos nós de associação se for cliente de pagamento conforme o uso.
   8. Armazém: o nome do armazém do Snowflake. Pode obter os detalhes do armazém, da base de dados e do esquema a partir da sua instância do Snowflake.
   9. Base de dados: o nome da base de dados do Snowflake.
   10. Esquema: esquema de floco de neve.
   11. (Opcional) Na secção Definições avançadas, selecione a caixa de verificação Usar proxy para configurar um servidor proxy para a ligação e configurar os seguintes valores:
   • Esquema de autenticação de proxy: selecione o tipo de autenticação para autenticar com o servidor proxy. Os seguintes tipos de autenticação são suportados:
     • Básica: autenticação HTTP básica.
     • Resumo: autenticação HTTP de resumo.
   • Utilizador do proxy: um nome de utilizador a ser usado para autenticação com o servidor proxy.
   • Palavra-passe do proxy: o segredo do Secret Manager da palavra-passe do utilizador.
   • Tipo de SSL do proxy: o tipo de SSL a usar quando se liga ao servidor proxy. Os seguintes tipos de autenticação são suportados:
     • Automático: predefinição. Se o URL for um URL HTTPS, é usada a opção Túnel. Se o URL for um URL HTTP, é usada a opção NUNCA.
     • Sempre: a ligação está sempre ativada com SSL.
     • Nunca: a ligação não tem o SSL ativado.
     • Túnel: a ligação é feita através de um proxy de túnel. O servidor proxy abre uma ligação ao anfitrião remoto e o tráfego flui em ambas as direções através do proxy.
   • Na secção Servidor proxy, introduza os detalhes do servidor proxy.
     1. Clique em + Adicionar destino.
     2. Selecione um Tipo de destino.
        • Endereço do anfitrião: especifique o nome do anfitrião ou o endereço IP do destino.

          Se quiser estabelecer uma ligação privada ao seu sistema de back-end, faça o seguinte:

          • Crie uma associação de serviço do PSC.
          • Crie uma associação de ponto final e, em seguida, introduza os detalhes da associação de ponto final no campo Endereço do anfitrião.
   12. Opcionalmente, clique em + ADICIONAR ETIQUETA para adicionar uma etiqueta à associação sob a forma de um par chave/valor.
   13. Clique em SEGUINTE.
5. Na secção Destinos, introduza os detalhes do anfitrião remoto (sistema de back-end) ao qual quer estabelecer ligação.
   1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do anfitrião na lista para especificar o nome do anfitrião ou o endereço IP do destino.

        O endereço do anfitrião tem o seguinte formato: https://<ACCOUNT>.<LOCATION>.<CLOUD_PROVIDER>.snowflakecomputing.com

      • Se quiser estabelecer uma ligação privada aos seus sistemas de back-end, selecione Anexo de ponto final na lista e, de seguida, selecione o anexo de ponto final necessário na lista Anexo de ponto final.
        Nota: para saber como criar uma associação de ponto final, consulte os artigos Associação de serviços do PSC e Associação de pontos finais. Depois de criar a associação do ponto final, esta fica visível na lista Associação do ponto final.

      Se quiser estabelecer uma ligação pública aos seus sistemas de back-end com segurança adicional, pode considerar configurar endereços IP estáticos de saída para as suas ligações e, em seguida, configurar as regras da firewall para permitir apenas os endereços IP estáticos específicos.

      Para introduzir destinos adicionais, clique em +ADICIONAR DESTINO.

   2. Clique em SEGUINTE.
6. Na secção Autenticação, introduza os detalhes de autenticação.
   1. Selecione um Tipo de autenticação e introduza os detalhes relevantes.

      Os seguintes tipos de autenticação são suportados pela ligação do Snowflake:

      • Nome de utilizador e palavra-passe

   Para saber como configurar estes tipos de autenticação, consulte o artigo Configurar autenticação.

   2. Clique em SEGUINTE.
7. Rever: reveja os detalhes da ligação e da autenticação.
8. Clique em Criar.

Configure a autenticação

Introduza os detalhes com base na autenticação que quer usar.

• Nome de utilizador e palavra-passe
  • Nome de utilizador: nome de utilizador para autenticação com a instância do Snowflake
  • Palavra-passe: Secret do Secret Manager que contém a palavra-passe associada à instância do Snowflake.

Exemplo de ligação do Snowflake

A tabela seguinte apresenta os valores de exemplo para os campos que configura quando cria uma ligação ao Snowflake.

Nome do campo	Detalhes
Localização	US-east1
Conetor	Floco de neve
Versão do conetor	1
Nome da ligação	googlecloud-snowflake-rest-conn
Ative o Cloud Logging	Não
Conta de serviço	[e-mail]
Armazém	College_WH
Bases de dados	College_DB
Esquema	Público
Nível de verbosidade	5
Conta	uc63366
Tipo de destino	Endereço do anfitrião
Anfitrião	https://account_name.us-east4.gcp.snowflakecomputing.com
Número mínimo de nós	2
Número máximo de nós	50
Nome de utilizador	NOME DE UTILIZADOR
Palavra-passe	PASSWORD
Versão do Secret	1

Entidades, operações e ações

Todos os conetores de integração oferecem uma camada de abstração para os objetos da aplicação ligada. Só pode aceder aos objetos de uma aplicação através desta abstração. A abstração é exposta como entidades, operações e ações.

Nota: pode ver as entidades, as operações e as ações de um conector na tarefa Conectores.

• Entidade: pode considerar uma entidade como um objeto ou uma coleção de propriedades na aplicação ou no serviço associado. A definição de uma entidade difere de um conetor para um conetor. Por exemplo, num conetor de base de dados, as tabelas são as entidades. Num conetor de servidor de ficheiros, as pastas são as entidades. Num conetor de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não suporte ou não tenha entidades, caso em que a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode realizar numa entidade. Pode realizar qualquer uma das seguintes operações numa entidade:
  • Lista
  • Obter
  • Criar
  • Atualizar
  • Eliminar

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para a entidade. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa de conectores. No entanto, se um conector não suportar nenhuma das operações de entidades, essas operações não suportadas não são apresentadas na lista Operations.

• Ação: uma ação é uma função de primeira classe que é disponibilizada à integração através da interface do conetor. Uma ação permite-lhe fazer alterações a uma ou mais entidades e varia de conetor para conetor. Normalmente, uma ação tem alguns parâmetros de entrada e um parâmetro de saída. No entanto, é possível que um conector não suporte nenhuma ação, caso em que a lista Actions está vazia.

Nota: todas as entidades e ações têm um esquema associado. Por exemplo, um esquema de ação tem os detalhes dos parâmetros, como os nomes dos parâmetros e o respetivo tipo de dados. O esquema (metadados) para entidades e ações é obtido pela ligação em tempo de execução a partir do seu back-end. Se existirem atualizações ao esquema, estas não são refletidas automaticamente nas suas associações existentes. Tem de atualizar o esquema manualmente. Para atualizar o esquema de uma associação, abra a página Detalhes da associação da associação e, de seguida, clique em Atualizar esquema da associação.

Ações

Este conetor suporta a execução das seguintes ações:

• Procedimentos e funções armazenados definidos pelo utilizador. Se tiver procedimentos e funções armazenados no seu back-end, estes são apresentados na coluna Actions da caixa de diálogo Configure connector task.
• Consultas SQL personalizadas. Para executar consultas SQL personalizadas, o conector fornece a ação Executar consulta personalizada.

  Para criar uma consulta personalizada, siga estes passos:

  1. Siga as instruções detalhadas para adicionar uma tarefa de conetores.
  2. Quando configurar a tarefa do conetor, no tipo de ação que quer realizar, selecione Ações.
  3. Na lista Ação, selecione Executar consulta personalizada e, de seguida, clique em Concluído.

     

  4. Expanda a secção Entrada de tarefas e, de seguida, faça o seguinte:
     1. No campo Tempo limite após, introduza o número de segundos a aguardar até que a consulta seja executada.

        Valor predefinido: 180 segundos.

     2. No campo Número máximo de linhas, introduza o número máximo de linhas a devolver da base de dados.

        Valor predefinido: 25.

     3. Para atualizar a consulta personalizada, clique em Editar script personalizado. É apresentada a caixa de diálogo Editor de scripts.

        

     4. Na caixa de diálogo Editor de scripts, introduza a consulta SQL e clique em Guardar.

        Pode usar um ponto de interrogação (?) numa declaração SQL para representar um único parâmetro que tem de ser especificado na lista de parâmetros de consulta. Por exemplo, a seguinte consulta SQL seleciona todas as linhas da tabela Employees que correspondem aos valores especificados para a coluna LastName:

        SELECT * FROM Employees where LastName=?

        Nota: as declarações de linguagem de manipulação de dados (DML) e linguagem de definição de dados (DDL) são suportadas.
     5. Se usou pontos de interrogação na sua consulta SQL, tem de adicionar o parâmetro clicando em + Adicionar nome do parâmetro para cada ponto de interrogação. Durante a execução da integração, estes parâmetros substituem os pontos de interrogação (?) na consulta SQL sequencialmente. Por exemplo, se adicionou três pontos de interrogação (?), tem de adicionar três parâmetros por ordem de sequência.

        

        Para adicionar parâmetros de consulta, faça o seguinte:

        1. Na lista Tipo, selecione o tipo de dados do parâmetro.
        2. No campo Valor, introduza o valor do parâmetro.
        3. Para adicionar vários parâmetros, clique em + Adicionar parâmetro de consulta.

     A ação Executar consulta personalizada não suporta variáveis de matriz.

Limitações do sistema

O conector do Snowflake pode processar um máximo de 7 transações por segundo, por nó e limita todas as transações que excedam este limite. Por predefinição, os Integration Connectors atribuem 2 nós (para uma melhor disponibilidade) a uma ligação.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Nota: o número de nós de conectores de integração é dimensionado automaticamente de forma dinâmica com base na sua utilização. No entanto, se quiser reservar capacidade para grandes volumes sem esperar pela escalabilidade automática, pode ajustar o valor mínimo de nós para uma ligação. São necessários mais nós para processar mais transações para uma associação. Por outro lado, são necessários menos nós se uma associação processar menos transações. Para configurar os valores dos nós, faça o seguinte:

• Se for cliente de pagamento conforme o uso, configure o valor mínimo e máximo do nó na página de edição da associação.
• Se for cliente com base numa subscrição, contacte o apoio técnico.

O número máximo de transações que um nó pode processar depende de vários fatores. Assim, antes de ajustar os nós mínimos para um melhor débito, é recomendável verificar se os seus sistemas de back-end estão configurados de forma ideal para processar o tráfego necessário.

Crie ligações com o Terraform

Pode usar o recurso do Terraform para criar uma nova associação.

Para saber como aplicar ou remover uma configuração do Terraform, consulte os comandos básicos do Terraform.

Para ver um modelo do Terraform de exemplo para a criação de ligações, consulte o modelo de exemplo.

Quando criar esta associação através do Terraform, tem de definir as seguintes variáveis no ficheiro de configuração do Terraform:

Nome do parâmetro	Tipo de dados	Obrigatória	Descrição
armazém	STRING	Falso	O nome do armazém do Snowflake.
base de dados	STRING	Falso	O nome da base de dados do Snowflake.
esquema	STRING	Falso	Esquema de floco de neve.
conta	STRING	Falso	A conta para autenticação com a base de dados Snowflake.
proxy_enabled	BOOLEAN	Falso	Selecione esta caixa de verificação para configurar um servidor proxy para a ligação.
proxy_auth_scheme	ENUM	Falso	O tipo de autenticação a usar para autenticar no proxy ProxyServer. Os valores suportados são: BASIC, DIGEST, NONE
proxy_user	STRING	Falso	Um nome de utilizador a ser usado para autenticar no proxy ProxyServer.
proxy_password	SECRET	Falso	Uma palavra-passe a usar para autenticar no proxy ProxyServer.
proxy_ssltype	ENUM	Falso	O tipo de SSL a usar quando se liga ao proxy ProxyServer. Os valores suportados são: AUTO, ALWAYS, NEVER, TUNNEL

Use a associação do Snowflake numa integração

Depois de criar a ligação, esta fica disponível no Apigee Integration e no Application Integration. Pode usar a ligação numa integração através da tarefa Conectores.

• Para compreender como criar e usar a tarefa Connectors no Apigee Integration, consulte o artigo Tarefa Connectors.
• Para compreender como criar e usar a tarefa Connectors na integração de aplicações, consulte o artigo Tarefa Connectors.

Obtenha ajuda da comunidade do Google Cloud

Pode publicar as suas perguntas e discutir este conector na comunidade do Google Cloud nos Fóruns do Cloud.

O que se segue?

• Compreenda como suspender e retomar uma associação.
• Compreenda como monitorizar a utilização do conector.
• Compreenda como ver os registos do conetor.