Redshift

O conetor do Redshift permite-lhe realizar operações de inserção, eliminação, atualização e leitura na base de dados do Redshift.

Antes de começar

Antes de usar o conetor do Redshift, conclua as seguintes tarefas:

• No seu projeto do Google Cloud:
  • Certifique-se de que a conetividade de rede está configurada. Para obter informações sobre padrões de rede, consulte o artigo Conetividade de rede.
  • Conceda a função IAM roles/connectors.admin ao utilizador que está a configurar o conetor.
  • Conceda as seguintes funções de IAM à conta de serviço que quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta Google destinada a representar um utilizador não humano que precisa de autenticação e autorização para aceder a dados nas APIs Google. Se não tiver uma conta de serviço, tem de criar uma. O conector e a conta de serviço têm de pertencer ao mesmo projeto. Para mais informações, consulte Criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (Secret Manager API)
    • connectors.googleapis.com (API Connectors)

    Para saber como ativar serviços, consulte o artigo Ativar serviços.

  Se estes serviços ou autorizações não tiverem sido ativados anteriormente para o seu projeto, é-lhe pedido que os ative quando configurar o conector.

• Para criar um cluster do Redshift, consulte o Início rápido com o Redshift e a criação de clusters do Amazon Redshift. Para mais informações sobre como criar uma base de dados do Redshift, consulte o artigo Criação de base de dados do Redshift.
• Para configurar uma instância do Redshift, consulte o artigo Configure o Redshift. Para mais informações sobre o Redshift, consulte o artigo Vista geral da plataforma Redshift.

Configure o conetor

Uma associação é específica de uma origem de dados. Isto significa que, se tiver muitas origens de dados, tem de criar uma associação separada para cada origem de dados. Para criar uma associação, faça o seguinte:

1. Na Cloud Console, aceda à página Integration Connectors > Ligações e, de seguida, selecione ou crie um projeto do Google Cloud.

   Aceda à página Ligações

2. Clique em + CRIAR NOVO para abrir a página Criar associação.
3. Na secção Localização, escolha a localização para a ligação.
   1. Região: selecione uma localização na lista pendente.

      Para ver a lista de todas as regiões suportadas, consulte o artigo Localizações.

   2. Clique em SEGUINTE.
4. Na secção Detalhes da associação, conclua o seguinte:
   1. Conetor: selecione Redshift na lista pendente de conetores disponíveis.
   2. Versão do conetor: selecione a versão do conetor na lista pendente de versões disponíveis.
   3. No campo Nome da ligação, introduza um nome para a instância de ligação.

      Os nomes das associações têm de cumprir os seguintes critérios:

      • Os nomes das associações podem usar letras, números ou hífenes.
      • As letras têm de ser minúsculas.
      • Os nomes das associações têm de começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das associações não podem exceder 49 carateres.
   4. Opcionalmente, introduza uma Descrição para a instância de associação.
   5. Opcionalmente, ative o Registo na nuvem e, em seguida, selecione um nível de registo. Por predefinição, o nível do registo está definido como Error.
   6. Conta de serviço: selecione uma conta de serviço que tenha as funções necessárias.
   7. Opcionalmente, configure as definições do nó de associação:
      • Número mínimo de nós: introduza o número mínimo de nós de ligação.
      • Número máximo de nós: introduza o número máximo de nós de ligação.

      Um nó é uma unidade (ou uma réplica) de uma ligação que processa transações. São necessários mais nós para processar mais transações para uma ligação e, inversamente, são necessários menos nós para processar menos transações. Para compreender como os nós afetam os preços dos conectores, consulte o artigo Preços dos nós de ligação. Se não introduzir valores, por predefinição, os nós mínimos são definidos como 2 (para uma melhor disponibilidade) e os nós máximos são definidos como 50.

   Nota: só pode personalizar os valores dos nós de associação se for cliente de pagamento conforme o uso.
   8. Base de dados: o nome da base de dados do Amazon Redshift.
   9. Auto Create: especifique verdadeiro para criar um utilizador da base de dados com o nome especificado para o utilizador, se não existir nenhum, ao estabelecer ligação com credenciais de IAM. Consulte AuthScheme .
   10. Db Groups: uma lista delimitada por vírgulas dos nomes de um ou mais grupos de bases de dados aos quais o utilizador da base de dados se junta para a sessão atual quando se liga com credenciais de IAM. Consulte AuthScheme .
   11. BrowsableSchemas: esta propriedade restringe os esquemas comunicados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
   12. Esquemas ignorados: filtro de restrição de visibilidade usado para ocultar a lista de esquemas através da consulta de metadados. Por exemplo, "information_schema, pg_catalog". Os nomes dos esquemas são sensíveis a maiúsculas e minúsculas.
   13. Include Table Types: se estiver definido como verdadeiro, o fornecedor consulta os tipos de tabelas e vistas individuais.
   14. Remover nulos: quando esta opção está definida, os carateres nulos são removidos dos valores de carateres em operações em massa.
   15. Visibilidade: restrições de visibilidade usadas para filtrar metadados expostos para tabelas com privilégios concedidos ao utilizador atual. Por exemplo, o filtro "SELECT,INSERT" está a restringir a visibilidade dos metadados apenas às tabelas às quais o utilizador atual pode aceder para operações SELECT e INSERT. Os valores de privilégios suportados são SELECT, INSERT, UPDATE, DELETE e REFERENCES.
   16. (Opcional) Na secção Definições avançadas, selecione a caixa de verificação Usar proxy para configurar um servidor proxy para a ligação e configurar os seguintes valores:
   • Esquema de autenticação de proxy: selecione o tipo de autenticação para autenticar com o servidor proxy. Os seguintes tipos de autenticação são suportados:
     • Básica: autenticação HTTP básica.
     • Resumo: autenticação HTTP de resumo.
   • Utilizador do proxy: um nome de utilizador a ser usado para autenticação com o servidor proxy.
   • Palavra-passe do proxy: o segredo do Secret Manager da palavra-passe do utilizador.
   • Tipo de SSL do proxy: o tipo de SSL a usar quando se liga ao servidor proxy. Os seguintes tipos de autenticação são suportados:
     • Automático: predefinição. Se o URL for um URL HTTPS, é usada a opção Túnel. Se o URL for um URL HTTP, é usada a opção NUNCA.
     • Sempre: a ligação está sempre ativada com SSL.
     • Nunca: a ligação não tem o SSL ativado.
     • Túnel: a ligação é feita através de um proxy de túnel. O servidor proxy abre uma ligação ao anfitrião remoto e o tráfego flui em ambas as direções através do proxy.
   • Na secção Servidor proxy, introduza os detalhes do servidor proxy.
     1. Clique em + Adicionar destino.
     2. Selecione um Tipo de destino.
        • Endereço do anfitrião: especifique o nome do anfitrião ou o endereço IP do destino.

          Se quiser estabelecer uma ligação privada ao seu sistema de back-end, faça o seguinte:

          • Crie uma associação de serviço do PSC.
          • Crie uma associação de ponto final e, em seguida, introduza os detalhes da associação de ponto final no campo Endereço do anfitrião.
   17. Opcionalmente, clique em + ADICIONAR ETIQUETA para adicionar uma etiqueta à associação sob a forma de um par chave/valor.
   18. Clique em SEGUINTE.
5. Na secção Destinos, introduza os detalhes do anfitrião remoto (sistema de back-end) ao qual quer estabelecer ligação.
   1. Tipo de destino: selecione um Tipo de destino.
      • Para especificar o nome de anfitrião ou o endereço IP de destino, selecione Endereço do anfitrião e introduza o endereço no campo Anfitrião 1.
      • Para estabelecer uma ligação privada, selecione Anexo do ponto final e escolha o anexo necessário na lista Anexo do ponto final.
        Nota: para saber como criar uma associação de ponto final, consulte Associação de serviço do PSC e Associação de ponto final. Depois de criar a associação do ponto final, esta fica visível na lista Associação do ponto final.

      Se quiser estabelecer uma ligação pública aos seus sistemas de back-end com segurança adicional, pode considerar configurar endereços IP estáticos de saída para as suas ligações e, em seguida, configurar as regras da firewall para permitir apenas os endereços IP estáticos específicos.

      Para introduzir destinos adicionais, clique em +ADICIONAR DESTINO.

   2. Clique em SEGUINTE.
6. Na secção Autenticação, introduza os detalhes de autenticação.
   1. Selecione um Tipo de autenticação e introduza os detalhes relevantes.

      Os seguintes tipos de autenticação são suportados pela ligação do Redshift:

      • Nome de utilizador e palavra-passe

   Para saber como configurar estes tipos de autenticação, consulte o artigo Configurar autenticação.

   2. Clique em SEGUINTE.
7. Rever: reveja os detalhes da ligação e da autenticação.
8. Clique em Criar.

Configure a autenticação

Introduza os detalhes com base na autenticação que quer usar.

• Nome de utilizador e palavra-passe
  • Nome de utilizador: nome de utilizador do conetor
  • Palavra-passe: Secret do Secret Manager que contém a palavra-passe associada ao conector.

Exemplos de configuração de ligação

Esta secção apresenta os valores de exemplo para os vários campos que configura quando cria a ligação ao Redshift.

Tipo de ligação de autenticação básica

A tabela seguinte apresenta os valores de exemplo para os vários campos que configura quando cria a ligação ao Redshift.

Campo	Valor de exemplo
Região	us-central1
Conetor	Conector do Redshift
Versão do conetor	1
Nome do conector	google-cloud-redshiftdb-basicauth-conn
Conta de serviço	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Bases de dados	dev
BrowsableSchemas	public,test
Db Groups	NA
Remover nulos	Sim
Visibilidade	SELECT,INSERT
Número mínimo de nós	02
Número máximo de nós	50
Endereço do anfitrião	redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
Autenticação	Palavra-passe do utilizador
Nome de utilizador	NOME DE UTILIZADOR
Palavra-passe	PASSWORD
Versão	1

Entidades, operações e ações

Todos os conetores de integração oferecem uma camada de abstração para os objetos da aplicação ligada. Só pode aceder aos objetos de uma aplicação através desta abstração. A abstração é exposta como entidades, operações e ações.

Nota: pode ver as entidades, as operações e as ações de um conector na tarefa Conectores.

• Entidade: pode considerar uma entidade como um objeto ou uma coleção de propriedades na aplicação ou no serviço associado. A definição de uma entidade difere de um conetor para um conetor. Por exemplo, num conetor de base de dados, as tabelas são as entidades. Num conetor de servidor de ficheiros, as pastas são as entidades. Num conetor de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não suporte ou não tenha entidades, caso em que a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode realizar numa entidade. Pode realizar qualquer uma das seguintes operações numa entidade:
  • Lista
  • Obter
  • Criar
  • Atualizar
  • Eliminar

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para a entidade. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa de conectores. No entanto, se um conector não suportar nenhuma das operações de entidades, essas operações não suportadas não são apresentadas na lista Operations.

• Ação: uma ação é uma função de primeira classe que é disponibilizada à integração através da interface do conetor. Uma ação permite-lhe fazer alterações a uma ou mais entidades e varia de conetor para conetor. Normalmente, uma ação tem alguns parâmetros de entrada e um parâmetro de saída. No entanto, é possível que um conector não suporte nenhuma ação, caso em que a lista Actions está vazia.

Nota: todas as entidades e ações têm um esquema associado. Por exemplo, um esquema de ação tem os detalhes dos parâmetros, como os nomes dos parâmetros e o respetivo tipo de dados. O esquema (metadados) para entidades e ações é obtido pela ligação em tempo de execução a partir do seu back-end. Se existirem atualizações ao esquema, estas não são refletidas automaticamente nas suas associações existentes. Tem de atualizar o esquema manualmente. Para atualizar o esquema de uma associação, abra a página Detalhes da associação da associação e, de seguida, clique em Atualizar esquema da associação.

Limitações do sistema

O conector do Redshift pode processar 3 transações por segundo, por nó, e limita todas as transações que excedam este limite. Por predefinição, os Integration Connectors atribuem 2 nós (para uma melhor disponibilidade) a uma ligação.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Nota: o número de nós de conectores de integração é dimensionado automaticamente de forma dinâmica com base na sua utilização. No entanto, se quiser reservar capacidade para grandes volumes sem esperar pela escalabilidade automática, pode ajustar o valor mínimo de nós para uma ligação. São necessários mais nós para processar mais transações para uma associação. Por outro lado, são necessários menos nós se uma associação processar menos transações. Para configurar os valores dos nós, faça o seguinte:

• Se for cliente de pagamento conforme o uso, configure o valor mínimo e máximo do nó na página de edição da associação.
• Se for cliente com base numa subscrição, contacte o apoio técnico.

O número máximo de transações que um nó pode processar depende de vários fatores. Assim, antes de ajustar os nós mínimos para um melhor débito, é recomendável verificar se os seus sistemas de back-end estão configurados de forma ideal para processar o tráfego necessário.

Exemplos de ações

Exemplo: encontrar o valor mais elevado

Este exemplo mostra como executar uma função definida pelo utilizador. A função find_greater neste exemplo compara dois números inteiros e devolve o número inteiro que é maior.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação find_greater e, de seguida, clique em Concluído.
3. Na secção Entrada da tarefa da tarefa Conetores, clique em connectorInputPayload e, de seguida, introduza um valor semelhante ao seguinte no campo Default Value:

   {
   "$1": 1.0,
   "$2": 5.0
   }

Se a execução da ação for bem-sucedida, o campo connectorOutputPayload da tarefa do conector tem um valor semelhante ao seguinte:

[{
"bignum": 5.0
}]

Exemplos de operações de entidades

Exemplo: listar registos de uma entidade

Este exemplo apresenta os registos da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação List e, de seguida, clique em Concluído.
4. Na secção Entrada de tarefas da tarefa Conectores, pode definir o filterClause de acordo com o seu requisito.

   Por exemplo, definir a cláusula de filtro como employeeCode='5100' and startDate='2010-01-01 00:00:00', lista apenas os registos cujo employeeCode é 5100 e startDate é 2010-01-01 00:00:00.

Exemplo: obtenha um único registo de uma entidade

Este exemplo obtém um registo da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione User na lista Entity.
3. Selecione a operação Get e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 103032 no campo Valor predefinido.

   Aqui, 103032 é o valor-chave principal da entidade Users.

Exemplo: elimine um registo de uma entidade

Este exemplo elimina um registo da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Delete e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 113132 no campo Valor predefinido.

   Em alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, pode definir o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Exemplo: crie um registo numa entidade

Este exemplo cria um registo na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Create e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conetores, clique em connectorInputPayload e, de seguida, introduza um valor semelhante ao seguinte no campo Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector tem a resposta da operação de criação.

Exemplo: atualize um registo numa entidade

Este exemplo atualiza um registo na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Update e, de seguida, clique em Concluído.
4. Na secção Entrada da tarefa da tarefa Conetores, clique em connectorInputPayload e, de seguida, introduza um valor semelhante ao seguinte no campo Default Value:

   {
   "country": "IN"
   }

5. Na secção Entrada da tarefa da tarefa Conectores, clique em entityId e, em seguida, introduza 113132 no campo Valor predefinido.

   Em alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, pode definir o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector tem a resposta da operação de atualização.

Crie ligações com o Terraform

Pode usar o recurso do Terraform para criar uma nova associação.

Para saber como aplicar ou remover uma configuração do Terraform, consulte os comandos básicos do Terraform.

Para ver um modelo do Terraform de exemplo para a criação de ligações, consulte o modelo de exemplo.

Quando criar esta associação através do Terraform, tem de definir as seguintes variáveis no ficheiro de configuração do Terraform:

Nome do parâmetro	Tipo de dados	Obrigatória	Descrição
base de dados	STRING	True	O nome da base de dados do Amazon Redshift.
browsable_schemas	STRING	Falso	Esta propriedade restringe os esquemas comunicados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
db_groups	STRING	Falso	Uma lista delimitada por vírgulas dos nomes de um ou mais grupos de bases de dados existentes aos quais o utilizador da base de dados se junta para a sessão atual quando se liga com credenciais de IAM. Consulte AuthScheme .
ignored_schemas	STRING	Falso	Filtro de restrição de visibilidade usado para ocultar a lista de esquemas através de consultas de metadados. Por exemplo, "information_schema, pg_catalog". Os nomes dos esquemas são sensíveis a maiúsculas e minúsculas.
include_table_types	BOOLEAN	Falso	Se estiver definida como verdadeira, o fornecedor consulta os tipos de tabelas e vistas individuais.
strip_out_nulls	BOOLEAN	Falso	Quando definido, os carateres nulos são removidos dos valores de carateres em operações em massa.
visibilidade	STRING	Falso	Restrições de visibilidade usadas para filtrar metadados expostos para tabelas com privilégios concedidos ao utilizador atual. Por exemplo, o filtro "SELECT,INSERT" está a restringir a visibilidade dos metadados apenas às tabelas às quais o utilizador atual pode aceder para operações SELECT e INSERT. Os valores de privilégios suportados são SELECT, INSERT, UPDATE, DELETE e REFERENCES.

Use a ligação do Redshift numa integração

Depois de criar a ligação, esta fica disponível no Apigee Integration e no Application Integration. Pode usar a ligação numa integração através da tarefa Conectores.

• Para compreender como criar e usar a tarefa Connectors no Apigee Integration, consulte o artigo Tarefa Connectors.
• Para compreender como criar e usar a tarefa Connectors na integração de aplicações, consulte o artigo Tarefa Connectors.

Obtenha ajuda da comunidade do Google Cloud

Pode publicar as suas perguntas e discutir este conector na comunidade do Google Cloud nos Fóruns do Cloud.

O que se segue?

• Compreenda como suspender e retomar uma associação.
• Compreenda como monitorizar a utilização do conector.
• Compreenda como ver os registos do conetor.