Redshift

O conector do Redshift permite executar operações de inserção, exclusão, atualização e leitura no banco de dados do Redshift.

Antes de começar

Antes de usar o conector do Redshift, faça o seguinte:

• No seu projeto do Google Cloud, faça o seguinte:
  • Conceda a função IAM roles/connectors.admin ao usuário que está configurando o conector.
  • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Para entender como ativar os serviços, consulte Como ativar serviços.

  Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

• Para criar um cluster do Redshift, consulte o Guia de início rápido do Redshift e Criação de cluster do Amazon Redshift. Consulte Criação de banco de dados do Redshift para mais informações sobre como criar um banco de dados do Redshift.
• Para configurar uma instância do Redshift, consulte Configurar o Redshift. Para mais informações sobre o Redshift, consulte Visão geral da plataforma do Redshift.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

   Acessar a página "Conexões"

2. Clique em + CRIAR NOVO para abrir a página Criar conexão.
3. Na seção Local, escolha o local da conexão.
   1. Região: selecione um local na lista suspensa.

      Para conferir a lista de todas as regiões com suporte, consulte Locais.

   2. Clique em PRÓXIMA.
4. Na seção Detalhes da conexão, faça o seguinte:
   1. Conector: selecione Redshift na lista suspensa de conectores disponíveis.
   2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
   3. No campo Nome da conexão, insira um nome para a instância de conexão

      Os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem ter mais de 49 caracteres.
   4. Como opção, insira uma Descrição para a instância de conexão.
   5. Se quiser, ative o Cloud Logging. e selecione um nível de registro. Por padrão, o nível de registro é definido como Error.
   6. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
   7. Opcionalmente, defina as Configurações do nó de conexão:
      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   8. Banco de dados: o nome do banco de dados do Amazon Redshift.
   9. Criação automática: especifique "true" para criar um usuário do banco de dados com o nome especificado para o usuário se ele não existir durante a conexão com as credenciais do IAM. Consulte AuthSchema .
   10. Grupos do Db: uma lista delimitada por vírgulas dos nomes de um ou mais grupos de banco de dados atuais que o usuário do banco usa para a sessão atual ao se conectar com as credenciais do IAM. Consulte AuthSchema .
   11. BrowsableSchemas: essa propriedade restringe os esquemas informados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
   12. Esquemas ignorados: filtro de restrição de visibilidade que é usado para ocultar a lista de esquemas por consulta de metadados. Por exemplo, "information_schema, pg_catalog". Os nomes de esquemas diferenciam maiúsculas de minúsculas.
   13. Incluir tipos de tabela: se definido como verdadeiro, o provedor consultará os tipos de tabelas e visualizações individuais.
   14. Remover valores nulos: quando definido, os caracteres nulos são removidos dos valores de caracteres em operações em massa.
   15. Visibilidade: usa as restrições de visibilidade para filtrar metadados expostos de tabelas com privilégios concedidos ao usuário atual. Por exemplo, o filtro "SELECT,INSERT" está restringindo a visibilidade de metadados apenas às tabelas que podem ser acessadas pelo usuário atual para as operações SELECT e INSERT. Os valores de privilégio compatíveis são SELECT, INSERT, UPDATE, DELETE, REFERENCES.
   16. Usar proxy: marque esta caixa de seleção para configurar um servidor proxy para a conexão e defina os seguintes valores:
   • Esquema de autenticação de proxy: selecione o tipo de autenticação para autenticar com o servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
     • Básico: autenticação HTTP básica.
     • Resumo: autenticação HTTP de resumo.
   • Usuário proxy: um nome de usuário a ser usado para autenticar com o servidor proxy.
   • Senha de proxy: a chave secreta do Secret Manager da senha do usuário.
   • Tipo de SSL de proxy: o tipo de SSL a ser usado para se conectar ao servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
     • Automático: configuração padrão. Se o URL for HTTPS, a opção Túnel será usada. Se o URL for HTTP, a opção NUNCA será usada.
     • Sempre: a conexão será sempre com SSL ativado.
     • Nunca: a conexão não está com SSL ativado.
     • Túnel: a conexão é feita por um proxy de encapsulamento. O servidor proxy abre uma conexão com o host remoto e o tráfego flui de ida e volta pelo proxy.
   • Na seção Servidor proxy, insira os detalhes do servidor proxy.
     1. Clique em + Adicionar destino.
     2. Selecione um Tipo de destino.
        • Endereço do host: especifique o nome do host ou o endereço IP do destino.

          Se quiser estabelecer uma conexão privada com seu sistema de back-end, faça o seguinte:

          • Crie um anexo do serviço PSC.
          • Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
   17. Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um rótulo à conexão na forma de um par de chave-valor.
   18. Clique em PRÓXIMA.
5. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
   1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.
        Observação : para entender como criar um anexo de endpoint, consulte Anexo de serviço PSC e anexo de endpoint. Depois de ter criado o anexo de endpoint, ele vai aparecer na lista Anexo do endpoint.

      Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

   2. Clique em PRÓXIMA.
6. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      Os seguintes tipos de autenticação são compatíveis com a conexão do Redshift:

      • Nome de usuário e senha

   Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.

   2. Clique em PRÓXIMA.
7. Revisão: revise os detalhes de conexão e autenticação.
8. Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

• Nome de usuário e senha
  • Nome de usuário: nome de usuário para o conector
  • Senha: a senha do Secret Manager que contém a senha associada ao conector.

Exemplos de configuração de conexão

Nesta seção, listamos os valores de amostra dos vários campos configurados ao criar a conexão do Redshift.

Tipo de conexão de autenticação básica

A tabela a seguir lista os valores de exemplo para os vários campos que você configura ao criar a conexão do Redshift.

Campo	Valor de amostra
Região	us-central1
Conector	Conector do Redshift
Versão do conector	1
Nome do conector	google-cloud-redshiftdb-basicauth-conn
Conta de serviço	SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Banco de dados	dev
BrowsableSchemas	público,teste
Grupos de bancos de dados	NA
Remover valores nulos	Sim
Visibilidade	SELECT, INSERT
Número mínimo de nós	02
Número máximo de nós	50
Endereço do host	redshift-cluster-xxx-integration.HOST_NAME.us-east-1.redshift.amazonaws.com
Autenticação	Senha de usuário inválida.
Nome de usuário	NOME DE USUÁRIO
Senha	SENHA
Versão	1

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Observação:você pode ver as entidades, as operações e as ações de um conector na tarefa de conectores.

• Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
  • Lista
  • Receber
  • Criar
  • Atualizar
  • Excluir

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações da entidade, como as operações não estão listadas na lista Operations.

• Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada, . No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Observação: todas as entidades e ações terão um esquema associado a elas. Por exemplo, um esquema de ação terá os detalhes do parâmetro como: o parâmetro e o tipo de dados correspondente. O esquema (metadados) de entidades e ações é buscado pela conexão em do seu back-end. Se houver atualizações no esquema, elas não serão refletidas automaticamente nas suas conexões. Faça isso manualmente. Atualizar o esquema de uma conexão, abra a página Detalhes da conexão e clique em Atualizar o esquema de conexão.

Limitações do sistema

O conector do Redshift pode processar três transações por segundo, por nó, e limita todas as transações além desse limite. Por padrão, o Integration Connectors aloca dois nós para melhor disponibilidade para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Observação:o número de nós do Integration Connectors será escalonado automaticamente de maneira dinâmica com base no seu uso. No entanto, se você quiser reservar capacidade para grandes volumes aguardando o escalonamento automático, ajuste o valor mínimo do nó para uma conexão. Mais nós são necessários para processar mais transações para uma conexão. Por outro lado, menos nós são necessários se uma conexão processa menos transações. Para configurar o nó , faça o seguinte:

• Se você for um cliente de pagamento por utilização, configure o valor mínimo e máximo do nó na página de edição de conexão.
• Se você for um cliente de assinatura, entre em contato com o suporte.

O número máximo de transações que um nó pode processar depende de vários fatores. Portanto, antes de ajustar os nós mínimos para melhorar a capacidade de processamento, verifique se os sistemas de back-end estão configurados de maneira ideal para lidar com o tráfego necessário.

Exemplos de ação

Exemplo: encontrar o maior valor

Este exemplo mostra como executar uma função definida pelo usuário. O find_greater neste exemplo, compara dois números inteiros e retorna o número inteiro que é maior.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação find_greater e clique em Concluído.
3. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "$1": 1.0,
   "$2": 5.0
   }

Se a execução da ação for bem-sucedida, o connectorOutputPayload da tarefa do conector terá um valor semelhante ao seguinte:

[{
"bignum": 5.0
}]

Exemplos de operações de entidade

Exemplo: listar registros de uma entidade

Este exemplo lista os registros da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação List e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, você pode definir o filterClause de acordo com sua exigência.

   Por exemplo, definir a cláusula de filtro como employeeCode='5100' and startDate='2010-01-01 00:00:00' lista apenas os registros com employeeCode 5100 e startDate 2010-01-01 00:00:00.

Exemplo: extrair um único registro de uma entidade

Este exemplo busca um registro da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione User na lista Entity.
3. Selecione a operação Get e clique em Concluído.
4. Na seção Entrada de tarefa da tarefa Conectores, clique em entityId e e insira 103032 no campo Valor padrão.

   Aqui, 103032 é o valor da chave primária da entidade Users.

Exemplo: excluir um registro de uma entidade

Este exemplo exclui um registro da entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Delete e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e digite 113132 no campo Valor padrão.

   Como alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, é possível defina o filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Exemplo: criar um registro em uma entidade

Este exemplo cria um registro na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Create e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector vai ter a resposta da operação de criação.

Exemplo: atualizar um registro em uma entidade

Este exemplo atualiza um registro na entidade Users.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Users na lista Entity.
3. Selecione a operação Update e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "country": "IN"
   }

5. Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e digite 113132 no campo Valor padrão.

   Como alternativa, se a entidade tiver chaves primárias compostas em vez de especificar o entityId, você poderá definir a filterClause. Por exemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá a resposta da operação de atualização.

Usar o Terraform para criar conexões

É possível usar o Terraform recurso para criar uma nova conexão.

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

Para conferir um exemplo de modelo do Terraform para criação de conexão, consulte exemplo de modelo.

Ao criar essa conexão usando o Terraform, você precisa definir as seguintes variáveis no arquivo de configuração do Terraform:

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
database	STRING	Verdadeiro	O nome do banco de dados do Amazon Redshift.
browsable_schemas	STRING	Falso	Ela restringe os esquemas informados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
db_groups	STRING	Falso	Uma lista delimitada por vírgulas dos nomes de um ou mais grupos de banco de dados que o usuário do banco de dados participa na sessão atual ao se conectar com credenciais do IAM. Consulte AuthSchema .
ignored_schemas	STRING	Falso	Filtro de restrição de visibilidade usado para ocultar a lista de esquemas por consulta de metadados. Por exemplo, "information_schema, pg_catalog". Os nomes de esquemas diferenciam maiúsculas de minúsculas.
include_table_types	BOOLEAN	Falso	Se definido como verdadeiro, o provedor consultará os tipos de tabelas e visualizações individuais.
strip_out_nulls	BOOLEAN	Falso	Quando definido, os caracteres nulos são removidos dos valores de caracteres em operações em massa.
visibility	STRING	Falso	Restrições de visibilidade usadas para filtrar metadados expostos de tabelas com privilégios concedidos ao usuário atual. Por exemplo, o filtro "SELECT,INSERT" está restringindo a visibilidade de metadados apenas às tabelas que podem ser acessadas pelo usuário atual para as operações SELECT e INSERT. Os valores de privilégio compatíveis são SELECT, INSERT, UPDATE, DELETE, REFERENCES.

Usar a conexão do Redshift em uma integração

Depois que você cria a conexão, ela fica disponível nos Apigee Integration e Application Integration. Você pode usar a conexão em uma integração pela tarefa Conectores.

• Para entender como criar e usar a tarefa "Connectors" na integração da Apigee, consulte Tarefa Connectors.
• Para entender como criar e usar a tarefa "Conectores" na integração de aplicativos, consulte Tarefa "Conectores".

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

• Entenda como suspender e retomar uma conexão.
• Entenda como monitorar o uso do conector.
• Saiba como acessar os registros do conector.