Elasticsearch

O conector Elasticsearch permite se conectar a um mecanismo de pesquisa Elasticsearch e realizar as operações compatíveis.

Antes de começar

Antes de usar o conector do Elasticsearch, realize as seguintes tarefas:

• No seu projeto do Google Cloud, faça o seguinte:
  • Conceda o papel do IAM roles/connectors.admin ao usuário que estiver configurando o conector.
  • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Para entender como ativar os serviços, consulte Como ativar serviços.

  Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

   Acessar a página "Conexões"

2. Clique em + CRIAR NOVO para abrir a página Criar conexão.
3. Na seção Local, escolha o local da conexão.
   1. Região: selecione um local na lista suspensa.

      Para acessar a lista de todas as regiões com suporte, consulte Locais.

   2. Clique em PRÓXIMA.
4. Na seção Detalhes da conexão, faça o seguinte:
   1. Conector: selecione PostgreSQL na lista suspensa de conectores disponíveis.
   2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
   3. No campo Nome da conexão, insira um nome para a instância de conexão

      Os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem exceder 63 caracteres.
   4. Como opção, insira uma Descrição para a instância de conexão.
   5. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
   6. Opcionalmente, defina as Configurações do nó de conexão:
      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   7. Avaliação do lado do cliente: defina ClientSideAssess como verdadeiro para realizar a avaliação do lado do cliente em objetos aninhados.
   8. Modelo de dados: especifica o modelo de dados a ser usado ao analisar documentos do Elasticsearch e gerar os metadados do banco de dados.
   9. Máximo de resultados: o número total de resultados a serem retornados do Elasticsearch ao usar a API Search padrão.
   10. Usar proxy: marque esta caixa de seleção para configurar um servidor proxy para a conexão e defina os seguintes valores:
   • Esquema de autenticação de proxy: selecione o tipo de autenticação para autenticar com o servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
     • Básico: autenticação HTTP básica.
     • Resumo: autenticação HTTP de resumo.
   • Usuário proxy: um nome de usuário a ser usado para autenticar com o servidor proxy.
   • Senha de proxy: a chave secreta do Secret Manager da senha do usuário.
   • Tipo de SSL de proxy: o tipo de SSL a ser usado para se conectar ao servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
     • Automático: configuração padrão. Se o URL for HTTPS, a opção Túnel será usada. Se o URL for HTTP, a opção NUNCA será usada.
     • Sempre: a conexão será sempre com SSL ativado.
     • Nunca: a conexão não está com SSL ativado.
     • Túnel: a conexão é feita por um proxy de encapsulamento. O servidor proxy abre uma conexão com o host remoto e o tráfego flui de ida e volta pelo proxy.
   • Na seção Servidor proxy, insira os detalhes do servidor proxy.
     1. Clique em + Adicionar destino.
     2. Selecione um Tipo de destino.
        • Endereço do host: especifique o nome do host ou o endereço IP do destino.

          Se quiser estabelecer uma conexão privada com seu sistema de back-end, faça o seguinte:

          • Crie um anexo do serviço PSC.
          • Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
   11. Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um rótulo à conexão na forma de um par de chave-valor.
   12. Clique em PRÓXIMA.
5. Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
   1. Tipo de destino: selecione um Tipo de destino.
      • Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
      • Se você quiser estabelecer uma conexão particular com seus sistemas de back-end, selecione Anexo do endpoint na lista e escolha o anexo de endpoint necessário na lista Anexo do endpoint.
        Observação : para entender como criar um anexo de endpoint, consulte o anexo de serviço do PSC e o anexo de endpoint. Depois que você criar o anexo de endpoint, ele ficará visível na lista Anexo do endpoint.

      Se você quiser estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e, em seguida, configure as regras de firewall para colocar na lista de permissões apenas os endereços IP estáticos específicos.

      Para inserir outros destinos, clique em +ADICIONAR DESTINO.

   2. Clique em PRÓXIMA.
6. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      A conexão do Elasticsearch oferece os seguintes tipos de autenticação:

      • Anônimo
      • Nome de usuário e senha

   Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.

   2. Clique em PRÓXIMA.
7. Revisão: revise os detalhes de conexão e autenticação.
8. Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

• Anônimo

  Se você quiser usar o login anônimo, selecioneNão disponível.

• Nome de usuário e senha
  • Nome de usuário: nome de usuário para o conector
  • Senha: a senha do Secret Manager que contém a senha associada ao conector.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Observação:você pode ver as entidades, as operações e as ações de um conector na tarefa de conectores.

• Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
  • List
  • Receber
  • Criação
  • Atualizar
  • Excluir

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não for compatível com nenhuma das operações da entidade, essas operações sem suporte não serão incluídas na lista de Operations.

• Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Observação : todas as entidades e ações terão um esquema associado a elas. Por exemplo, um esquema de ação terá os detalhes do parâmetro, como os nomes dos parâmetros e o tipo de dados correspondente. O esquema (metadados) de entidades e ações é buscado pela conexão no tempo de execução do back-end. Se houver atualizações no esquema, elas não serão refletidas automaticamente nas conexões atuais. Será necessário atualizar o esquema manualmente. Para atualizar o esquema de uma conexão, abra a página Detalhes da conexão e clique em Atualizar esquema de conexão.

Limitações do sistema

O conector do Elasticsearch pode processar dez transações por segundo, por nó, e limitar todas as transações acima desse limite. Por padrão, o Integration Connectors aloca dois nós para melhor disponibilidade para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Observação:o número de nós do Integration Connectors será escalonado automaticamente de maneira dinâmica com base no seu uso. No entanto, se você quiser reservar capacidade para grandes volumes sem esperar pelo escalonamento automático, ajuste o valor mínimo do nó para uma conexão. Mais nós são necessários para processar mais transações para uma conexão. Por outro lado, menos nós são necessários se uma conexão processa menos transações. Para configurar os valores do nó, faça o seguinte:

• Se você for um cliente com pagamento por utilização, configure o valor mínimo e máximo do nó na página de edição de conexão.
• Se você for um cliente com base em assinatura, entre em contato com o suporte.

O número máximo de transações que um nó pode processar depende de vários fatores. Portanto, antes de ajustar os nós mínimos para melhorar a capacidade, verifique se os sistemas de back-end estão configurados de maneira ideal para lidar com o tráfego necessário.

Ações

Nesta seção, listamos as ações compatíveis com o conector. Para entender como configurar as ações, consulte Exemplos de ação.

Observação:os resultados de todas as ações estarão disponíveis como uma resposta JSON no parâmetro de resposta connectorOutputPayload da tarefa Connectors depois que você executar a integração.

Ação CreateIndex

Esta ação cria um índice.

Parâmetros de entrada da ação CreateIndex

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
AliasFilter	String	No	Objeto de consulta DSL usado para limitar documentos que o alias pode acessar.
NumberOfShards	String	No	O número de fragmentos principais que o índice criado deve ter.
AliasIsWriteIndex	Booleano	No	Especifica se o índice de alias é gravável.
Alias	String	No	Um alias para o índice.
AliasIndexRouting	String	No	Valor usado para o alias para rotear operações de indexação para um fragmento específico. Se especificado, substitui o valor de roteamento em operações de indexação.
Índice	String	Sim	O nome do índice.
NumberOfRoutingShards	String	No	Número usado pelo Elasticsearch internamente com o valor de NumberOfShards para rotear documentos para um fragmento primário.
OtherSettings	String	No	Um objeto JSON de configurações. Não é possível usar essa configuração com NumberOfRoutingShards ou NumberOfShards.
Mapeamentos	String	No	Um objeto JSON que especifica o mapeamento para o índice.
AliasIsHidden	Booleano	No	Especifica se o alias está oculto. Todos os índices do alias precisam ter o mesmo valor is_hidden.
AliasRouting	String	No	Valor usado para o alias para rotear operações de indexação e pesquisa para um fragmento específico. Pode ser substituído por AliasIndexRouting ou AliasSearchRouting para determinadas operações.

Parâmetros de saída da ação CreateIndex

Essa ação retorna o status 200 (OK) se a ação for bem-sucedida.

Para entender como configurar a ação CreateIndex, consulte os Exemplos de ação.

Ação ChangesIndexAliases

Esta ação modifica um alias de índice.

Parâmetros de entrada da ação modifiqueIndexAliases

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Alias	String	No	O nome do alias. Vários aliases são separados por ponto e vírgula.
Filtrar	String	No	Um filtro para usar ao criar o alias. Isso usa o filtro JSON bruto usando a DSL de consulta. Quando há vários filtros, eles são separados por ponto e vírgula.
Roteamento	String	No	O valor de roteamento a ser associado ao alias. Vários valores de roteamento são separados por ponto e vírgula.
SearchRouting	String	No	O valor de roteamento a ser associado ao alias para operações de pesquisa. Vários valores de roteamento de pesquisa são separados por ponto e vírgula.
IndexRouting	String	No	O valor de roteamento a ser associado ao alias para operações de indexação. Vários valores de roteamento de índice são separados por ponto e vírgula.
Ação	String	Sim	A ação a ser realizada, como add, remove ou remove_index. Várias ações são separadas por ponto e vírgula.
Índice	String	Sim	O nome do índice. Vários índices são separados por ponto e vírgula.

Parâmetros de saída da ação modifiqueIndexAliases

Essa ação retorna o status 200 (OK) se a ação for bem-sucedida.

Para entender como configurar a ação ModifyIndexAliases, consulte os Exemplos de ação.

Ação ExecuteCustomQuery

Essa ação permite executar uma consulta personalizada.

Para criar uma consulta personalizada, siga estas etapas:

1. Siga as instruções detalhadas para adicionar uma tarefa de conectores.
2. Ao configurar a tarefa do conector, selecione Ações no tipo de ação que será realizada.
3. Na lista Ação, selecione Executar consulta personalizada e clique em Concluído.

   

4. Expanda a seção Task input e faça o seguinte:
   1. No campo Tempo limite após, insira o número de segundos de espera até a execução da consulta.

      Valor padrão: 180 segundos.

   2. No campo Número máximo de linhas, digite o número máximo de linhas a serem retornadas do banco de dados.

      Valor padrão: 25.

   3. Para atualizar a consulta personalizada, clique em Editar script personalizado. A caixa de diálogo Editor de script é aberta.

      

   4. Na caixa de diálogo Editor de script, insira a consulta SQL e clique em Salvar.

      Você pode usar um ponto de interrogação (?) em uma instrução SQL para representar um único parâmetro que deve ser especificado na lista de parâmetros de consulta. Por exemplo, a consulta SQL a seguir seleciona todas as linhas da tabela Employees que correspondem aos valores especificados para a coluna LastName:

      SELECT * FROM Employees where LastName=?

      Observação:há suporte para as instruções da linguagem de manipulação de dados (DML) e da linguagem de definição de dados (DDL).
   5. Se você usou pontos de interrogação na consulta SQL, adicione o parâmetro clicando em + Adicionar nome do parâmetro em cada ponto de interrogação. Ao executar a integração, esses parâmetros substituem os pontos de interrogação (?) na consulta SQL sequencialmente. Por exemplo, se você adicionou três pontos de interrogação (?), adicione três parâmetros em ordem de sequência.

      

      Para adicionar parâmetros de consulta, faça o seguinte:

      1. Na lista Tipo, selecione o tipo de dados do parâmetro.
      2. No campo Valor, insira o valor do parâmetro.
      3. Para adicionar vários parâmetros, clique em + Adicionar parâmetro de consulta.

Se a execução for bem-sucedida, esta ação retornará o status 200 (OK) com um corpo de resposta que tenha os resultados da consulta.

Exemplos de ação

Esta seção descreve como executar algumas das ações neste conector.

Exemplo: criar um índice

Este exemplo cria um índice.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação CreateIndex e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Index": "new_index_1"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa CreateIndex terá um valor semelhante ao seguinte:

[{
"CompletedBeforeTimeout": "true",
"ShardsAcknowledged": "true",
"IndexName": "new_index_1"
}]

Exemplo: modificar um alias de índice

Este exemplo mostra como modificar um alias de índice.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação ModifyIndexAliases e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Action": "remove_index",
   "Index": "postmanindex"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa ModifyIndexAliases terá um valor semelhante ao seguinte:

[{
}]

Exemplos de operações de entidade

Esta seção mostra como executar algumas das operações de entidade neste conector.

Exemplo: listar todos os registros

Este exemplo lista todos os registros na entidade Demoindex.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Demoindex na lista Entity.
3. Selecione a operação List e clique em Concluído.
4. Opcionalmente, na seção Entrada de tarefa da tarefa Conectores, é possível filtrar o conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples (').

Exemplo: acessar um registro de uma entidade

Este exemplo recebe um registro com o ID especificado da entidade Demoindex.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Demoindex na lista Entity.
3. Selecione a operação Get e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Conectores, clique em IdEntidade e insira 23 no campo Valor padrão.

   Aqui, 23 é um ID de registro exclusivo na entidade Demoindex.

Exemplo: criar um registro em uma entidade

Este exemplo cria um registro na entidade Demoindex.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Demoindex na lista Entity.
3. Selecione a operação Create e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "message": "GET /search HTTP/1.1 200 1070000",
   "@timestamp": "2099-11-15 13:12:00.0"
   }

   Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá um valor semelhante ao seguinte:

   [{
   "_id": "23"
   }]

Exemplo: atualizar um registro

Neste exemplo, o registro é atualizado com o ID especificado na entidade Demoindex.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Demoindex na lista Entity.
3. Selecione a operação Update e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "message": "GET /search HTTP/1.1 200 1070000",
   "@timestamp": "2099-11-15 13:12:00.0",
   "name": "GoogleCloud_Update_docs",
   "price": 10.0}

5. Clique em entityId e insira 23 no campo Valor padrão.

   Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá um valor semelhante ao seguinte:

   [{
   "_id": "23"
   }]

Exemplo: excluir um registro de uma entidade

Este exemplo exclui o registro com o ID especificado na entidade Demoindex.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Demoindex na lista Entity.
3. Selecione a operação Delete e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Conectores, clique em entityId e digite pcqT4wB4uQNUCuamh4N no campo Valor padrão.

Observação : se a entidade tiver uma chave primária composta, será possível especificar uma cláusula de filtro.

Usar o Terraform para criar conexões

É possível usar o recurso do Terraform para criar uma nova conexão.

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

Para conferir um exemplo de modelo do Terraform para a criação de conexões, consulte Exemplo de modelo.

Ao criar essa conexão usando o Terraform, você precisa definir as seguintes variáveis no arquivo de configuração do Terraform:

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
client_side_evaluation	BOOLEAN	Falso	Defina ClientSideEvaluation como verdadeiro para executar a avaliação no lado do cliente em objetos aninhados.
data_model	ENUM	Falso	Especifica o modelo de dados a ser usado ao analisar documentos do Elasticsearch e gerar os metadados do banco de dados. Os valores aceitos são: Document, FlattenedDocuments, Relational
max_results	STRING	Falso	O número máximo do total de resultados a serem retornados do Elasticsearch ao usar a API Search padrão.
nível de detalhes	STRING	Falso	O nível de detalhes da conexão varia de 1 a 5. O nível de detalhes mais alto registrará todos os detalhes da comunicação (solicitação,resposta e certificados SSL).
proxy_enabled	BOOLEAN	Falso	Marque esta caixa de seleção para configurar um servidor proxy para a conexão.
proxy_auth_scheme	ENUM	Falso	O tipo de autenticação a ser usado para autenticar o proxy do ProxyServer. Os valores aceitos são: BASIC, DIGEST, NONE
proxy_user	STRING	Falso	Um nome de usuário a ser usado para autenticar o proxy do ProxyServer.
proxy_password	SECRET	Falso	Uma senha a ser usada para autenticação no proxy ProxyServer.
proxy_ssltype	ENUM	Falso	O tipo de SSL a ser usado na conexão com o proxy ProxyServer. Os valores aceitos são: AUTO, ALWAYS, NEVER, TUNNEL

Usar a conexão Elasticsearch em uma integração

Depois que você cria a conexão, ela fica disponível na Apigee Integration e no Application Integration. É possível usar a conexão em uma integração por meio da tarefa "Conectores".

• Para entender como criar e usar a tarefa "Conectores" na integração da Apigee, consulte a Tarefa "Conectores".
• Para entender como criar e usar a tarefa Conectores no Application Integration, consulte Tarefa Conectores.

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

• Entenda como suspender e retomar uma conexão.
• Entenda como monitorar o uso do conector.
• Saiba como acessar os registros do conector.