Elasticsearch
O conector Elasticsearch permite se conectar a um mecanismo de pesquisa Elasticsearch e realizar as operações compatíveis.
Antes de começar
Antes de usar o conector do Elasticsearch, faça o seguinte:
- No seu projeto do Google Cloud, faça o seguinte:
- Verifique se a conectividade de rede está configurada. Para informações sobre padrões de rede, consulte Conectividade de rede.
- Conceda a função do IAM roles/connectors.admin ao usuário que está configurando o conector.
- Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.
- Ative os seguintes serviços:
secretmanager.googleapis.com
(API Secret Manager)connectors.googleapis.com
(API Connectors)
Para entender como ativar os serviços, consulte Como ativar serviços.
Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.
- Para saber como instalar o Elasticsearch no Linux, consulte Instalar o Elasticsearch.
- Para informações sobre como configurar o SSL para proteger o Elasticsearch, consulte Configurar o SSL.
Configurar o conector
Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:
- No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.
- Clique em + CRIAR NOVO para abrir a página Criar conexão.
- Na seção Local, escolha o local da conexão.
- Região: selecione um local na lista suspensa.
Para conferir a lista de todas as regiões com suporte, consulte Locais.
- Clique em PRÓXIMA.
- Região: selecione um local na lista suspensa.
- Na seção Detalhes da conexão, faça o seguinte:
- Conector: selecione PostgreSQL na lista suspensa de conectores disponíveis.
- Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
- No campo Nome da conexão, insira um nome para a instância de conexão
Os nomes de conexão precisam atender aos seguintes critérios:
- Os nomes de conexões podem usar letras, números ou hifens.
- As letras precisam ser minúsculas.
- Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
- Os nomes das conexões não podem ter mais de 49 caracteres.
- Como opção, insira uma Descrição para a instância de conexão.
- Como opção, ative o Cloud Logging e selecione um nível de registro. Por padrão, o nível de registro é definido como
Error
. - Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
- Opcionalmente, defina as Configurações do nó de conexão:
- Número mínimo de nós: digite o número mínimo de nós de conexão.
- Número máximo de nós: digite o número máximo de nós de conexão.
Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.
- Avaliação do lado do cliente: defina ClientSideAssess como verdadeiro para realizar a avaliação do lado do cliente em objetos aninhados.
- Modelo de dados: especifica o modelo de dados a ser usado ao analisar documentos do Elasticsearch e gerar os metadados do banco de dados.
- Máximo de resultados: o número total de resultados a serem retornados do Elasticsearch ao usar a API Search padrão.
- Usar proxy: marque esta caixa de seleção para configurar um servidor proxy para a conexão e defina os seguintes valores:
-
Esquema de autenticação de proxy: selecione o tipo de autenticação para autenticar com o servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
- Básico: autenticação HTTP básica.
- Resumo: autenticação HTTP de resumo.
- Usuário proxy: um nome de usuário a ser usado para autenticar com o servidor proxy.
- Senha de proxy: a chave secreta do Secret Manager da senha do usuário.
-
Tipo de SSL de proxy: o tipo de SSL a ser usado para se conectar ao servidor proxy. Há compatibilidade com os seguintes tipos de autenticação:
- Automático: configuração padrão. Se o URL for HTTPS, a opção Túnel será usada. Se o URL for HTTP, a opção NUNCA será usada.
- Sempre: a conexão será sempre com SSL ativado.
- Nunca: a conexão não está com SSL ativado.
- Túnel: a conexão é feita por um proxy de encapsulamento. O servidor proxy abre uma conexão com o host remoto e o tráfego flui de ida e volta pelo proxy.
- Na seção Servidor proxy, insira os detalhes do servidor proxy.
- Clique em + Adicionar destino.
- Selecione um Tipo de destino.
- Endereço do host: especifique o nome do host ou o endereço IP do destino.
Se quiser estabelecer uma conexão privada com seu sistema de back-end, faça o seguinte:
- Crie um anexo do serviço PSC.
- Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
- Endereço do host: especifique o nome do host ou o endereço IP do destino.
- Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um rótulo à conexão na forma de um par de chave-valor.
- Clique em PRÓXIMA.
- Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
- Tipo de destino: selecione um Tipo de destino.
- Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
- Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.
Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.
Para inserir outros destinos, clique em +ADICIONAR DESTINO.
- Clique em PRÓXIMA.
- Tipo de destino: selecione um Tipo de destino.
-
Na seção Autenticação, insira os detalhes da autenticação.
- Selecione um Tipo de autenticação e insira os detalhes relevantes.
A conexão do Elasticsearch oferece os seguintes tipos de autenticação:
- Anônimo
- Nome de usuário e senha
- Clique em PRÓXIMA.
Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.
- Selecione um Tipo de autenticação e insira os detalhes relevantes.
- Revisão: revise os detalhes de conexão e autenticação.
- Clique em Criar.
Configurar a autenticação
Digite os detalhes com base na autenticação que você quer usar.
-
Anônimo
Se você quiser usar o login anônimo, selecioneNão disponível.
-
Nome de usuário e senha
- Nome de usuário: nome de usuário para o conector
- Senha: a senha do Secret Manager que contém a senha associada ao conector.
Exemplos de configuração de conexão
Esta seção lista os valores de exemplo para os vários campos que você configura ao criar a conexão do Elasticsearch.
Tipo de conexão SSL
Nome do campo | Detalhes |
---|---|
Local | us-central1 |
Conector | Elasticsearch |
Versão do conector | 1 |
Nome da conexão | elastic-search-service-conn |
Ativar Cloud Logging | Sim |
Conta de serviço | SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com |
Modelo de dados | Relacional |
Número mínimo de nós | 2 |
Número máximo de nós | 50 |
Ativar SSL | Sim |
Conexão não segura do repositório de confiança | Sim |
Keystore | Sim |
Certificados do cliente | CLIENT_CERTIFICATE |
Versão do secret | 1 |
Chave privada do cliente | CLIENT_PRIVATE_KEY |
Versão do secret | 1 |
Tipo de destino(servidor) | Endereço do host |
Endereço do host | https://192.0.2.0 |
Porta | 9200 |
Autenticação | Sim |
Senha de usuário inválida. | Sim |
Nome de usuário | NOME DE USUÁRIO |
Senha | SENHA |
Versão do secret | 4 |
Tipo de conexão PSC
Nome do campo | Detalhes |
---|---|
Local | us-central1 |
Conector | Elasticsearch |
Versão do conector | 1 |
Nome da conexão | elasticsearch-psc-conn |
Ativar Cloud Logging | Sim |
Conta de serviço | SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com |
Modelo de dados | Relacional |
Número mínimo de nós | 2 |
Número máximo de nós | 50 |
Tipo de destino(servidor) | Endereço do host |
Endereço do host | 192.0.2.0 |
Porta | PORT |
Autenticação | Sim |
Senha de usuário inválida. | Sim |
Nome de usuário | USERNAME/td> |
Senha | SENHA |
Versão do secret | 1 |
Entidades, operações e ações
Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.
- Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para
outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.
No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista
Entities
estará vazia. - Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar
qualquer uma das seguintes operações em uma entidade:
Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações de entidade, essas operações sem suporte não serão listadas na lista
Operations
. - Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e um parâmetro
de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista
Actions
estará vazia.
Limitações do sistema
O conector do Elasticsearch pode processar 10 transações por segundo, por nó, e limita todas as transações além desse limite. Por padrão, os Integration Connectors alocam dois nós (para melhor disponibilidade) para uma conexão.
Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.
Ações
Esta seção lista as ações compatíveis com o conector. Para entender como configurar as ações, consulte Exemplos de ação.
Ação CreateIndex
Essa ação cria um índice.
Parâmetros de entrada da ação CreateIndex
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
AliasFilter | String | Não | Objeto de consulta DSL usado para limitar os documentos que o alias pode acessar. |
NumberOfShards | String | Não | O número de fragmentos primários que o índice criado precisa ter. |
AliasIsWriteIndex | Booleano | Não | Especifica se o índice de alias é gravável. |
Alias | String | Não | Um alias para o índice. |
AliasIndexRouting | String | Não | Valor usado para o alias encaminhar operações de indexação para um fragmento específico. Se especificado, isso substitui o valor de roteamento para operações de indexação. |
Índice | String | Sim | O nome do índice. |
NumberOfRoutingShards | String | Não | Número usado pelo Elasticsearch internamente com o valor de NumberOfShards para rotear documentos para um shard principal. |
OtherSettings | String | Não | Um objeto JSON de configurações. Essa configuração não pode ser usada com NumberOfRoutingShards ou NumberOfShards. |
Mapeamentos | String | Não | Um objeto JSON que especifica o mapeamento para o índice. |
AliasIsHidden | Booleano | Não | Especifica se o alias está oculto. Todos os índices do alias precisam ter o mesmo valor de is_hidden . |
AliasRouting | String | Não | Valor usado para o alias encaminhar operações de indexação e pesquisa para um fragmento específico. Pode ser substituído por AliasIndexRouting ou AliasSearchRouting para determinadas operações. |
Parâmetros de saída da ação CreateIndex
Essa ação retorna o status 200 (OK) se for bem-sucedida.
Para entender como configurar a ação CreateIndex
,
consulte Exemplos de ação.
Ação "ModifyIndexAliases"
Essa ação modifica um alias de índice.
Parâmetros de entrada da ação ModifyIndexAliases
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
Alias | String | Não | O nome do alias. Vários aliases são separados por ponto e vírgula. |
Filtro | String | Não | Um filtro a ser usado ao criar o alias. Isso usa o filtro JSON bruto usando o DSL de consulta. Vários filtros são separados por ponto e vírgula. |
Roteamento | String | Não | O valor de roteamento a ser associado ao alias. Vários valores de roteamento são separados por ponto e vírgula. |
SearchRouting | String | Não | O valor de roteamento a ser associado ao alias para operações de pesquisa. Vários valores de roteamento de pesquisa são separados por ponto e vírgula. |
IndexRouting | String | Não | O valor de roteamento a ser associado ao alias para operações de indexação. Vários valores de roteamento de índice são separados por ponto e vírgula. |
Ação | String | Sim | A ação a ser realizada, como add , remove ou remove_index .
Várias ações são separadas por ponto e vírgula. |
Índice | String | Sim | O nome do índice. Vários índices são separados por ponto e vírgula. |
Parâmetros de saída da ação ModifyIndexAliases
Essa ação retorna o status 200 (OK) se for bem-sucedida.
Para entender como configurar a ação ModifyIndexAliases
,
consulte Exemplos de ação.
Ação ExecuteCustomQuery
Essa ação permite executar uma consulta personalizada.
Para criar uma consulta salva, siga estas etapas:
- Siga as instruções detalhadas para adicionar uma tarefa de conectores.
- Quando você configurar a tarefa do conector, selecione Ações no tipo de ação que você quer realizar.
- Na lista Ação, selecione Executar consulta personalizada e clique em Concluído.
- Expanda a seção Entrada de tarefas e faça o seguinte:
- No campo Tempo limite após, digite o número de segundos de espera até que a consulta seja executada.
Valor padrão:
180
segundos - No campo Número máximo de linhas, digite o número máximo de linhas a serem retornadas do banco de dados.
Valor padrão:
25
. - Para atualizar a consulta personalizada, clique em Editar script personalizado. A caixa de diálogo Editor de script é aberta.
- Na caixa de diálogo Editor de script, insira a consulta SQL e clique em Salvar.
É possível usar um ponto de interrogação (?) em uma instrução SQL para representar um único parâmetro que precisa ser especificado na lista de parâmetros de consulta. Por exemplo, a seguinte consulta SQL seleciona todas as linhas da tabela
Employees
que correspondem aos valores especificados na colunaLastName
:SELECT * FROM Employees where LastName=?
- Se você usou pontos de interrogação na consulta SQL, adicione o parâmetro clicando em + Adicionar nome do parâmetro para cada ponto de interrogação. Ao executar a integração, esses parâmetros substituem os pontos de interrogação (?) na consulta SQL sequencialmente. Por exemplo, se você tiver adicionado três pontos de interrogação (?), deverá adicionar três parâmetros em ordem de sequência.
Para adicionar parâmetros de consulta, faça o seguinte:
- Na lista Tipo, selecione o tipo de dados do parâmetro.
- No campo Valor, insira o valor do parâmetro.
- Para adicionar vários parâmetros, clique em + Adicionar parâmetro de consulta.
- No campo Tempo limite após, digite o número de segundos de espera até que a consulta seja executada.
Se a execução for bem-sucedida, essa ação vai retornar o status 200 (OK) com um corpo de resposta que tem os resultados da consulta.
Exemplos de ação
Esta seção descreve como realizar algumas das ações neste conector.
Exemplo: criar um índice
Este exemplo cria um índice.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
CreateIndex
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Index": "new_index_1" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da tarefa CreateIndex
terá um valor semelhante a este:
[{ "CompletedBeforeTimeout": "true", "ShardsAcknowledged": "true", "IndexName": "new_index_1" }]
Exemplo: modificar um alias de índice
Este exemplo mostra como modificar um alias de índice.
- Na caixa de diálogo
Configure connector task
, clique emActions
. - Selecione a ação
ModifyIndexAliases
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "Action": "remove_index", "Index": "postmanindex" }
Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload
da tarefa ModifyIndexAliases
terá um valor semelhante a este:
[{ }]
Exemplos de operação de entidade
Esta seção mostra como realizar algumas das operações de entidade neste conector.
Exemplo: listar todos os registros
Este exemplo lista todos os registros na entidade Demoindex
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Demoindex
na listaEntity
. - Selecione a operação
List
e clique em Concluído. - Opcionalmente, na seção Entrada de tarefa da tarefa Conectores, você pode filtrar seu conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples (").
Exemplo: receber um registro de uma entidade
Este exemplo recebe um registro com o ID especificado da entidade Demoindex
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Demoindex
na listaEntity
. - Selecione a operação
Get
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em EntityId e insira
23
no campo Valor padrão.Aqui,
23
é um ID de registro exclusivo na entidadeDemoindex
.
Exemplo: criar um registro em uma entidade
Este exemplo cria um registro na entidade Demoindex
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Demoindex
na listaEntity
. - Selecione a operação
Create
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "message": "GET /search HTTP/1.1 200 1070000", "@timestamp": "2099-11-15 13:12:00.0" }
Se a integração for bem-sucedida, o campo
connectorOutputPayload
da tarefa do conector terá um valor semelhante a este:[{ "_id": "23" }]
Exemplo: atualizar um registro
Este exemplo atualiza o registro com o ID especificado na entidade Demoindex
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Demoindex
na listaEntity
. - Selecione a operação
Update
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em
connectorInputPayload
e insira um valor semelhante ao seguinte no campoDefault Value
:{ "message": "GET /search HTTP/1.1 200 1070000", "@timestamp": "2099-11-15 13:12:00.0", "name": "GoogleCloud_Update_docs", "price": 10.0}
- Clique em entityId e insira
23
no campo Valor padrão.Se a integração for bem-sucedida, o campo
connectorOutputPayload
da tarefa do conector terá um valor semelhante a este:[{ "_id": "23" }]
Exemplo: excluir um registro de uma entidade
Este exemplo exclui o registro com o ID especificado na entidade Demoindex
.
- Na caixa de diálogo
Configure connector task
, clique emEntities
. - Selecione
Demoindex
na listaEntity
. - Selecione a operação
Delete
e clique em Concluído. - Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e
insira
pcqT4wB4uQNUCuamh4N
no campo Valor padrão.
Usar o Terraform para criar conexões
Use o recurso do Terraform para criar uma nova conexão.Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.
Para conferir um exemplo de modelo do Terraform para criação de conexão, consulte exemplo de modelo.
Ao criar essa conexão usando o Terraform, defina as seguintes variáveis no arquivo de configuração do Terraform:
Nome do parâmetro | Tipo de dados | Obrigatório | Descrição |
---|---|---|---|
client_side_evaluation | BOOLEAN | Falso | Defina ClientSideEvaluation como verdadeiro para realizar a avaliação do lado do cliente em objetos aninhados. |
data_model | ENUM | Falso | Especifica o modelo de dados a ser usado ao analisar documentos do Elasticsearch e gerar os metadados do banco de dados. Os valores aceitos são: "Document", "FlattenedDocuments" e "Relational". |
max_results | STRING | Falso | O número máximo de resultados totais a serem retornados do Elasticsearch ao usar a API Search padrão. |
nível de detalhes | STRING | Falso | O nível de detalhamento da conexão varia de 1 a 5. Um nível de detalhamento mais alto registra todos os detalhes de comunicação (solicitação,resposta e certificados SSL). |
proxy_enabled | BOOLEAN | Falso | Marque esta caixa de seleção para configurar um servidor proxy para a conexão. |
proxy_auth_scheme | ENUM | Falso | O tipo de autenticação a ser usado para autenticar no proxy ProxyServer. Os valores aceitos são: BASIC, DIGEST, NONE |
proxy_user | STRING | Falso | Um nome de usuário a ser usado para autenticar no proxy ProxyServer. |
proxy_password | SECRET | Falso | Uma senha a ser usada para autenticar no proxy ProxyServer. |
proxy_ssltype | ENUM | Falso | O tipo de SSL a ser usado ao se conectar ao proxy ProxyServer. Os valores aceitos são: AUTO, ALWAYS, NEVER, TUNNEL |
Usar a conexão do Elasticsearch em uma integração
Depois de criar a conexão, ela fica disponível na integração da Apigee e Application Integration. É possível usar a conexão em uma integração pela tarefa de conectores.
- Para entender como criar e usar a tarefa "Connectors" na integração da Apigee, consulte Tarefa Connectors.
- Para entender como criar e usar a tarefa "Conectores" na Application Integration, consulte Tarefa "Conectores".
Receber ajuda da comunidade do Google Cloud
Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.A seguir
- Entenda como suspender e retomar uma conexão.
- Entenda como monitorar o uso do conector.
- Saiba como acessar os registros do conector.