Data Lake do Azure

Com o conector do Azure Data Lake, é possível se conectar a um back-end do Azure Data Lake e usar o SQL para recuperar e atualizar os dados dele.

Antes de começar

Antes de usar o conector do Azuredatalakestorage, realize as seguintes tarefas:

• No seu projeto do Google Cloud, faça o seguinte:
  • Conceda o papel do IAM roles/connectors.admin ao usuário que estiver configurando o conector.
  • Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.

  • Ative os seguintes serviços:
    • secretmanager.googleapis.com (API Secret Manager)
    • connectors.googleapis.com (API Connectors)

    Para entender como ativar os serviços, consulte Como ativar serviços.

  Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

1. No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.

   Acessar a página "Conexões"

2. Clique em + Criar novo para abrir a página Criar conexão.
3. Na seção Local, escolha o local da conexão.
   1. Região: selecione um local na lista suspensa.

      Veja abaixo as regiões com suporte com o conector:

      Para acessar a lista de todas as regiões com suporte, consulte Locais.

   2. Clique em Próxima.
4. Na seção Detalhes da conexão, faça o seguinte:
   1. Conector: selecione Azure Data Lake na lista suspensa de conectores disponíveis.
   2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
   3. No campo Nome da conexão, insira um nome para a instância de conexão

      Os nomes de conexão precisam atender aos seguintes critérios:

      • Os nomes de conexões podem usar letras, números ou hifens.
      • As letras precisam ser minúsculas.
      • Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
      • Os nomes das conexões não podem exceder 63 caracteres.
   4. Como opção, insira uma Descrição para a instância de conexão.
   5. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
   6. Opcionalmente, defina as Configurações do nó de conexão:
      • Número mínimo de nós: digite o número mínimo de nós de conexão.
      • Número máximo de nós: digite o número máximo de nós de conexão.

      Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.

   Observação: você só poderá personalizar os valores do nó de conexão se for um cliente de pagamento por utilização.
   7. Conta: essa propriedade especifica o nome da conta de armazenamento do Azure Data Lake.
   8. Diretório: essa propriedade especifica o caminho raiz para listar arquivos e pastas.
   9. Sistema de arquivos: esta propriedade especifica o nome do FileSystem que será usado em uma conta de armazenamento da 2a geração. Por exemplo, o nome do contêiner de blob do Azure.
   10. Tamanho do chunk: o tamanho dos blocos (em MB) a serem usados ao fazer upload de arquivos grandes.
   11. Incluir subdiretórios: escolha se os caminhos dos subdiretórios serão listados na visualização "Recursos" do esquema ADLSGen2.
   12. Também é possível clicar em + Adicionar rótulo para adicionar um rótulo à conexão na forma de um par de chave-valor.
   13. Clique em Próxima.
5. Na seção Autenticação, insira os detalhes da autenticação.
   1. Selecione um Tipo de autenticação e insira os detalhes relevantes.

      Os seguintes tipos de autenticação são compatíveis com a conexão do Azure Data Lake:

      • Assinatura de acesso compartilhado
      • Chave de acesso à conta

   Para entender como configurar esses tipos de autenticação, consulte Configurar autenticação.

   2. Clique em Próxima.
6. Revisão: revise os detalhes de conexão e autenticação.
7. Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

• Assinatura de acesso compartilhado

  Se você quiser usar o login anônimo, selecione Não disponível.

  • Assinatura de acesso compartilhado: secret do Secret Manager que contém a assinatura de acesso compartilhado.

• Chave de acesso da conta

  Se você quiser usar o login anônimo, selecione Não disponível.

  • Chave de acesso à conta: Secret do Secret Manager que contém a chave de acesso da conta.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Observação:você pode ver as entidades, as operações e as ações de um conector na tarefa de conectores.

• Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.

  No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.

• Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
  • List
  • Receber
  • Criação
  • Atualizar
  • Excluir

  Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não for compatível com nenhuma das operações da entidade, essas operações sem suporte não serão incluídas na lista de Operations.

• Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Observação : todas as entidades e ações terão um esquema associado a elas. Por exemplo, um esquema de ação terá os detalhes do parâmetro, como os nomes dos parâmetros e o tipo de dados correspondente. O esquema (metadados) de entidades e ações é buscado pela conexão no tempo de execução do back-end. Se houver atualizações no esquema, elas não serão refletidas automaticamente nas conexões atuais. Será necessário atualizar o esquema manualmente. Para atualizar o esquema de uma conexão, abra a página Detalhes da conexão e clique em Atualizar esquema de conexão.

Limitações do sistema

O conector do Azure Data Lake pode processar cinco transações por segundo, por nó, e limitar as transações acima desse limite. Por padrão, o Integration Connectors aloca dois nós para melhor disponibilidade para uma conexão.

Para informações sobre os limites aplicáveis aos Integration Connectors, consulte Limites.

Observação:o número de nós do Integration Connectors será escalonado automaticamente de maneira dinâmica com base no seu uso. No entanto, se você quiser reservar capacidade para grandes volumes sem esperar pelo escalonamento automático, ajuste o valor mínimo do nó para uma conexão. Mais nós são necessários para processar mais transações para uma conexão. Por outro lado, menos nós são necessários se uma conexão processa menos transações. Para configurar os valores do nó, faça o seguinte:

• Se você for um cliente com pagamento por utilização, configure o valor mínimo e máximo do nó na página de edição de conexão.
• Se você for um cliente com base em assinatura, entre em contato com o suporte.

O número máximo de transações que um nó pode processar depende de vários fatores. Portanto, antes de ajustar os nós mínimos para melhorar a capacidade, verifique se os sistemas de back-end estão configurados de maneira ideal para lidar com o tráfego necessário.

Ações

Nesta seção, listamos as ações compatíveis com o conector. Para entender como configurar as ações, consulte Exemplos de ação.

Observação:os resultados de todas as ações estarão disponíveis como uma resposta JSON no parâmetro de resposta connectorOutputPayload da tarefa Connectors depois que você executar a integração.

Ação DownloadFile

Essa ação permite fazer o download do conteúdo de um blob específico de um diretório ou contêiner.

Parâmetros de entrada da ação DownloadFile

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Caminho	String	Sim	O caminho do arquivo (incluindo o nome) para download. Exemplo: FILE_NAME dir1/FILE_NAME dir1/dir2/FILE_NAME
HasBytes	Booleano	No	Define se o conteúdo será baixado como bytes (formato Base64). Para fazer o download de arquivos que não são de texto, como .pdf, .xls e .docx, defina HasBytes como true. Para fazer o download de um arquivo de texto, defina HasBytes como true ou false. Se você definir o valor como true, o conteúdo do texto será transferido como bytes (formato Base64). O valor padrão desse parâmetro é false.

Parâmetros de saída da ação DownloadFile

Se a ação for bem-sucedida, ela retornará o conteúdo do arquivo ou do blob.

Para ver como configurar a ação DownloadFile, consulte os Exemplos de ação.

Ação CreateFile

Essa ação permite criar um blob ou um arquivo em um contêiner ou diretório.

Parâmetros de entrada da ação CreateFile

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Caminho	String	Sim	O caminho do arquivo que será criado.

Para saber como configurar a ação CreateFile, consulte Exemplos de ação.

Ação CopyFile

Essa ação permite copiar o conteúdo de um arquivo ou blob para outro arquivo ou blob no mesmo contêiner ou diretório.

Parâmetros de entrada da ação CopyFile

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
SourcePath	String	Sim	O caminho do arquivo que será copiado.
DestinationPath	String	Sim	O caminho do arquivo em que ele será copiado.

Para ver como configurar a ação CopyFile, consulte os Exemplos de ação.

Ação DeleteObject

Essa ação permite excluir um arquivo ou blob.

Parâmetros de entrada da ação DeleteObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Recursivo	String	No	Defina como true para excluir todo o conteúdo da pasta, incluindo as subpastas.
Caminho	String	Sim	O caminho do arquivo ou da pasta a ser excluído.
DeleteType	String	Sim	Defina como FILESANDFOLDERS para excluir o arquivo ou a pasta especificada no parâmetro de caminho. Defina como ARQUIVOS para excluir apenas os arquivos dentro da pasta especificada no parâmetro do caminho.

Para ver como configurar a ação DeleteObject, consulte os Exemplos de ação.

Ação LeaseBlob

Essa ação permite criar e gerenciar um bloqueio em um blob.

Parâmetros de entrada da ação LeaseBlob

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Caminho	String	Sim	O caminho do arquivo.
LeaseAction	String	Sim	Especifica a ação de alocação a ser executada.
LeaseDuration	Inteiro	Sim	Especifica a duração do lease.

Para saber como configurar a ação LeaseBlob, consulte Exemplos de ação.

Ação UploadFile

Essa ação permite que os usuários façam upload do conteúdo para um blob ou contêiner específico.

Parâmetros de entrada da ação UploadFile

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Caminho	String	Sim	O caminho do arquivo a ser enviado.
HasBytes	Booleano	No	Define se o upload de conteúdo será feito como bytes.
Conteúdo	String	Sim	Conteúdo para upload.

Para saber como configurar a ação UploadFile, consulte Exemplos de ação.

Ação RenomearObject

Essa ação permite renomear um arquivo ou pasta.

Parâmetros de entrada da ação RenomearObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Caminho	String	Sim	O caminho que será renomeado.
RenameTo	String	Sim	O novo nome do arquivo ou da pasta.

Para saber como configurar a ação RenameObject, consulte Exemplos de ação.

Exemplos de ação

Exemplo: fazer o download de um arquivo

Este exemplo faz o download de um arquivo binário.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação DownloadFile e clique em Concluído.
3. Na seção Entrada da tarefa da tarefa Conectores, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Path": "testdirectory1/test1.pdf",
   "HasBytes": true
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DownloadFile terá um valor semelhante ao seguinte:

[{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Exemplo: fazer upload de um arquivo

Neste exemplo, o conteúdo é enviado como um blob.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação UploadFile e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Path": "testblob4",
   "HasBytes": true,
   "Content": "abcdef\nabcdef"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa UploadFile terá um valor semelhante ao seguinte:

[{
"Success": "true"
}]

Exemplo: criar um arquivo

Este exemplo cria um arquivo no diretório especificado.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação CreateFile e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa CreateFile terá um valor semelhante ao seguinte:

[{
"Success": "true"
}]

Exemplo: copiar um arquivo

Este exemplo copia um arquivo de um local para outro.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação CopyFile e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "SourcePath": "testdirectory1/testblob",
   "DestinationPath": "testblob"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa CopyFile terá um valor semelhante ao seguinte:

[{
"Success": "true"
}]

Exemplo: exclusão de um blob

Este exemplo exclui o blob especificado.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação DeleteObject e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "path": "testdirectory1/testblob"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DeleteObject terá um valor semelhante ao seguinte:

[{
"Success": "true"
}]

Exemplo: arrendar um blob

Este exemplo aloca o blob especificado.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação LeaseBlob e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Path": "testblob2",
   "LeaseAction": "Acquire",
   "LeaseDuration": 60.0
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa LeaseBlob terá um valor semelhante ao seguinte:

[{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Exemplo: renomear um blob

Este exemplo renomeia um blob.

1. Na caixa de diálogo Configure connector task, clique em Actions.
2. Selecione a ação RenameObject e clique em Concluído.
3. Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

   {
   "Path": "testblob",
   "RenameTo": "testblob6"
   }

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa RenameObject terá um valor semelhante ao seguinte:

[{
"Success": true
}]

Exemplos de operações de entidade

Esta seção mostra como executar algumas das operações de entidade neste conector.

Exemplo: listar todos os registros

Este exemplo lista todos os registros na entidade Resource.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Resource na lista Entity.
3. Selecione a operação List e clique em Concluído.
4. Opcionalmente, na seção Entrada de tarefa da tarefa Conectores, é possível filtrar o conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples (').

Exemplo: acessar um registro

Este exemplo recebe um registro com o ID especificado da entidade Resource.

1. Na caixa de diálogo Configure connector task, clique em Entities.
2. Selecione Resource na lista Entity.
3. Selecione a operação Get e clique em Concluído.
4. Na seção Entrada da tarefa da tarefa Conectores, clique em IdEntidade e insira testdirectory1/testblob1 no campo Valor padrão.

   Aqui, testdirectory1/testblob1 é um ID de registro exclusivo na entidade Resource.

Usar a conexão do Azure Data Lake em uma integração

Depois que você cria a conexão, ela fica disponível na Apigee Integration e no Application Integration. É possível usar a conexão em uma integração por meio da tarefa "Conectores".

• Para entender como criar e usar a tarefa "Conectores" na integração da Apigee, consulte a Tarefa "Conectores".
• Para entender como criar e usar a tarefa Conectores no Application Integration, consulte Tarefa Conectores.

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

• Entenda como suspender e retomar uma conexão.
• Entenda como monitorar o uso do conector.
• Saiba como acessar os registros do conector.