Amazon S3

O conector do Amazon S3 fornece acesso SQL a buckets e objetos do Amazon S3.

Antes de começar

Antes de usar o conector do Amazon S3, faça o seguinte:

No seu projeto do Google Cloud, faça o seguinte:
- Conceda o papel do IAM roles/connectors.admin ao usuário que estiver configurando o conector.
- Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.
- Ative os seguintes serviços:
  - secretmanager.googleapis.com (API Secret Manager)
  - connectors.googleapis.com (API Connectors)
  Para entender como ativar os serviços, consulte Como ativar serviços.
Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.
Acesse a página "Conexões"
Clique em + Criar novo para abrir a página Criar conexão.
Na seção Local, escolha o local da conexão.
1. Região: selecione um local na lista suspensa.
  Veja abaixo as regiões com suporte com o conector:
  Para acessar a lista de todas as regiões com suporte, consulte Locais.
2. Clique em Próxima.
Na seção Detalhes da conexão, faça o seguinte:
1. Conector: selecione Amazon S3 na lista suspensa de conectores disponíveis.
2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
3. No campo Nome da conexão, insira um nome para a instância de conexão
  Os nomes de conexão precisam atender aos seguintes critérios:
  - Os nomes de conexões podem usar letras, números ou hifens.
  - As letras precisam ser minúsculas.
  - Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
  - Os nomes das conexões não podem exceder 63 caracteres.
4. Como opção, insira uma Descrição para a instância de conexão.
5. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
6. Opcionalmente, defina as Configurações do nó de conexão:
  - Número mínimo de nós: digite o número mínimo de nós de conexão.
  - Número máximo de nós: digite o número máximo de nós de conexão.
  Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.
7. Região da AWS: região onde a instância do Amazon S3 está hospedada
8. Também é possível clicar em + Adicionar rótulo para incluir um rótulo na conexão na forma de um par de chave-valor.
9. Clique em Próxima.
Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
1. Tipo de destino: selecione um Tipo de destino.
  1. No campo Endereço do host, especifique o nome do host ou o endereço IP do destino.
    1. Se você quiser estabelecer uma conexão privada com seus sistemas de back-end, siga estas etapas:
      1. Crie um anexo do serviço PSC.
      2. Crie um anexo de endpoint e insira os detalhes dele no campo Endereço do host.
    2. Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.
  Para inserir mais destinos, clique em +Adicionar destino.
2. Clique em Próxima.
Na seção Autenticação, insira os detalhes da autenticação.
1. Selecione um Tipo de autenticação e insira os detalhes relevantes.
  Os seguintes tipos de autenticação são compatíveis com a conexão do Amazon S3:
  - Credenciais raiz
  - Papéis do IAM da AWS
  - Credenciais temporárias da AWS
2. Clique em Próxima.
Revisão: revise os detalhes de conexão e autenticação.
Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

Credenciais raiz
Para autenticar usando credenciais raiz da conta.
- Chave de acesso da AWS: a chave de acesso do usuário raiz
- AWS Access Secret: a chave secreta do usuário raiz

Papéis do IAM da AWS
Para autenticar usando um papel do IAM da AWS.
- Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel do
- AWS Access Secret: a chave secreta do usuário do IAM que assumirá o papel
- ARN do papel da AWS: especifique o ARN do papel para o papel com que você quer fazer a autenticação. Somente as credenciais para o papel especificado seriam recuperadas.
- AWS External Id: obrigatório somente quando você assume um papel em outra conta.

Credenciais temporárias da AWS
Para autenticar usando credenciais temporárias
- Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel do
- AWS Access Secret: a chave secreta do usuário do IAM que assumirá o papel
- AWS Session Token: é gerado junto com as credenciais temporárias.
- ARN do papel da AWS: especifique o ARN do papel para o papel com que você quer fazer a autenticação. Somente as credenciais para o papel especificado seriam recuperadas.
- AWS External Id: obrigatório somente quando você assume um papel em outra conta.

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.
No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.
Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
- List
- Receber
- Criar
- Atualizar
- Excluir
Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações da entidade, essas operações não serão listadas na lista Operations.
Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Ações

Esta seção lista algumas das ações suportadas pelo conector. Para entender como configurar as ações, consulte Exemplos de ação.

Observação:os resultados de todas as ações vão estar disponíveis como uma resposta JSON no parâmetro de resposta connectorOutputPayload da tarefa Connectors depois que você executar a integração.

Ação CopyObject

Essa ação permite copiar um objeto de um bucket para outro ou dentro do mesmo bucket.

Parâmetros de entrada da ação CopyObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
BucketSource	String	Sim	Nome do bucket do qual o objeto será copiado.
ObjectSource	Objeto	Sim	Nome do objeto que deve ser copiado.
BucketDestination	String	Sim	Nome do bucket em que o objeto será copiado.
ObjectDestination	String	Não	Nome do objeto no bucket de destino. Se não for especificado, o nome será o mesmo que o original.

Parâmetros de saída da ação CopyObject

Essa ação retorna o status 200 (OK) se a cópia for bem-sucedida.

Para entender como configurar a ação CopyObject, consulte Exemplos de ação.

Ação DownloadObjects

Esta ação recebe mais um objeto de um bucket.

Parâmetros de entrada da ação DownloadObjects

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto para download está presente.
Objeto	String	Não	Nome do objeto que deve ser transferido por download. Se não for especificado, todos os objetos do bucket especificado serão transferidos por download.
HasBytes	Booleano	Sim	Especifica se o conteúdo precisa ser transferido por download como uma string codificada em Base64.
UpdatedStartDate	Data/hora	Não	A data de início do período para fazer o download de objetos. Se não for especificado, o download dos objetos será feito dos objetos mais antigos até aUpdatedEndDate.
UpdatedEndDate	Data/hora	Não	A data de término do período para fazer o download de objetos. Se não for especificado, o download dos objetos será feito da atualizaçãoStartDate especificada até o dia atual.

Parâmetros de saída da ação DownloadObjects

Esta ação retorna o status 200 (OK) se o download for bem-sucedido.

Para entender como configurar a ação DownloadObjects, consulte Exemplos de ação.

Ação UploadObject

Essa ação permite fazer upload de um objeto em um bucket.

Parâmetros de entrada da ação UploadObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto deve ser enviado.
ContentBytes	String	Não	O conteúdo em bytes para upload como um arquivo.
HasBytes	Booleano	Sim	Especifica se o conteúdo precisa ser enviado como uma string codificada em Base64.
AccessPolicy	String	Não	A política de acesso para este objeto. Os valores permitidos são PRIVATE, ANONREAD, ANONREADWRITE e AUTHREAD. O valor padrão é PRIVATE.
Conteúdo	String	Não	O conteúdo a ser enviado.
FileName	String	Não	Nome do arquivo a ser enviado. Este valor é necessário quando você especifica o parâmetro FileContent.

Parâmetros de saída da ação UploadObject

Esta ação retorna o status 200 (OK) se o upload do objeto for bem-sucedido.

Para entender como configurar a ação UploadObject, consulte Exemplos de ação.

Ação DeleteObject

Essa ação permite excluir um objeto de um bucket.

Parâmetros de entrada da ação DeleteObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto a ser excluído está presente.
Objeto	String	Sim	Nome do objeto que deve ser excluído.

Parâmetros de saída da ação DeleteObject

Esta ação retornará o status 200 (OK) se a exclusão for bem-sucedida.

Para entender como configurar a ação DeleteObject, consulte Exemplos de ação.

Ação MoveObject

Essa ação permite que os usuários movam um objeto de um bucket específico para outro ou para o mesmo bucket.

Parâmetros de entrada da ação MoveObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
BucketSource	String	Sim	O nome do bucket de origem para o qual o objeto a ser movido está presente.
ObjectSource	String	Sim	Nome do objeto que deve ser movido.
BucketDestination	String	Sim	O nome do bucket de destino para onde o objeto será movido.
ObjectDestination	String	Não	Nome do objeto no bucket de destino. Se não for especificado, o nome original vai ser mantido.

Parâmetros de saída da ação MoveObject

Esta ação retorna o status 200 (OK) se a operação de movimentação for bem-sucedida.

Para entender como configurar a ação MoveObject, consulte Exemplos de ação.

Ação PutBucketAcl

Essa ação permite atualizar a lista de controle de acesso (ACL, na sigla em inglês) de um bucket.

Parâmetros de entrada da ação PutBucketAcl

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que a ACL será aplicada.
ACL	String	Sim	Nível de acesso a ser aplicado ao bucket.

Parâmetros de saída da ação PutBucketAcl

Esta ação retornará o status 200 (OK) se a atualização da ACL do bucket for bem-sucedida.

Para entender como configurar a ação PutBucketAcl, consulte Exemplos de ação.

Ação PutObjectAcl

Essa ação permite atualizar a lista de controle de acesso (ACL, na sigla em inglês) de um objeto em um bucket.

Parâmetros de entrada da ação PutObjectAcl

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto está presente.
ACL	String	Sim	Nível de acesso a ser aplicado ao objeto.
KEY	String	Sim	Nome do objeto em que a ACL será aplicada.

Parâmetros de saída da ação PutObjectAcl

Essa ação retornará o status 200 (OK) se a atualização da ACL do objeto for bem-sucedida.

Para entender como configurar a ação PutObjectAcl, consulte Exemplos de ação.

Exemplos de ação

Nesta seção, descrevemos como executar algumas das ações nesse conector.

Exemplo: copiar um objeto

Neste exemplo, copiamos um objeto de um bucket para outro.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação CopyObject e clique em Concluído.

Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

{
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa CopyObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: fazer o download de um objeto

Neste exemplo, é feito o download de um objeto do bucket especificado.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação DownloadObjects e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DownloadObjects terá um valor semelhante a este:

[{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

Exemplo: fazer upload de um objeto

Este exemplo faz upload de um objeto para o bucket especificado.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação UploadObject e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa UploadObject terá um valor semelhante a este:

[{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

Exemplo: excluir um objeto

Neste exemplo, um objeto do bucket especificado é excluído.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação DeleteObject e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DeleteObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: mover um objeto

Neste exemplo, um objeto é movido de um bucket para outro.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação MoveObject e clique em Concluído.

Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

{
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa MoveObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: atualizar a ACL de um bucket

Este exemplo atualiza as permissões de controle de acesso de um bucket.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação PutBucketAcl e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa PutBucketAcl terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: atualizar a ACL de um objeto

Este exemplo atualiza as permissões de controle de acesso de um objeto em um bucket.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação PutObjectAcl e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa PutObjectAcl terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplos de operação de entidade

Esta seção mostra como executar algumas das operações da entidade no conector.

Exemplo: listar metadados de todos os objetos

Este exemplo busca os metadados de todos os objetos na entidade Object.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Object na lista de Entity.
Selecione a operação List e clique em Concluído.
Como opção, na seção Task Input da tarefa Connectors, é possível filtrar o conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples ('). Por exemplo, Bucket='test-bucket'. Também é possível especificar várias condições de filtro usando os operadores lógicos. Por exemplo, Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'.

Exemplo: receber metadados de um bucket

Este exemplo recebe os metadados do bucket com o ID especificado da entidade Bucket.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista de Entity.
Selecione a operação Get e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em EntityId e insira demo_replication no campo Valor padrão.
Aqui, demo_replication é um ID do bucket exclusivo na entidade Bucket.

Exemplo: criar um bucket

Este exemplo cria um bucket na entidade Bucket.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista de Entity.
Selecione a operação Create e clique em Concluído.
Na seção Task Input da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "Demo1697528098686",
"OwnerId": "b1ecc809ad8467088afb6beed9581815e4f203f70d19553de2e5d23623ac6647",
"OwnerDisplayName": "awsr_adm.cpp"
}
```
Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá um valor semelhante a este:
```
[{
"Bucket": "Demo1697528098686"
}]
```

Exemplo: excluir um bucket

Este exemplo exclui o bucket com o ID especificado na entidade Bucket.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista de Entity.
Selecione a operação Delete e clique em Concluído.
Na seção Entrada da tarefa da tarefa Conectores, clique em entityId e insira demo1697528098686 no campo Valor padrão.

Usar a conexão do Amazon S3 em uma integração

Depois de criar a conexão, ela ficará disponível tanto na Apigee Integration quanto na Application Integration. Use a conexão em uma integração por meio da tarefa Conectores.

Para entender como criar e usar a tarefa Conectores na integração da Apigee, consulte Tarefa Conectores.
Para entender como criar e usar a tarefa de conectores na Application Integration, consulte Tarefa "Conectores".

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

Entenda como suspender e retomar uma conexão.
Entenda como monitorar o uso do conector.
Entenda como visualizar os registros do conector.