Esta página foi traduzida pela API Cloud Translation.

Amazon S3

O conector do Amazon S3 oferece acesso SQL a buckets e objetos do Amazon S3.

Antes de começar

Antes de usar o conector do Amazon S3, faça o seguinte:

No seu projeto do Google Cloud, faça o seguinte:
- Verifique se a conectividade de rede está configurada. Para informações sobre padrões de rede, consulte Conectividade de rede.
- Conceda a função IAM roles/connectors.admin ao usuário que está configurando o conector.
- Conceda os seguintes papéis de IAM à conta de serviço que você quer usar para o conector:
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  Uma conta de serviço é um tipo especial de Conta do Google destinada a representar um usuário não humano que precisa ser autenticado e autorizado a acessar dados nas APIs do Google. Se você não tiver uma conta de serviço, será necessário criar uma. Para mais informações, consulte Como criar uma conta de serviço.
- Ative os seguintes serviços:
  - secretmanager.googleapis.com (API Secret Manager)
  - connectors.googleapis.com (API Connectors)
  Para entender como ativar os serviços, consulte Como ativar serviços.
Se esses serviços ou permissões não tiverem sido ativados no seu projeto, você precisará ativá-los ao configurar o conector.

Configurar o conector

Para configurar o conector, crie uma conexão com a fonte de dados (sistema de back-end). Uma conexão é específica a uma fonte de dados. Isso significa que, se você tiver muitas fontes de dados, precisará criar uma conexão separada para cada uma. Para criar uma conexão, siga estas etapas:

No console do Cloud, acesse a página Integration Connectors > Conexões e selecione ou crie um projeto do Google Cloud.
Acessar a página "Conexões"
Clique em + Criar novo para abrir a página Criar conexão.
Na seção Local, escolha o local da conexão.
1. Região: selecione um local na lista suspensa.
  Veja abaixo as regiões compatíveis com o conector:
  Para conferir a lista de todas as regiões com suporte, consulte Locais.
2. Clique em Próxima.
Na seção Detalhes da conexão, faça o seguinte:
1. Conector: selecione Amazon S3 na lista suspensa de conectores disponíveis.
2. Versão do conector: selecione a versão do conector na lista suspensa de versões disponíveis.
3. No campo Nome da conexão, insira um nome para a instância de conexão
  Os nomes de conexão precisam atender aos seguintes critérios:
  - Os nomes de conexões podem usar letras, números ou hifens.
  - As letras precisam ser minúsculas.
  - Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
  - Os nomes das conexões não podem ter mais de 49 caracteres.
4. Como opção, insira uma Descrição para a instância de conexão.
5. Como opção, ative o Cloud Logging e selecione um nível de registro. Por padrão, o nível de registro é definido como Error.
6. Conta de serviço: selecione uma conta de serviço que tenha os papéis necessários.
7. Opcionalmente, defina as Configurações do nó de conexão:
  - Número mínimo de nós: digite o número mínimo de nós de conexão.
  - Número máximo de nós: digite o número máximo de nós de conexão.
  Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.
8. Região da AWS: região em que sua instância do Amazon S3 é hospedada
9. Outra opção é clicar em + Adicionar rótulo para adicionar um rótulo à conexão na forma de um par de chave-valor.
10. Clique em Próxima.
Na seção Destinos, insira os detalhes do host remoto (sistema de back-end) ao qual você quer se conectar.
1. Tipo de destino: selecione um Tipo de destino.
  - Selecione Endereço do host na lista para especificar o nome do host ou o endereço IP do destino.
  - Para estabelecer uma conexão particular com seus sistemas de back-end, Selecione Anexo de endpoint na lista e depois selecione o anexo de endpoint necessário. na lista Endpoint Attachment.
    Observação : para entender como criar um anexo de endpoint, consulte Anexo de serviço PSC e anexo de endpoint. Depois de ter criado o anexo de endpoint, ele vai aparecer na lista Anexo do endpoint.
  Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, considere configurar endereços IP de saída estáticos para suas conexões e configure as regras de firewall para autorizar apenas os endereços IP estáticos específicos.
  
  Para inserir outros destinos, clique em +Adicionar destino.
2. Clique em Próxima.
Na seção Autenticação, insira os detalhes da autenticação.
1. Selecione um Tipo de autenticação e insira os detalhes relevantes.
  A conexão do Amazon S3 oferece suporte aos seguintes tipos de autenticação:
  - Credenciais raiz
  - Papéis do IAM da AWS
  - Credenciais temporárias da AWS
2. Clique em Next.
Revisão: revise os detalhes de conexão e autenticação.
Clique em Criar.

Configurar a autenticação

Digite os detalhes com base na autenticação que você quer usar.

Credenciais raiz
Para autenticar usando as credenciais raiz da conta.
- Chave de acesso da AWS: a chave de acesso do usuário raiz
- AWS Access Secret: a chave secreta do usuário raiz

Papéis do IAM da AWS
Para fazer a autenticação usando um papel do IAM da AWS.
- Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel de
- AWS Access Secret: a chave secreta do usuário do IAM que vai assumir o papel.
- ARN do papel da AWS: especifique o ARN do papel com que você quer fazer a autenticação. Somente as credenciais para o papel especificado seriam recuperadas.
- ID externo da AWS: obrigatório apenas quando você assume um papel em outra conta.

Credenciais temporárias da AWS
Para autenticar usando credenciais temporárias
- Chave de acesso da AWS: a chave de acesso do usuário do IAM para assumir o papel de
- AWS Access Secret: a chave secreta do usuário do IAM que vai assumir o papel.
- Token de sessão da AWS: é gerado com as credenciais temporárias.
- ARN do papel da AWS: especifique o ARN do papel com que você quer fazer a autenticação. Somente as credenciais para o papel especificado seriam recuperadas.
- ID externo da AWS: obrigatório apenas quando você assume um papel em outra conta.

Para saber como configurar uma conta da AWS, consulte Configurar o Amazon S3. Para saber como criar um bucket do S3, consulte Criar um bucket do S3. Entre em contato com o administrador da AWS para criar credenciais de função do IAM ou temporárias na conta da AWS.

Exemplos de configuração de conexão

Esta seção lista os valores de exemplo para os vários campos que você configura ao criar a conexão do Amazon S3.

Tipo de conexão das credenciais raiz

Nome do campo	Detalhes
Local	europe-west1
Conector	Amazon S3
Versão do conector	1
Nome da conexão	aws-s3
Descrição	aws-s3
Conta de serviço	SERVICE_ACCOUNT_NAME@serviceaccount
Região da AWS	Norte da Virgínia
Número mínimo de nós	2
Número máximo de nós	50
Credenciais raiz	Sim
Chave de acesso da AWS	AWS_ACCESS_KEY
AWS Access Secret	AWS_ACCESS_SECRET
Versão do secret	1

Tipo de conexão de papéis do IAM da AWS

Nome do campo	Detalhes
Local	europe-west1
Conector	Amazon S3
Versão do conector	1
Nome da conexão	aws-s3
Descrição	aws-s3
Conta de serviço	SERVICE_ACCOUNT_NAME@serviceaccount
Região da AWS	Norte da Virgínia
Número mínimo de nós	2
Número máximo de nós	50
Papéis do IAM da AWS	Sim
Chave de acesso da AWS	AWS_ACCESS_KEY
AWS Access Secret	AWS_ACCESS_SECRET
Versão do secret	1

Tipo de conexão de credenciais temporárias da AWS

Nome do campo	Detalhes
Local	europe-west1
Conector	Amazon S3
Versão do conector	1
Nome da conexão	aws-s3
Descrição	aws-s3
Conta de serviço	SERVICE_ACCOUNT_NAME@serviceaccount
Região da AWS	Norte da Virgínia
Número mínimo de nós	2
Número máximo de nós	50
Credenciais temporárias da AWS	Sim
Chave de acesso da AWS	AWS_ACCESS_KEY
AWS Access Secret	AWS_ACCESS_SECRET
Versão do secret	1
Token de sessão da AWS	AWS_SESSION_TOKEN

Entidades, operações e ações

Todos os Integration Connectors fornecem uma camada de abstração para os objetos do aplicativo conectado. Só é possível acessar os objetos de um aplicativo por esta abstração. A abstração é exposta a você como entidades, operações e ações.

Entidade: uma entidade pode ser considerada um objeto ou um conjunto de propriedades no aplicativo ou serviço conectado. A definição de uma entidade difere de um conector para outro. Por exemplo, em um conector de banco de dados, as tabelas são as entidades, em um conector de servidor de arquivos, as pastas são as entidades e, em um conector de sistema de mensagens, as filas são as entidades.
No entanto, é possível que um conector não aceite ou não tenha entidades. Nesse caso, a lista Entities estará vazia.
Operação: uma operação é a atividade que pode ser realizada em uma entidade. É possível executar qualquer uma das seguintes operações em uma entidade:
- Lista
- Receber
- Criar
- Atualizar
- Excluir
Selecionar uma entidade na lista disponível gera uma lista de operações disponíveis para ela. Para uma descrição detalhada das operações, consulte as operações de entidades da tarefa "Conectores". No entanto, se um conector não oferecer suporte a nenhuma das operações de entidade, essas operações sem suporte não serão listadas na lista Operations.
Ação: uma ação é uma função de primeira classe disponibilizada para a integração por meio da interface do conector. Uma ação permite fazer alterações em uma ou mais entidades e varia de um conector para outro. Normalmente, uma ação tem alguns parâmetros de entrada e um de saída. No entanto, é possível que o conector não ofereça suporte a nenhuma ação. Nesse caso, a lista Actions estará vazia.

Ações

Esta seção lista algumas das ações aceitas pelo conector. Para entender como configurar as ações, consulte Exemplos de ação.

Observação:os resultados de todas as ações vão estar disponíveis como uma resposta JSON no parâmetro de resposta connectorOutputPayload da tarefa Connectors após a execução da integração.

Ação CopyObject

Essa ação permite copiar um objeto de um bucket para outro ou dentro do mesmo bucket.

Parâmetros de entrada da ação CopyObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
BucketSource	String	Sim	Nome do bucket de onde o objeto será copiado.
ObjectSource	Objeto	Sim	Nome do objeto que deve ser copiado.
BucketDestination	String	Sim	Nome do bucket para onde o objeto será copiado.
ObjectDestination	String	Não	Nome do objeto no bucket de destino. Se não for especificado, o nome será o mesmo do original.

Parâmetros de saída da ação CopyObject

Essa ação retorna o status 200 (OK) se a cópia for bem-sucedida.

Para entender como configurar a ação CopyObject, consulte Exemplos de ação.

Ação DownloadObjects

Essa ação recebe mais um objeto de um bucket.

Parâmetros de entrada da ação DownloadObjects

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto para download está presente.
Objeto	String	Não	Nome do objeto que deve ser transferido por download. Se não for especificado, o download de todos os objetos do bucket especificado será feito.
HasBytes	Booleano	Sim	Especifica se o conteúdo precisa ser transferido por download como uma string codificada em Base64.
UpdatedStartDate	Data/hora	Não	A data de início do período para fazer o download de objetos. Se não for especificado, o download dos objetos será feito do mais antigo até a data de término atualizada.
UpdatedEndDate	Data/hora	Não	A data de término do período para fazer o download de objetos. Se não for especificado, o download de objetos será feito desde a UpdatedStartDate especificada até o dia atual.

Parâmetros de saída da ação DownloadObjects

Essa ação retorna o status 200 (OK) se o download for bem-sucedido.

Para entender como configurar a ação DownloadObjects, consulte Exemplos de ação.

Ação UploadObject

Com essa ação, você pode fazer upload de um objeto para um bucket.

Parâmetros de entrada da ação UploadObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto será enviado por upload.
ContentBytes	String	Não	O conteúdo do byte a ser enviado como um arquivo.
HasBytes	Booleano	Sim	Especifica se o conteúdo precisa ser enviado como uma string codificada em Base64.
AccessPolicy	String	Não	A política de acesso para este objeto. Os valores permitidos são PRIVATE, ANONREAD, ANONREADWRITE e AUTHREAD. O valor padrão é PRIVADO.
Conteúdo	String	Não	O conteúdo a ser enviado.
FileName	String	Não	Nome do arquivo a ser enviado. Esse valor é necessário quando você especifica o parâmetro FileContent.

Parâmetros de saída da ação UploadObject

Essa ação retorna o status 200 (OK) se o upload do objeto for bem-sucedido.

Para entender como configurar a ação UploadObject, consulte Exemplos de ação.

Ação DeleteObject

Com essa ação, você pode excluir um objeto de um bucket.

Parâmetros de entrada da ação DeleteObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto a ser excluído está presente.
Objeto	String	Sim	Nome do objeto que será excluído.

Parâmetros de saída da ação DeleteObject

Essa ação retorna o status 200 (OK) se a exclusão for bem-sucedida.

Para entender como configurar a ação DeleteObject, consulte Exemplos de ação.

Ação MoveObject

Essa ação permite que os usuários movam um objeto de um bucket específico para outro ou no mesmo bucket.

Parâmetros de entrada da ação MoveObject

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
BucketSource	String	Sim	O nome do bucket de origem em que o objeto a ser movido está presente.
ObjectSource	String	Sim	Nome do objeto que precisa ser movido.
BucketDestination	String	Sim	O nome do bucket de destino para onde o objeto será movido.
ObjectDestination	String	Não	Nome do objeto no bucket de destino. Se não for especificado, o nome original será mantido.

Parâmetros de saída da ação MoveObject

Essa ação retorna o status 200 (OK) se a operação de mover for bem-sucedida.

Para entender como configurar a ação MoveObject, consulte Exemplos de ação.

Ação PutBucketAcl

Com essa ação, você pode atualizar a lista de controle de acesso (ACL) de um bucket.

Parâmetros de entrada da ação PutBucketAcl

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que a ACL precisa ser aplicada.
ACL	String	Sim	Nível de acesso a ser aplicado ao bucket.

Parâmetros de saída da ação PutBucketAcl

Essa ação retorna o status 200 (OK) se a atualização da ACL do bucket for bem-sucedida.

Para entender como configurar a ação PutBucketAcl, consulte Exemplos de ação.

Ação PutObjectAcl

Com essa ação, você pode atualizar a lista de controle de acesso (ACL) de um objeto em um bucket.

Parâmetros de entrada da ação PutObjectAcl

Nome do parâmetro	Tipo de dados	Obrigatório	Descrição
Bucket	String	Sim	Nome do bucket em que o objeto está presente.
ACL	String	Sim	Nível de acesso a ser aplicado ao objeto.
CHAVE	String	Sim	Nome do objeto para que a ACL precisa ser aplicada.

Parâmetros de saída da ação PutObjectAcl

Essa ação retorna o status 200 (OK) se a atualização da ACL de objeto for bem-sucedida.

Para entender como configurar a ação PutObjectAcl, consulte Exemplos de ação.

Exemplos de ação

Esta seção descreve como realizar algumas das ações neste conector.

Exemplo: copiar um objeto

Este exemplo copia um objeto de um bucket para outro.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação CopyObject e clique em Concluído.

Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

{
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "pic.jpg",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "new_pic.jpg"
}

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa CopyObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: fazer o download de um objeto

Este exemplo faz o download de um objeto do bucket especificado.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação DownloadObjects e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"HasBytes": true
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DownloadObjects terá um valor semelhante a este:

[{
"Success": "True",
"RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json",
"ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK"
},
{
"Success": "True",
"RemoteFile": "upload1.txt",
"ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ=="
}]

Exemplo: fazer upload de um objeto

Neste exemplo, um objeto é enviado para o bucket especificado.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação UploadObject e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"FileName": "upload_1.txt",
"Content": "This is a testing file",
"AccessPolicy": "PUBLIC"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa UploadObject terá um valor semelhante a este:

[{
"Status": "success",
"bucket": "aws-s3-bucket-source",
"rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source",
"object": "upload_1.txt"
}]

Exemplo: excluir um objeto

Este exemplo exclui um objeto do bucket especificado.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação DeleteObject e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"Object": "abc.png"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa DeleteObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: mover um objeto

Neste exemplo, um objeto é movido de um bucket para outro.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação MoveObject e clique em Concluído.

Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:

{
"BucketSource": "aws-s3-bucket-source",
"ObjectSource": "abc.png",
"BucketDestination": "aws-s3-bucket-destination",
"ObjectDestination": "moved.png"
}

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa MoveObject terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: atualizar a ACL de um bucket

Este exemplo atualiza as permissões de controle de acesso de um bucket.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação PutBucketAcl e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"BucketSource": "aws-s3-bucket-source",
"ACL": "public-read"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa PutBucketAcl terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplo: atualizar a ACL de um objeto

Este exemplo atualiza as permissões de controle de acesso de um objeto em um bucket.

Na caixa de diálogo Configure connector task, clique em Actions.
Selecione a ação PutObjectAcl e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "aws-s3-bucket-source",
"ACL": "aws-exec-read",
"Key": "AWS_S3_BusinessCase_V2.xlsx"
}
```

Se a ação for bem-sucedida, o parâmetro de resposta connectorOutputPayload da tarefa PutObjectAcl terá um valor semelhante a este:

[{
"Status": "Success"
}]

Exemplos de operação de entidade

Esta seção mostra como realizar algumas das operações de entidade neste conector.

Exemplo: listar os metadados de todos os objetos

Este exemplo busca os metadados de todos os objetos na entidade Object.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Object na lista Entity.
Selecione a operação List e clique em Concluído.
Opcionalmente, na seção Entrada de tarefa da tarefa Conectores, é possível filtrar o conjunto de resultados especificando uma cláusula de filtro. Especifique o valor da cláusula de filtro sempre entre aspas simples ("). Por exemplo, Bucket='test-bucket'. Também é possível especificar várias condições de filtro usando os operadores lógicos. Por exemplo, Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'.

Exemplo: acessar metadados de um bucket

Este exemplo recebe os metadados do bucket com o ID especificado da entidade Bucket.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista Entity.
Selecione a operação Get e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em EntityId e insira demo_replication no campo Valor padrão.
Aqui, demo_replication é um ID de bucket exclusivo na entidade Bucket.

Exemplo: criar um bucket

Este exemplo cria um bucket na entidade Bucket.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista Entity.
Selecione a operação Create e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em connectorInputPayload e insira um valor semelhante ao seguinte no campo Default Value:
```
{
"Bucket": "Demo1697528098686"
}
```
Se a integração for bem-sucedida, o campo connectorOutputPayload da tarefa do conector terá um valor semelhante a este:
```
[{
"Bucket": "Demo1697528098686"
}]
```

Exemplo: excluir um bucket

Neste exemplo, o bucket com o ID especificado na entidade Bucket é excluído.

Na caixa de diálogo Configure connector task, clique em Entities.
Selecione Bucket na lista Entity.
Selecione a operação Delete e clique em Concluído.
Na seção Entrada da tarefa da tarefa Connectors, clique em entityId e digite demo1697528098686 no campo Valor padrão.

Usar a conexão do Amazon S3 em uma integração

Depois de criar a conexão, ela fica disponível na integração da Apigee e na integração do aplicativo. É possível usar a conexão em uma integração pela tarefa de conectores.

Para entender como criar e usar a tarefa "Connectors" na integração da Apigee, consulte Tarefa Connectors.
Para entender como criar e usar a tarefa "Conectores" na integração de aplicativos, consulte Tarefa "Conectores".

Receber ajuda da comunidade do Google Cloud

Poste suas dúvidas e converse sobre esse conector na comunidade do Google Cloud em Fóruns do Cloud.

A seguir

Entenda como suspender e retomar uma conexão.
Entenda como monitorar o uso do conector.
Saiba como acessar os registros do conector.