Amazon S3
El conector de Amazon S3 proporciona acceso de SQL a los buckets y objetos de Amazon S3.
Antes de comenzar
Antes de usar el conector de Amazon S3, realiza las siguientes tareas:
- En tu proyecto de Google Cloud, haz lo siguiente:
- Otorga el rol de IAM roles/connectors.admin al usuario. configurar el conector.
- Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
roles/secretmanager.viewer
roles/secretmanager.secretAccessor
Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.
- Habilita los siguientes servicios:
secretmanager.googleapis.com
(API de Secret Manager)connectors.googleapis.com
(API de conectores)
Para comprender cómo habilitar servicios, consulta Habilita servicios.
Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.
Configura el conector
Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:
- En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.
- Haz clic en + Crear nuevo para abrir la página Crear conexión.
- En la sección Ubicación, elige la ubicación para la conexión.
- Región: selecciona una ubicación de la lista desplegable.
Entre las regiones admitidas para los conectores, se incluyen las siguientes:
Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.
- Haz clic en Siguiente.
- Región: selecciona una ubicación de la lista desplegable.
- En la sección Detalles de la conexión, completa lo siguiente:
- Conector: Selecciona Amazon S3 en la lista desplegable de conectores disponibles.
- Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
- En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.
Los nombres de las conexiones deben cumplir con los siguientes criterios:
- Los nombres de las conexiones pueden usar letras, números o guiones.
- Las letras deben estar en minúsculas.
- Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
- Los nombres de las conexiones no pueden superar los 49 caracteres.
- De manera opcional, ingresa una Descripción para la instancia de conexión.
- De manera opcional, habilita Cloud Logging y, luego, selecciona un nivel de registro. De forma predeterminada, el nivel de registro se establece en
Error
. - Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
- De manera opcional, configura los parámetros de nodo de conexión:
- Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
- Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.
Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.
- Región de AWS: Es la región en la que se aloja tu instancia de Amazon S3.
- De forma opcional, haz clic en + Agregar etiqueta para agregar una etiqueta a la conexión en forma de un par clave-valor.
- Haz clic en Siguiente.
- En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
- Tipo de destino: Selecciona un Tipo de destino.
- Selecciona Dirección de host en la lista para especificar el nombre de host o la dirección IP del destino.
- Si deseas establecer una conexión privada con tus sistemas de backend, Selecciona Adjunto de extremo de la lista y, luego, selecciona el adjunto de extremo requerido. de la lista Adjunto de extremo.
Si deseas establecer una conexión pública con tus sistemas de backend con seguridad adicional, puedes considera configurar la configuración estática de direcciones IP internas para tus conexiones y, luego, para incluir en la lista de entidades permitidas solo las direcciones IP estáticas específicas.
Para ingresar destinos adicionales, haz clic en +Agregar destino.
- Haz clic en Siguiente.
- Tipo de destino: Selecciona un Tipo de destino.
-
En la sección Autenticación, ingresa los detalles de autenticación.
- Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
La conexión de Amazon S3 admite los siguientes tipos de autenticación:
- Credenciales raíz
- Funciones de IAM de AWS
- Credenciales temporales de AWS
- Haz clic en Siguiente.
Para comprender cómo configurar estos tipos de autenticación, consulta Configura la autenticación.
- Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
- Revisa: Revisa tus detalles de conexión y autenticación.
- Haz clic en Crear.
Configura la autenticación
Ingresa los detalles según la autenticación que desees usar.
-
Credenciales raíz
Para autenticar con credenciales raíz de la cuenta.
- Clave de acceso de AWS: la clave de acceso del usuario raíz
- Secreto de acceso de AWS: Es la clave secreta del usuario raíz.
-
Roles de IAM de AWS
Para autenticar con un rol de IAM de AWS.
- Clave de acceso de AWS: Es la clave de acceso del usuario de IAM para asumir el rol.
- Secreto de acceso de AWS: Es la clave secreta del usuario de IAM que asumirá el rol.
- ARN de rol de AWS: Especifica el ARN de rol con el que deseas autenticarte. Solo se recuperarían las credenciales para el rol especificado.
- ID externo de AWS: Es obligatorio solo cuando asumes un rol en otra cuenta.
-
Credenciales temporales de AWS
Sigue estos pasos para autenticar con credenciales temporales:
- Clave de acceso de AWS: Es la clave de acceso del usuario de IAM para asumir el rol.
- Secreto de acceso a AWS: La clave secreta del usuario de IAM que asumirá la función de
- Token de sesión de AWS: Se genera junto con las credenciales temporales.
- ARN de rol de AWS: especifica el ARN de rol para el rol con el que deseas autenticarte. Solo se recuperarían las credenciales del rol especificado.
- ID externo de AWS: Es obligatorio solo si asumes un rol en otra cuenta.
Entidades, operaciones y acciones
Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.
- Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.
Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista
Entities
estará vacía. - Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, estas operaciones no compatibles no se incluyen en la lista
Operations
. - Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Normalmente, una acción tendrá algunos parámetros de entrada y una
parámetro. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista
Actions
estará vacía.
Acciones
En esta sección, se enumeran algunas de las acciones que admite el conector. Para comprender cómo configurar las acciones, consulta Ejemplos de acciones.
Action CopyObject
Esta acción te permite copiar un objeto de un bucket a otro o dentro del mismo bucket.
Parámetros de entrada de la acción CopyObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
BucketSource | String | Sí | Es el nombre del bucket desde el que se debe copiar el objeto. |
ObjectSource | Objeto | Sí | Es el nombre del objeto que se debe copiar. |
BucketDestination | String | Sí | Nombre del bucket en el que se debe copiar el objeto. |
ObjectDestination | String | No | Nombre del objeto en el bucket de destino. Si no se especifica, el nombre será el mismo que el nombre original. |
Parámetros de salida de la acción CopyObject
Esta acción devuelve el estado 200 (OK) si la copia se realiza correctamente.
Para comprender cómo configurar la acción CopyObject
, consulta Ejemplos de acciones.
Acción DownloadObjects
Con esta acción, se obtiene uno o más objetos de un bucket.
Parámetros de entrada de la acción DownloadObjects
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Bucket | String | Sí | Nombre del bucket en el que se encuentra el objeto que se descargará. |
Objeto | String | No | Nombre del objeto que se debe descargar. Si no se especifica, todos los objetos del bucket especificado. |
HasBytes | Booleano | Sí | Especifica si el contenido se debe descargar como una cadena codificada en base64. |
UpdatedStartDate | Fecha y hora | No | Es la fecha de inicio del intervalo de tiempo en el que se descargan objetos. Si no se especifica, los objetos se descargan desde la fecha más antigua hasta la fecha de actualización inicial. |
UpdatedEndDate | Fecha y hora | No | Es la fecha de finalización del período para descargar objetos. Si no se especifica, los objetos se descargan desde la RefreshStartDate especificada hasta el día actual. |
Parámetros de salida de la acción DownloadObjects
Esta acción devuelve el estado 200 (OK) si la descarga se realiza correctamente.
Para comprender cómo configurar la acción DownloadObjects
, haz lo siguiente:
consulta Ejemplos de acciones.
Acción UploadObject
Esta acción te permite subir un objeto a un bucket.
Parámetros de entrada de la acción UploadObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Bucket | String | Sí | Es el nombre del bucket en el que se debe subir el objeto. |
ContentBytes | String | No | Es el contenido de bytes que se subirá como un archivo. |
HasBytes | Booleano | Sí | Especifica si el contenido se debe subir como una cadena codificada en Base64. |
AccessPolicy | String | No | Es la política de acceso de este objeto. Los valores permitidos son PRIVATE, ANONREAD, ANONREADWRITE y AUTHREAD. El valor predeterminado es PRIVATE. |
Contenido | String | No | El contenido que se subirá. |
Nombre del archivo | String | No | Es el nombre del archivo que se subirá. Este valor es obligatorio cuando especificas el parámetro FileContent. |
Parámetros de salida de la acción UploadObject
Esta acción muestra el estado 200 (OK) si la carga del objeto se realiza correctamente.
Para comprender cómo configurar la acción UploadObject
, haz lo siguiente:
consulta Ejemplos de acciones.
Acción DeleteObject
Esta acción te permite borrar un objeto de un bucket.
Parámetros de entrada de la acción DeleteObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Bucket | String | Sí | Nombre del bucket en el que se encuentra el objeto que se borrará. |
Objeto | String | Sí | Es el nombre del objeto que se debe borrar. |
Parámetros de salida de la acción DeleteObject
Esta acción muestra el estado 200 (OK) si la eliminación se realiza correctamente.
Para comprender cómo configurar la acción DeleteObject
, haz lo siguiente:
consulta Ejemplos de acciones.
Action MoveObject
Esta acción permite a los usuarios mover un objeto existente de un bucket específico a otro o al mismo bucket.
Parámetros de entrada de la acción MoveObject
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
BucketSource | String | Sí | El nombre del bucket de origen al que se moverá el objeto que se moverá está presente. |
ObjectSource | String | Sí | Es el nombre del objeto que se debe mover. |
BucketDestination | String | Sí | El nombre del bucket de destino al que se debe mover el objeto. |
ObjectDestination | String | No | Es el nombre del objeto en el bucket de destino. Si no se especifica, se conserva el nombre original. |
Parámetros de salida de la acción MoveObject
Esta acción devuelve el estado 200 (OK) si la operación de movimiento se realizó correctamente.
Para comprender cómo configurar la acción MoveObject
, haz lo siguiente:
consulta Ejemplos de acciones.
Acción PutBucketAcl
Esta acción te permite actualizar la Lista de control de acceso (LCA) de un bucket.
Parámetros de entrada de la acción PutBucketAcl
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Bucket | String | Sí | Nombre del bucket para el que se debe aplicar la LCA. |
LCA | String | Sí | Es el nivel de acceso que se aplicará al bucket. |
Parámetros de salida de la acción PutBucketAcl
Esta acción muestra el estado 200 (OK) si la actualización de la ACL del bucket se realiza correctamente.
Para comprender cómo configurar la acción PutBucketAcl
, consulta Ejemplos de acciones.
Acción PutObjectAcl
Esta acción te permite actualizar la lista de control de acceso (LCA) de un objeto en un bucket.
Parámetros de entrada de la acción PutObjectAcl
Nombre del parámetro | Tipo de datos | Obligatorio | Descripción |
---|---|---|---|
Bucket | String | Sí | Es el nombre del bucket en el que se encuentra el objeto. |
LCA | String | Sí | Es el nivel de acceso que se aplicará al objeto. |
CLAVE | String | Sí | Es el nombre del objeto para el que se debe aplicar la LCA. |
Parámetros de salida de la acción PutObjectAcl
Esta acción muestra el estado 200 (OK) si la actualización de la LCA del objeto se realiza correctamente.
Para comprender cómo configurar la acción PutObjectAcl
, consulta Ejemplos de acciones.
Ejemplos de acciones
En esta sección, se describe cómo realizar algunas de las acciones en este conector.
Ejemplo: Cómo copiar un objeto
En este ejemplo, se copia un objeto de un bucket a otro.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
CopyObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el CampoDefault Value
:{ "BucketSource": "aws-s3-bucket-source", "ObjectSource": "pic.jpg", "BucketDestination": "aws-s3-bucket-destination", "ObjectDestination": "new_pic.jpg" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea CopyObject
tendrá un valor similar al siguiente:
[{ "Status": "Success" }]
Ejemplo: Descarga un objeto
En este ejemplo, se descarga un objeto del bucket especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
DownloadObjects
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el CampoDefault Value
:{ "Bucket": "aws-s3-bucket-source", "HasBytes": true }
Si la acción tiene éxito, el
Respuesta connectorOutputPayload
de la tarea DownloadObjects
tendrá un valor similar al siguiente:
[{ "Success": "True", "RemoteFile": "prefix1%2Faws-s3-bucket-source%2Finventory-test-1%2F2023-09-10T01-00Z%2Fmanifest.json", "ContentBytes": "ewogICJzb3VyY2VCdWNrZXQiIDogImF3cy1zMy1idWNrZXQtYmNvbmUiLAogICJnOK" }, { "Success": "True", "RemoteFile": "upload1.txt", "ContentBytes": "VGhpcyBpcyBhIHRlc3RpbmcgZmlsZQ==" }]
Ejemplo: sube un objeto
En este ejemplo, se sube un objeto al bucket especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
UploadObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el CampoDefault Value
:{ "Bucket": "aws-s3-bucket-source", "FileName": "upload_1.txt", "Content": "This is a testing file", "AccessPolicy": "PUBLIC" }
Si la acción tiene éxito, el
Respuesta connectorOutputPayload
de la tarea UploadObject
tendrá un valor similar al siguiente:
[{ "Status": "success", "bucket": "aws-s3-bucket-source", "rss:title": "Object 'upload_1.txt' was created in the bucket: aws-s3-bucket-source", "object": "upload_1.txt" }]
Ejemplo: Borra un objeto
En este ejemplo, se borra un objeto del bucket especificado.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
DeleteObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el CampoDefault Value
:{ "Bucket": "aws-s3-bucket-source", "Object": "abc.png" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea DeleteObject
tendrá un valor similar al siguiente:
[{ "Status": "Success" }]
Ejemplo: mover un objeto
En este ejemplo, se mueve un objeto de un bucket a otro.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
MoveObject
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "BucketSource": "aws-s3-bucket-source", "ObjectSource": "abc.png", "BucketDestination": "aws-s3-bucket-destination", "ObjectDestination": "moved.png" }
Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload
de la tarea MoveObject
tendrá un valor similar al siguiente:
[{ "Status": "Success" }]
Ejemplo: actualiza la LCA de un bucket
En este ejemplo, se actualizan los permisos de control de acceso de un bucket.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
PutBucketAcl
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "BucketSource": "aws-s3-bucket-source", "ACL": "public-read" }
Si la acción tiene éxito, el
Respuesta connectorOutputPayload
de la tarea PutBucketAcl
tendrá un valor similar al siguiente:
[{ "Status": "Success" }]
Ejemplo: Actualiza la LCA de un objeto
En este ejemplo, se actualizan los permisos de control de acceso de un objeto en un bucket.
- En el cuadro de diálogo
Configure connector task
, haz clic enActions
. - Selecciona la acción
PutObjectAcl
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Bucket": "aws-s3-bucket-source", "ACL": "aws-exec-read", "Key": "AWS_S3_BusinessCase_V2.xlsx" }
Si la acción tiene éxito, el
Respuesta connectorOutputPayload
de la tarea PutObjectAcl
tendrá un valor similar al siguiente:
[{ "Status": "Success" }]
Ejemplos de operaciones de entidades
En esta sección, se muestra cómo realizar algunas de las operaciones de la entidad en este conector.
Ejemplo: Enumera los metadatos de todos los objetos
En este ejemplo, se recuperan los metadatos de todos los objetos de la entidad Object
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Object
en la listaEntity
. - Selecciona la operación
List
y, luego, haz clic en Listo. - De manera opcional, en la sección Entrada de tarea de la tarea Conectores, puedes realizar lo siguiente:
filtrar tu conjunto de resultados especificando una cláusula de filtro.
Especifica el valor de la cláusula de filtro siempre entre comillas simples ('). Por ejemplo,
Bucket='test-bucket'
. También puedes especificar varias condiciones de filtro con los operadores lógicos. Por ejemplo,Bucket='test-bucket' and OwnerId='b1ecc809ad8467088afb'
.
Ejemplo: Obtén metadatos de un bucket
En este ejemplo, se obtienen los metadatos del bucket con el ID especificado de la entidad Bucket
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Bucket
en la listaEntity
. - Selecciona la operación
Get
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en EntityId y, luego, ingresa
demo_replication
en el campo Default Value.Aquí,
demo_replication
es un ID de bucket único en la entidadBucket
.
Ejemplo: crea un bucket
En este ejemplo, se crea un bucket en la entidad Bucket
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Bucket
en la listaEntity
. - Selecciona la operación
Create
y haz clic en Listo. - En la sección Task Input de la tarea Connectors, haz clic en
connectorInputPayload
y, luego, ingresa un valor similar al siguiente en el campoDefault Value
:{ "Bucket": "Demo1697528098686" }
Si la integración se realiza correctamente, el campo
connectorOutputPayload
de la tarea del conector tendrá un valor similar al siguiente:[{ "Bucket": "Demo1697528098686" }]
Ejemplo: Borra un bucket
En este ejemplo, se borra el bucket con el ID especificado en la entidad Bucket
.
- En el cuadro de diálogo
Configure connector task
, haz clic enEntities
. - Selecciona
Bucket
de la listaEntity
. - Selecciona la operación
Delete
y haz clic en Listo. - En la sección Entrada de tarea de la tarea Conectores, haz clic en entityId y
Luego, ingresa
demo1697528098686
en el campo Valor predeterminado.
Usa la conexión de Amazon S3 en una integración
Después de que crees la conexión, estará disponible en Apigee Integration y Application Integration. Puedes usar la conexión en una integración a través de la tarea Conectores.
- Para comprender cómo crear y usar la tarea Connectors en la integración de Apigee, consulta Tarea Connectors.
- Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la Tarea Conectores.
Obtén ayuda de la Comunidad de Google Cloud
Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.¿Qué sigue?
- Obtén información para suspender y reanudar una conexión.
- Aprende a supervisar el uso del conector.
- Aprende a ver los registros del conector.