El Servicio de transferencia de almacenamiento admite la transferencia de objetos o archivos específicos, se especifican con un manifiesto. Un manifiesto es un archivo CSV que se sube a Cloud Storage y que contiene una lista de archivos u objetos sobre los que el Servicio de transferencia de almacenamiento realizará acciones.
Se puede usar un manifiesto para las siguientes transferencias:
De AWS S3, Azure Blobstore o Cloud Storage a un bucket de Cloud Storage.
De un sistema de archivos a un bucket de Cloud Storage
Del almacenamiento compatible con S3 a un bucket de Cloud Storage
De un bucket de Cloud Storage a un sistema de archivos
Entre dos sistemas de archivos
De una fuente HTTP/HTTPS de acceso público a un bucket de Cloud Storage. Sigue las instrucciones que se indican en Crea una lista de URLs como manifiesto. es único para las listas de URLs.
Crea un manifiesto
Los manifiestos deben tener el formato CSV y pueden contener cualquier carácter UTF-8. La primera columna debe ser un nombre de archivo o de objeto especificado como una cadena.
Los archivos de manifiesto no admiten comodines. El valor debe ser un nombre de archivo o objeto específico. No se admiten los nombres de carpetas sin un nombre de archivo o de objeto.
El tamaño máximo del archivo de manifiesto es de 1 GiB, lo que equivale a aproximadamente 1 millón de filas. Si necesitas transferir un archivo de manifiesto que supera 1 GiB, puedes dividirlo en varios archivos y ejecutar varios trabajos de transferencia.
Si el nombre de un archivo o de un objeto contiene comas, el nombre debe incluirse entre
comillas dobles, según
Estándares CSV.
Por ejemplo, "object1,a.txt"
Recomendamos probar la transferencia con un pequeño subconjunto de objetos o archivos para evitar llamadas a la API innecesarias debido a errores de configuración.
Puedes supervisar el estado de las transferencias de archivos desde la página Trabajos de transferencia. Los archivos o los objetos que no se pueden transferir se muestran en los registros de transferencia.
Transferencias del sistema de archivos
Para crear un manifiesto de archivos en un sistema de archivos, crea un archivo CSV con una sola columna que contenga las rutas de acceso a archivos relacionadas con el directorio raíz especificado en la creación del trabajo de transferencia.
Por ejemplo, te recomendamos que transfieras los siguientes archivos del sistema de archivos:
Ruta de acceso al archivo |
---|
rootdir/dir1/subdir1/file1.txt |
rootdir/file2.txt |
rootdir/dir2/subdir1/file3.txt |
Tu manifiesto debería verse como el siguiente ejemplo:
dir1/subdir1/file1.txt
file2.txt
dir2/subdir1/file3.txt
Transferencias de almacenamiento de objetos
Para crear un manifiesto de objetos, crea un archivo CSV cuya primera columna contenga los nombres de los objetos relacionados con el nombre y la ruta de acceso del bucket especificados en la creación del trabajo de transferencia. Todos los objetos deben estar en el mismo bucket.
También puedes especificar una segunda columna opcional con el número de generación de Cloud Storage de la versión específica que deseas transferir.
Por ejemplo, es posible que desees transferir los siguientes objetos:
Ruta de acceso del objeto | Número de generación de Cloud Storage |
---|---|
SOURCE_PATH/object1.pdf |
1664826685911832 |
SOURCE_PATH/object2.pdf |
|
SOURCE_PATH/object3.pdf |
1664826610699837 |
Tu manifiesto debería verse como el siguiente ejemplo:
object1.pdf,1664826685911832
object2.pdf
object3.pdf,1664826610699837
Guarda el archivo de manifiesto con cualquier nombre y una extensión .csv
.
Transferencias de HTTP/HTTPS
Para transferir archivos específicos desde una fuente HTTP o HTTPS, consulta la Instrucciones en Cómo crear una lista de URLs.
Publica el manifiesto
Una vez que hayas creado el manifiesto, debes ponerlo a disposición del Servicio de transferencia de almacenamiento. El Servicio de transferencia de almacenamiento puede acceder al archivo en un bucket de Cloud Storage o en tu sistema de archivos.
Sube el manifiesto a Cloud Storage
Puedes almacenar el archivo de manifiesto en cualquier bucket de Cloud Storage.
El agente de servicio que ejecuta el
transferencia debe tener permiso storage.objects.get
para el bucket que contiene
el manifiesto. Consulta
Otorga los permisos necesarios.
para obtener instrucciones sobre cómo encontrar el ID del agente de servicio y otorgar permisos a
el agente de servicio en un bucket.
Para obtener instrucciones sobre cómo subir el manifiesto a un bucket, consulta Sube objetos a Cloud Storage. en la documentación de Google Cloud.
Por ejemplo, si quieres usar la CLI de gcloud
para subir un archivo a Cloud Storage,
usa el comando gcloud storage cp
:
gcloud storage cp MANIFEST.CSV gs://DESTINATION_BUCKET_NAME/
Aquí:
MANIFEST.CSV
es la ruta local a tu . Por ejemplo,Desktop/manifest01.csv
DESTINATION_BUCKET_NAME
es el nombre del bucket al que subes el objeto. Por ejemplo,my-bucket
Si se ejecuta de forma correcta, la respuesta se parece al siguiente ejemplo:
Completed files 1/1 | 164.3kiB/164.3kiB
Puedes encriptar un manifiesto con claves de encriptación de Cloud KMS administradas por el cliente. En este caso, asegúrate de que cualquier cuenta de servicio que acceda al manifiesto tenga asignadas las claves de encriptación aplicables. No se admiten las claves proporcionadas por el cliente.
Almacena el manifiesto en un sistema de archivos
Puedes almacenar el archivo de manifiesto en tu sistema de archivos fuente o de destino.
Los agentes de transferencia deben poder acceder a la ubicación del archivo. Si restringes el acceso al directorio de tus agentes, asegúrate de que el archivo de manifiesto se encuentre dentro de un directorio activado.
Cómo iniciar una transferencia
No modifiques el archivo de manifiesto hasta que se complete una operación de transferencia. Se recomienda bloquear el archivo de manifiesto cuando se realiza una transferencia
Consola de Cloud
Para iniciar una transferencia con un manifiesto desde la consola de Cloud, sigue estos pasos:
Sigue las instrucciones en Cómo crear transferencias para seleccionar la fuente, el destino y las opciones.
En el paso final, Elige la configuración y selecciona la casilla de verificación Proporciona una lista de archivos para transferir mediante un archivo de manifiesto.
Ingresa la ubicación del archivo de manifiesto.
gcloud
Para transferir los archivos o los objetos que se enumeran en el manifiesto, incluye la marca --manifest-file=MANIFEST_FILE
con el comando gcloud transfer jobs create
.
gcloud transfer jobs create SOURCE DESTINATION \
--manifest-file=MANIFEST_FILE
MANIFEST_FILE puede ser cualquiera de los siguientes valores:
La ruta de acceso al archivo CSV en un bucket de Cloud Storage:
--manifest-file=gs://my_bucket/sample_manifest.csv
Consulta Cómo subir el manifiesto a Cloud Storage si quieres obtener detalles sobre los permisos necesarios si el bucket o el archivo no son públicos.
La ruta de acceso relativa del sistema de archivos SOURCE, incluida cualquier ruta que se especificó:
--manifest-file=source://relative_path/sample_manifest.csv
La ruta de acceso relativa del sistema de archivos DESTINATION, incluida cualquier ruta de acceso que se haya especificado:
--manifest-file=destination://relative_path/sample_manifest.csv
REST + bibliotecas cliente
REST
Para transferir los archivos o los objetos que se enumeran en el manifiesto, realiza una llamada a la API de createTransferJob
que especifique un transferSpec
con el campo transferManifest
agregado. Por ejemplo:
POST https://storagetransfer.googleapis.com/v1/transferJobs ... "transferSpec": { "posixDataSource": { "rootDirectory": "/home/", }, "gcsDataSink": { "bucketName": "GCS_NEARLINE_SINK_NAME", "path": "GCS_SINK_PATH", }, "transferManifest": { "location": "gs://my_bucket/sample_manifest.csv" } }
El archivo de manifiesto se puede almacenar en un bucket de Cloud Storage o en el
sistema de archivos de origen o destino. Los buckets de Cloud Storage deben usar el
prefijo gs://
e incluir la ruta de acceso completa, incluido el nombre del
bucket. Las ubicaciones del sistema de archivos deben usar un prefijo source://
o destination://
y son relativas a la fuente o el destino del sistema de archivos, y al directorio raíz opcional.
Go
Java
Node.js
Python
Los objetos o archivos del manifiesto no se transfieren necesariamente en el orden de la lista.
Si el manifiesto incluye archivos que ya existen en el destino, estos los archivos se omiten, a menos que se reemplacen los objetos que ya existen en el receptor si se especifica una opción.
Si el manifiesto incluye objetos que existen en una versión diferente en el destino, el objeto en el destino se reemplaza por el versión del objeto. Si el destino es un bucket con control de versiones, se crea del objeto.
¿Qué sigue?
- Obtén información sobre cómo filtrar objetos de transferencias.
- Obtén más información para programar trabajos de transferencia.