Crear y administrar transferencias de datos con Console

Esta página le muestra cómo usar la Google Cloud Console para configurar y administrar trabajos de transferencia. Para trabajar con el Servicio de transferencia de almacenamiento de forma programática, consulta Crea un cliente del Servicio de transferencia de almacenamiento y Crea y administra las transferencias de manera programática.

Antes de comenzar

Antes de poder configurar trabajos de transferencia en el Servicio de transferencia de almacenamiento, asegúrese de tener el acceso necesario:

  • Acceso al servicio de transferencia de almacenamiento: debes tener asignada una de las siguientes funciones:

    • funciones/propietario
    • funciones/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Un rol personalizado que incluye, como mínimo, permisos roles/storagetransfer.user.

      Para obtener más información sobre cómo agregar y ver permisos a nivel de proyecto, consulte Uso de permisos de IAM con proyectos.

    Para obtener más información sobre los permisos y las funciones de IAM en el Servicio de transferencia de almacenamiento, consulta Control de acceso con permisos y funciones de IAM.

  • Acceso a la fuente y al receptor: El Servicio de transferencia de almacenamiento usa una cuenta de servicio para realizar las transferencias. Para acceder a la fuente dy al receptor de datos, esta cuenta de servicio debe contar con permisos de fuente y permisos de receptor.

Configura un trabajo de transferencia

  1. Abre la página Transferencia de Google Cloud Console.

    Abrir la página Transferencia

  2. Haz clic en Crear trabajo de transferencia.

    Selecciona una pestaña a continuación para obtener instrucciones de configuración. Sus pasos dependen de si su fuente es un depósito de Cloud Storage, un depósito de Amazon S3, un Blob de Microsoft Azure Storage o una lista de URL.

Cloud Storage

  1. En Seleccionar fuente, selecciona Depósito de Google Cloud Storage.

  2. En el cuadro de texto del Depósito de Cloud Storage, ingresa el nombre del depósito de origen (sin el prefijo gs://) o navega hacia el depósito y selecciónalo.

    Para especificar un depósito de Cloud Storage de otro proyecto, escriba el nombre exactamente en el cuadro de texto Depósito de Cloud Storage.

  3. Para especificar un subconjunto de archivos en tu fuente, haz clic en Especificar filtros de archivo debajo del campo del depósito. Puedes incluir o excluir archivos en función del prefijo del nombre del archivo y su fecha de creación. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.

  4. En Seleccionar destino, elige un depósito receptor o crea uno nuevo.

    Para elegir un depósito existente, ingresa su nombre (sin el prefijo gs://), o haz clic en Navegar y dirígete a él.

    Para transferir archivos a un depósito nuevo, haz clic en Navegar y, a continuación, haz clic en el ícono Depósito nuevo.

  5. Habilita las opciones de reemplazar o borrar si es necesario.

    Según la configuración predeterminada, el Servicio de transferencia de almacenamiento solamente reemplaza un objeto cuando la versión de origen es diferente a la versión del receptor. No se reemplaza ni borra ningún otro objeto. Habilita las opciones de reemplazar o borrar en Opciones de transferencia. Para obtener más información sobre tus opciones, consulta TransferOptions en la referencia de la API.

  6. En Configura la transferencia, programa tu trabajo de transferencia en las opciones Ejecuta ahora (una vez) o Ejecuta diariamente en una hora determinada de tu zona horaria local.

  7. Opcional: Edita el nombre del trabajo de transferencia en Descripción. Usa un nombre único y descriptivo para que puedas identificar tu trabajo de transferencia más tarde.

  8. Haga clic en Crear.

Amazon S3

  1. En Seleccionar fuente, selecciona depósito de Amazon S3.

  2. En el cuadro de texto del depósito de Amazon S3, especifica el nombre del depósito de origen de Amazon S3.

    El nombre del depósito es el nombre que aparece en la consola de administración de AWS.

  3. En los cuadros de texto respectivos, ingresa el ID de la clave de acceso y la clave secreta asociada con el depósito de Amazon S3.

  4. Para especificar un subconjunto de archivos en tu fuente, haz clic en Especificar filtros de archivo debajo del campo del depósito. Puedes incluir o excluir archivos en función del prefijo del nombre del archivo y su fecha de creación. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.

  5. En Seleccionar destino, elige un depósito receptor o crea uno nuevo.

    Para elegir un depósito existente, ingresa su nombre (sin el prefijo gs://), o haz clic en Navegar y dirígete a él.

    Para transferir archivos a un depósito nuevo, haz clic en Navegar y, a continuación, haz clic en el ícono Depósito nuevo.

  6. Habilita las opciones de reemplazar o borrar si es necesario.

    Según la configuración predeterminada, tu trabajo de transferencia solo reemplaza un objeto cuando la versión de origen es diferente a la versión del receptor. No se reemplaza ni borra ningún otro objeto. Habilita las opciones de reemplazar o borrar en Opciones de transferencia. Para obtener más información sobre tus opciones, consulta TransferOptions en la referencia de la API.

  7. En Configurar transferencia, programa tu trabajo de transferencia en las opciones Ejecutar ahora (una vez) o Ejecutar diariamente en una hora determinada de tu zona horaria local.

  8. Opcional: Edita el nombre del trabajo de transferencia en Descripción. Usa un nombre único y descriptivo para que puedas identificar tu trabajo de transferencia más tarde.

  9. Haga clic en Crear.

Microsoft Azure Blob Storage

  1. En Seleccionar fuente, selecciona Contenedor de Microsoft Azure Storage.

  2. Especifique lo siguiente:

    1. Nombre de la cuenta de almacenamiento: el nombre de la cuenta de origen de Microsoft Azure Storage.

      El nombre de la cuenta de almacenamiento se muestra en el portal de Microsoft Azure Storage, en Todos los servicios > Almacenamiento > Cuentas de almacenamiento.

    2. Nombre del contenedor: el nombre del contenedor de Microsoft Azure Storage.

      El nombre del contenedor se muestra en el portal de Microsoft Azure Storage en Explorador de almacenamiento > Contenedores de Blob.

    3. Firma de acceso compartido (SAS): el token SAS de Microsoft Azure Storage creado a partir de una política de acceso almacenado. Para obtener más información, consulte Conceder acceso limitado a los recursos de Azure Storage mediante firmas de acceso compartido (SAS).

      El tiempo de vencimiento predeterminado para los tokens SAS es de 8 horas. Cuando cree su token SAS, asegúrese de establecer un tiempo de vencimiento razonable que le permita completar con éxito su transferencia.
  3. Opcional: especifique filtros de archivos para su transferencia haciendo clic en Especificar filtros de archivos.

Lista de URL

  1. En Seleccionar fuente, selecciona Lista de URL de objetos.

  2. En la URL de archivo TSV, proporciona la URL a un archivo de valores separados por tabulaciones (TSV) y haz clic en Continuar. Consulta Crea una lista de URL para obtener detalles sobre cómo crear el archivo TSV.

  3. En Seleccionar destino, elige un depósito receptor o crea uno nuevo.

    Para elegir un depósito existente, ingresa su nombre (sin el prefijo gs://), o haz clic en Navegar y dirígete a él.

    Para transferir archivos a un depósito nuevo, haz clic en Navegar y, a continuación, haz clic en el ícono Depósito nuevo.

  4. Habilita las opciones de reemplazar o borrar si es necesario.

    Según la configuración predeterminada, tu trabajo de transferencia solo reemplaza un objeto cuando la versión de origen es diferente a la versión del receptor. No se reemplaza ni borra ningún otro objeto. Habilita las opciones de reemplazar o borrar en Opciones de transferencia. Para obtener más información sobre tus opciones, consulta TransferOptions en la referencia de la API.

  5. En Configurar transferencia, programa tu trabajo de transferencia en las opciones Ejecutar ahora (una vez) o Ejecutar diariamente en una hora determinada de tu zona horaria local.

  6. Opcional: Edita el nombre del trabajo de transferencia en Descripción. Usa un nombre único y descriptivo para que puedas identificar tu trabajo de transferencia más tarde.

  7. Haga clic en Crear.

Datos locales

El Servicio de transferencia de almacenamiento te permite transferir datos en línea hacia Cloud Storage. Para sincronizar depósitos de Cloud Storage con datos locales, use gsutil rsync.

Edita un trabajo de transferencia

Puedes editar un trabajo de transferencia solo si se cumplen estas condiciones:

  • Es un trabajo de transferencia recurrente que no se detuvo.
  • Es un trabajo de transferencia de un solo uso que todavía no empieza su ejecución.

Si una de estas condiciones es verdadera, edita la configuración de la forma siguiente:

  1. Abre la página Transferencia de Google Cloud Console.

    Abrir la página Transferencia

  2. Haz clic en el nombre de un trabajo de transferencia para obtener sus detalles.

  3. Selecciona Editar configuración y sigue las instrucciones descritas en Configura una transferencia.

    Los cambios que se realizan en un trabajo de transferencia recurrente que se encuentra en ejecución se aplicarán la próxima vez que esté programada la ejecución de este trabajo.

Visualiza el historial de un trabajo de transferencia

  1. Abre la página Transferencia de Google Cloud Console.

    Abrir la página Transferencia

  2. Haz clic en el nombre de un trabajo de transferencia para obtener sus detalles.

  3. Selecciona la pestaña Operaciones.

  4. En la lista de entradas, haz clic en la fecha de inicio de una operación de transferencia para ver los detalles, incluidos los posibles errores.

    Los trabajos de transferencia de un solo uso se ejecutan únicamente una vez y existirá solo una entrada en el historial de operaciones de transferencia.

Pausa o cancela una operación de transferencia activa

Sigue estos pasos para pausar o cancelar una operación de transferencia que esté en curso:

  1. Abre la página Transferencia de Google Cloud Console.

    Abrir la página Transferencia

  2. Haz clic en el nombre de un trabajo de transferencia para obtener sus detalles.

  3. Selecciona la pestaña Operaciones.

    En la lista de entradas, las operaciones de transferencia activas tienen los botones de pausa (||) y cancelar (X) a la derecha de la columna de estado.

  4. Haz clic en el botón Pausar a fin de detener de forma temporal la operación de transferencia, o en el botón Cancelar, para detener la operación de forma permanente.

  5. Si pausas la operación de transferencia, haz clic en el botón Reanudar (►) para que la operación continúe.

    Si cancelas la operación de transferencia, aparecerá una ventana de confirmación. Haz clic en Cancelar transferencia para confirmar la solicitud de cancelación.

Borra un trabajo de transferencia programado o recurrente

  1. Abre la página Transferencia de Google Cloud Console.

    Abrir la página Transferencia

  2. Marca la casilla de verificación del trabajo de transferencia que deseas quitar.

  3. Haz clic en Borrar, ubicado arriba de la lista de trabajos de transferencia.

  4. Haz clic en Aceptar en la ventana de confirmación que aparecerá.

Selecciona objetos de origen para transferir

En el Servicio de transferencia de almacenamiento, se encuentran prefijos que puedes usar para seleccionar los archivos que deseas incluir en la fuente de datos o excluir de esta. En general, puedes considerar los prefijos como un filtro para los objetos que se transfieran. Puedes optar por elegir prefijos de inclusión, de exclusión, o ambas opciones. La siguiente guía se aplica para Amazon S3, Microsoft Azure Blob Storage y fuentes de datos de Cloud Storage.

  • No se debe incluir la barra final previa en un prefijo. Por ejemplo, para incluir el objeto requests.gz en una transferencia desde la siguiente ruta de depósito s3://my-aws-bucket/logs/y=2015/requests.gz, especifique el prefijo de inclusión como logs/y=2015/requests.gz.

  • Si usas prefijos de inclusión y exclusión en conjunto, los de exclusión deben comenzar con el valor de uno de los de inclusión. Por ejemplo, si especificas a como un prefijo de inclusión, los prefijos de exclusión válidos son a/b, aaa y abc.

  • No tienes restricciones sobre los prefijos que puedes usar si usas solo prefijos de exclusión.

  • Si no especificas prefijos, se transferirán todos los objetos que estén en el depósito.

  • No proporciones un nombre de ruta de acceso para los nombres de la fuente de datos o del depósito del receptor. Por ejemplo, s3://my-aws-bucket y gs://example-bucket son válidos, pero s3://my-aws-bucket/subfolder o gs://example-bucket/files no lo son. Usa prefijos de inclusión y de exclusión para incluir rutas de acceso.

  • El Servicio de transferencia de almacenamiento no admite la reasignación, es decir, no puedes copiar la ruta files/2015 de la fuente de datos a files/2016 en el receptor de datos.

Para obtener más detalles sobre cómo trabajar con prefijos de inclusión y exclusión, consulta las descripciones de los campos includePrefixes y excludePrefixes en la API.

Para obtener más información general sobre prefijos, consulta Enumera las claves en orden jerárquico mediante un prefijo y un delimitador en la documentación de Amazon S3 o en el método de enumeración de objetos de Cloud Storage.

Crea un usuario de IAM en Amazon S3

En estos pasos se puede ver una descripción general del proceso de creación de las credenciales de Amazon S3 que se pueden usar en transferencias de datos de un depósito de Amazon S3 a un depósito de Cloud Storage. Para obtener información detallada, consulta Crea un usuario de IAM en tu cuenta de AWS y Ejemplos de políticas de depósitos.

  1. Crea un usuario nuevo en la consola del servicio de administración de identidades y accesos de AWS.

  2. Toma nota de las credenciales de acceso o descárgalas.

    Las credenciales de acceso descargadas contienen el nombre de usuario, el ID de la clave de acceso y la clave de acceso secreta. Cuando configures el trabajo de transferencia en Cloud Storage, solo necesitas el ID de la clave de acceso y la clave de acceso secreta.

  3. Adjunta una política administrada al usuario de IAM que contenga los permisos obligatorios para completar una transferencia.

    Adjunta la política AmazonS3FullAccess si tu trabajo de transferencia está configurado para borrar objetos de origen; de lo contrario, adjunta la política AmazonS3ReadyOnlyAccess. Por ejemplo, la política administrada AmazonS3FullAccess que se adjuntó a un usuario a través de la consola de IAM es la siguiente:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Opcional: cree una política que sea más restrictiva que las políticas administradas.

    Por ejemplo, puedes crear una política que limite el acceso solo al depósito de Amazon S3. Para obtener más información, consulta Ejemplos de políticas de depósitos.

Qué sigue

Obtén información sobre cómo trabajar con Cloud Storage.