Crear y administrar transferencias de datos con Console

Esta página le muestra cómo usar la Google Cloud Console para configurar y administrar trabajos de transferencia. Para trabajar con el Servicio de transferencia de almacenamiento de forma programática, consulta Crea un cliente del Servicio de transferencia de almacenamiento y Crea y administra las transferencias de manera programática.

Antes de comenzar

Antes de crear un trabajo de transferencia, sigue estos pasos:

  1. Verifica que tengas acceso al Servicio de transferencia de almacenamiento. Para ello, revisa que tengas asignada una de las siguientes funciones:

    • funciones/propietario
    • funciones/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Un rol personalizado que incluye, como mínimo, permisos roles/storagetransfer.user.

      Para obtener más información sobre cómo agregar y ver permisos a nivel de proyecto, consulte Uso de permisos de IAM con proyectos.

    Para obtener más información, consulta Soluciona problemas de acceso.

    Para obtener más información sobre los permisos y las funciones de IAM en el Servicio de transferencia de almacenamiento, consulta Control de acceso con permisos y funciones de IAM.

  2. Configura el acceso a fuentes de datos y receptores.

Configura un trabajo de transferencia

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en Crear trabajo de transferencia.

  3. Elige una fuente:

    Cloud Storage

    Tu cuenta de usuario debe tener el permiso storage.buckets.get para seleccionar buckets de origen y destino. También puedes escribir el nombre del bucket directamente. Para obtener más información, consulta Soluciona problemas de acceso.

    1. En Tipo de fuente, selecciona Bucket de Google Cloud Storage.

    2. Para seleccionar un bucket, sigue uno de estos pasos:

      • Ingresa un nombre de bucket de Cloud Storage existente en el campo Nombre del bucket sin el prefijo gs://. Para especificar un bucket de Cloud Storage de otro proyecto, escriba el nombre exactamente en el campo Nombre del bucket.

      • Haz clic en Explorar y, luego, selecciona un bucket en tus proyectos para seleccionar una lista existente.

        Cuando haces clic en Explorar, puedes seleccionar los bucket s en otros proyectos si haces clic en el ID del proyecto y, luego, seleccionas el ID del proyecto y el bucket nuevos.

      • Para crear un bucket nuevo, haz clic en Crear bucket nuevo.

    3. Para incluir archivos en una ruta en particular, ingresa la ruta de acceso en el campo Ruta de la carpeta (opcional).

    4. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos según el prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    5. Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo está relacionado con la hora de inicio de la transferencia.

    6. Haga clic en Siguiente paso.

    Amazon S3

    1. En Seleccionar fuente, selecciona bucket de Amazon S3.

    2. En el campo Nombre del bucket, ingresa el nombre del bucket de origen.

      El nombre del depósito es el nombre que aparece en la consola de administración de AWS.

    3. Ingresa tus credenciales de seguridad de Amazon Web Services (AWS) en los campos ID de clave de acceso y Clave de acceso de Secret.

      Para obtener más información sobre los usuarios de IAM de Amazon S3, consulta Crea un usuario de IAM de Amazon S3.

    4. Haga clic en Siguiente paso.

    5. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos en función del prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    6. Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo está relacionado con la hora de inicio de la transferencia.

    Microsoft Azure Blob Storage

    1. En Seleccionar fuente, selecciona Contenedor de Azure Storage.

    2. Especifique lo siguiente:

      1. Nombre de la cuenta de almacenamiento: el nombre de la cuenta de origen de Microsoft Azure Storage.

        El nombre de la cuenta de almacenamiento se muestra en el portal de Microsoft Azure Storage, en Todos los servicios > Almacenamiento > Cuentas de almacenamiento.

      2. Nombre del contenedor: el nombre del contenedor de Microsoft Azure Storage.

        El nombre del contenedor se muestra en el portal de Microsoft Azure Storage en Explorador de almacenamiento > Contenedores de Blob.

      3. Firma de acceso compartido (SAS): el token SAS de Microsoft Azure Storage creado a partir de una política de acceso almacenado. Para obtener más información, consulte Conceder acceso limitado a los recursos de Azure Storage mediante firmas de acceso compartido (SAS).

        El tiempo de vencimiento predeterminado para los tokens SAS es de 8 horas. Cuando cree su token SAS, asegúrese de establecer un tiempo de vencimiento razonable que le permita completar con éxito su transferencia.
    3. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos según el prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    4. Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo está relacionado con la hora de inicio de la transferencia.

    5. Haga clic en Siguiente paso.

    Lista de URL

    1. En Seleccionar fuente, selecciona Lista de URL.

    2. En URL de archivo TSV, proporciona la URL a un archivo de valores separados por tabulaciones (TSV). Consulta Crea una lista de URL para obtener detalles sobre cómo crear el archivo TSV.

    3. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos según el prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    4. Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo está relacionado con la hora de inicio de la transferencia.

    5. Haga clic en Siguiente paso.

    Datos locales

    El Servicio de transferencia de almacenamiento te permite transferir datos en línea hacia Cloud Storage. Para sincronizar buckets de Cloud Storage con datos locales, use gsutil rsync.

  4. Para elegir un destino, sigue estos pasos:

    1. En el campo Nombre del bucket, ingresa el nombre del bucket de destino o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en Crear bucket nuevo.

    2. Para transferir archivos a una ruta en particular, ingresa la ruta en el campo Ruta de la carpeta (opcional).

  5. Para elegir la configuración del trabajo de transferencia, completa los siguientes pasos:

    1. En el campo Describir tu trabajo de transferencia, ingresa una descripción de la transferencia. Como recomendación, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.

    2. En Cuándo reemplazar, selecciona una de las siguientes opciones:

      • Si es diferente: Se reemplazan los archivos de destino si el archivo de origen con el mismo nombre tiene Etags o valores de suma de verificación diferentes.

      • Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.

    3. En Cuándo borrar, selecciona una de las siguientes opciones:

      • Nunca: Nunca borra archivos del origen o del destino.

      • Borra el archivo de la fuente después de la transferencia: Borra los archivos de la fuente después de la transferencia al destino.

      • Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.

        Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.

    4. Haga clic en Siguiente paso.

  6. Elige tus opciones de programación:

    1. En la lista desplegable Ejecutar una vez, selecciona una de las siguientes opciones:

      • Ejecutar una vez: Ejecuta una sola transferencia, a la hora que seleccionas.

      • Ejecutar todos los días: Ejecuta una transferencia a diario a partir de la hora que selecciones.

        Puedes ingresar una fecha de finalización opcional o dejar la fecha de finalización en blanco para ejecutar la transferencia de forma continua.

      • Ejecutar cada semana: Ejecuta una transferencia semanal, a la hora que seleccionas.

      • Ejecutar con frecuencia personalizada: Ejecuta una transferencia a la frecuencia que seleccionas. Puedes repetir la transferencia a intervalos regulares de horas, días o semanas.

        Puedes ingresar una fecha de finalización opcional o dejar la fecha de finalización en blanco para ejecutar la transferencia de forma continua.

    2. En la lista desplegable Comienza ahora, selecciona una de las siguientes opciones:

      • A partir de ahora: Inicia la transferencia después de hacer clic en Crear.

      • A partir del: inicia la transferencia en la fecha y hora que seleccionaste. Haz clic en Calendario para mostrar un calendario y seleccionar la fecha de inicio.

    3. Para crear tu trabajo de transferencia, haz clic en Crear.

Ver detalles del trabajo de transferencia

Puedes ver los siguientes detalles del trabajo en Cloud Console:

  • La descripción y el nombre del trabajo
  • El tipo y la ubicación de la fuente
  • La ubicación de destino
  • Frecuencia del trabajo
  • Estatística del trabajo

Para ver los detalles del trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

Ejecuta un trabajo de transferencia desde una configuración existente

Puedes ejecutar un trabajo de transferencia desde una configuración de transferencia existente, lo que te permite volver a ejecutar un trabajo de transferencia con la configuración que usaste antes.

Para ejecutar una transferencia desde una configuración existente, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Para iniciar un trabajo de transferencia, haz clic en Iniciar una ejecución.

Como alternativa, puedes editar una configuración de transferencia existente para usar opciones de configuración nuevas. Para obtener más información, consulta Edita una configuración de transferencia existente.

Edita una configuración de transferencia existente

Puedes editar una configuración de transferencia existente para adaptarla a tus necesidades. Puedes editar los siguientes elementos de una configuración de transferencia existente:

  • La descripción del trabajo de transferencia.
  • Credenciales de fuente de Microsoft Azure Blob Storage o Amazon S3.
  • Cualquier filtro aplicado al trabajo de transferencia.
  • Opciones para reemplazar o borrar archivos.
  • La programación del trabajo de transferencia.

Para editar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Configuración.

    Se muestra la configuración del trabajo de transferencia.

  4. Para cambiar un elemento, haz clic en Editar junto al elemento.

  5. Para iniciar un trabajo con las modificaciones, haz clic en Start a run.

Borra un trabajo de transferencia

Puedes borrar trabajos de transferencia que ya no necesitas. Borrar un trabajo hace lo siguiente:

  • Detiene todas las transferencias existentes que forman parte del trabajo.
  • Detiene las transferencias recurrentes que forman parte del trabajo.
  • Borra los detalles de configuración del trabajo.

La eliminación de un trabajo es permanente. Una vez que borres el trabajo de transferencia, se quitará de la lista de trabajos de transferencia. La información del trabajo de transferencia se borra por completo del Servicio de transferencia de almacenamiento después de 30 días.

Como alternativa, puedes desactivar el trabajo de transferencia, lo que mantiene el trabajo enumerado en la página Trabajos y te permite reactivar o modificar el trabajo.

Para borrar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Selecciona la casilla de verificación junto al trabajo de transferencia que deseas borrar.

  3. Haz clic en BORRAR TRABAJO

    Se muestra el cuadro de diálogo ¿Borrar trabajo de transferencia?

  4. Lee el cuadro de diálogo y, luego, escribe el nombre asignado de forma automática en el campo para confirmar la eliminación del trabajo y haz clic en Borrar.

    El trabajo se quita de la página Trabajos.

Desactiva un trabajo de transferencia

Si se desactiva un trabajo de transferencia, este no se inicia en ninguna otra operación de transferencia, incluidas las operaciones programadas futuras o las operaciones iniciadas de forma manual desde el botón Iniciar una ejecución.

Para desactivar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Inhabilitar trabajo. Se muestra el cuadro de diálogo ¿Quieres inhabilitar el trabajo de transferencia?

  4. Lee el cuadro de diálogo y, luego, haz clic en Confirmar para confirmar la desactivación del trabajo.

    Se muestra un aviso en la parte superior de la página Detalles del trabajo, que te recuerda que el trabajo se desactivó.

Detén un trabajo de transferencia

Puedes pausar una transferencia en curso en este momento. Cuando pausas la transferencia, se mantiene el estado del trabajo y puedes reanudarlo más tarde. Mientras una transferencia está en pausa, la programación no activará el trabajo para volver a ejecutarse.

Para pausar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Pausar ejecución.

    El estado de la operación actual se muestra como Pausado.

Reinicia un trabajo de transferencia pausado

Puedes reanudar un trabajo de transferencia que se pausó antes y que reinicia el trabajo en el mismo lugar en el que se encontraba cuando se pausó.

Para reanudar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Reanudar ejecución.

    El estado de la operación actual se muestra como En curso.

Visualiza la información histórica del estado del trabajo

Puedes ver la información del estado histórico de las ejecuciones de trabajos de transferencia. La siguiente información de trabajo está disponible:

  • Estado de transferencia
  • Tiempos de inicio y detención
  • Duración
  • Progreso
  • Datos transferidos
  • Cantidad de errores
  • Datos omitidos
  • Estimación de velocidad promedio

Para ver la información del estado histórico de un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Para mostrar los detalles de una ejecución en particular, haz clic en la Hora de inicio de la ejecución del trabajo.

    Se muestra la página Detalles del proceso.

Ver detalles del error del trabajo

Si encuentras errores durante una ejecución de la transferencia, puedes ver los detalles del error para ayudar a solucionar el problema.

Para ver los detalles de error de una ejecución de trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia de datos de nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Realice una de las acciones siguientes para mostrar los detalles del trabajo:

    • Ejecución de trabajo más reciente:

      1. Haz clic en el botón Ver detalles del error o en el vínculo Ver detalles del error.

        Se muestra la página Detalles del error.

    • Historial de ejecución de trabajo: Haz lo siguiente:

      1. Haz clic en la hora de inicio de la ejecución del trabajo.

        Se muestra la página Detalles del proceso.

      2. Haz clic en el vínculo Ver detalles del error.

        Se muestra la página Detalles del error.

  4. Para mostrar detalles adicionales sobre cada error que se muestra, haz clic en Expandir más.

  5. Para filtrar errores, ingresa las propiedades que se filtrarán en el campo Ingresar nombre o valor de propiedad.

    Cuando colocas el cursor en el campo, se muestra un menú desplegable con opciones relevantes para ayudarte a compilar tu filtro.

Selecciona objetos de origen para transferir

En el Servicio de transferencia de almacenamiento, se encuentran prefijos que puedes usar para seleccionar los archivos que deseas incluir en la fuente de datos o excluir de esta. En general, puedes considerar los prefijos como un filtro para los objetos que se transfieran. Puedes optar por elegir prefijos de inclusión, de exclusión, o ambas opciones. La siguiente guía se aplica para fuentes de datos de Amazon S3, Microsoft Azure Blob Storage y Cloud Storage.

  • No se debe incluir la barra final previa en un prefijo. Por ejemplo, para incluir el objeto requests.gz en una transferencia desde la siguiente ruta de bucket s3://my-aws-bucket/logs/y=2015/requests.gz, especifique el prefijo de inclusión como logs/y=2015/requests.gz.

  • Si usas prefijos de inclusión y exclusión en conjunto, los de exclusión deben comenzar con el valor de uno de los de inclusión. Por ejemplo, si especificas a como un prefijo de inclusión, los prefijos de exclusión válidos son a/b, aaa y abc.

  • No tienes restricciones sobre los prefijos que puedes usar si usas solo prefijos de exclusión.

  • Si no especificas prefijos, se transferirán todos los objetos que estén en el bucket.

  • No proporciones un nombre de ruta de acceso para los nombres de la fuente de datos o del bucket del receptor. Por ejemplo, s3://my-aws-bucket y gs://example-bucket son válidos, pero s3://my-aws-bucket/subfolder o gs://example-bucket/files no lo son. Usa prefijos de inclusión y de exclusión para incluir rutas de acceso.

  • El Servicio de transferencia de almacenamiento no admite la reasignación, es decir, no puedes copiar la ruta files/2015 de la fuente de datos a files/2016 en el receptor de datos.

Para obtener más detalles sobre cómo trabajar con prefijos de inclusión y exclusión, consulta las descripciones de los campos includePrefixes y excludePrefixes en la API.

Para obtener más información general sobre prefijos, consulta Enumera las claves en orden jerárquico mediante un prefijo y un delimitador en la documentación de Amazon S3 o en el método de enumeración de objetos de Cloud Storage.

Crea un usuario de IAM en Amazon S3

En estos pasos se puede ver una descripción general del proceso de creación de las credenciales de Amazon S3 que se pueden usar en transferencias de datos de un bucket de Amazon S3 a un bucket de Cloud Storage. Para obtener información detallada, consulta Crea un usuario de IAM en tu cuenta de AWS y Ejemplos de políticas de depósitos.

Si deseas obtener información sobre nuestra política de retención de datos para credenciales de usuario, consulta Credenciales de usuario.

  1. Crea un usuario nuevo en la consola del servicio de administración de identidades y accesos de AWS.

  2. Toma nota de las credenciales de acceso o descárgalas.

    Las credenciales de acceso descargadas contienen el nombre de usuario, el ID de la clave de acceso y la clave de acceso secreta. Cuando configures el trabajo de transferencia en Cloud Storage, solo necesitas el ID de la clave de acceso y la clave de acceso secreta.

  3. Adjunta una política administrada al usuario de IAM que contenga los permisos obligatorios para completar una transferencia.

    Adjunta la política AmazonS3FullAccess si tu trabajo de transferencia está configurado para borrar objetos de origen; de lo contrario, adjunta la política AmazonS3ReadyOnlyAccess. Por ejemplo, la política administrada AmazonS3FullAccess que se adjunta a un usuario a través de la consola de IAM es de la siguiente forma:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Opcional: cree una política que sea más restrictiva que las políticas administradas.

    Por ejemplo, puedes crear una política que limite el acceso solo al bucket de Amazon S3. Para obtener más información, consulta Ejemplos de políticas de depósitos.

¿Qué sigue?

Obtén información sobre cómo trabajar con Cloud Storage.