Crea y administra transferencias de datos con Console

En esta página, se muestra cómo usar Google Cloud Console para configurar y administrar trabajos de transferencia. Para trabajar con el Servicio de transferencia de almacenamiento de forma programática, consulta Crea un cliente del Servicio de transferencia de almacenamiento y Crea y administra las transferencias de manera programática.

Antes de comenzar

Antes de crear un trabajo de transferencia, sigue estos pasos:

  1. Verifica que tengas acceso al Servicio de transferencia de almacenamiento. Para ello, revisa que tengas asignada una de las siguientes funciones:

    • funciones/propietario
    • funciones/editor
    • roles/storagetransfer.admin
    • roles/storagetransfer.user
    • Un rol personalizado que incluye, como mínimo, permisos roles/storagetransfer.user.

      Para obtener más información sobre cómo agregar y ver permisos a nivel de proyecto, consulte Uso de permisos de IAM con proyectos.

    Para obtener más información, consulta Soluciona problemas de acceso.

    Para obtener más información sobre los permisos y las funciones de IAM en el Servicio de transferencia de almacenamiento, consulta Control de acceso con permisos y funciones de IAM.

  2. Configura el acceso a fuentes de datos y receptores.

Transfiere datos locales

Ofrecemos las siguientes soluciones para transferir datos locales:

Configura un trabajo de transferencia

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en Crear trabajo de transferencia.

  3. Elige una fuente:

    Cloud Storage

    Tu cuenta de usuario debe tener el permiso storage.buckets.get para seleccionar depósitos de origen y destino. También puedes escribir el nombre del bucket directamente. Para obtener más información, consulta Soluciona problemas de acceso.

    1. En Tipo de fuente, selecciona Bucket de Google Cloud Storage.

    2. Para seleccionar un bucket, sigue uno de estos pasos:

      • Ingresa un nombre de bucket existente de Cloud Storage en el campo Nombre del bucket sin el prefijo gs://. Para especificar un bucket de Cloud Storage de otro proyecto, escriba el nombre exactamente en el campo Nombre del bucket.

      • Selecciona una lista de bucket s existentes en tus proyectos mediante un clic en Explorar y, luego, selecciona un bucket.

        Cuando haces clic en Explorar, puedes seleccionar los buckets en otros proyectos si haces clic en el ID del proyecto y, luego, seleccionas el ID del proyecto y el bucket nuevos.

      • Para crear un bucket nuevo, haz clic en Crear nuevo bucket.

    3. Opcional: Para incluir archivos en una ruta en particular, ingresa la ruta en el campo Ruta de acceso a la carpeta.

    4. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos en función del prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    5. Opcional: Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo es a la hora de inicio de la transferencia.

    6. Haga clic en Siguiente paso.

    Amazon S3

    1. En Seleccionar fuente, selecciona depósito de Amazon S3.

    2. En el campo Nombre del bucket, ingresa el nombre del bucket de origen.

      El nombre del depósito es el nombre que aparece en la consola de administración de AWS.

    3. Selecciona el método de autenticación de Amazon Web Services (AWS). Puedes proporcionar una clave de acceso de AWS o un nombre de recurso de Amazon (ARN) para la federación de identidades:

      • Clave de acceso: Ingresa tu clave de acceso en el ID de la clave de acceso el secreto asociado con tu clave de acceso en Clave de acceso secreta.

      • ARN: Ingresa tu ARN en el campo Rol de IAM de AWS con la siguiente sintaxis:

        arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
        

        Aquí:

        • ACCOUNT: El ID de la cuenta de AWS sin guiones.
        • ROLE-NAME-WITH-PATH: El nombre del rol de AWS, incluida la ruta de acceso.

        Para obtener más información sobre los ARN, consulta ARN de IAM.

      Para obtener más información sobre las claves de acceso de Amazon, consulta Crea una clave de acceso de Amazon S3.

    4. Haga clic en Siguiente paso.

    5. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos en función del prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    6. Opcional: Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo es a la hora de inicio de la transferencia.

    Microsoft Azure Blob Storage

    1. En Seleccionar fuente, selecciona Contenedor de Azure Storage.

    2. Especifique lo siguiente:

      1. Nombre de la cuenta de almacenamiento: el nombre de la cuenta de origen de Microsoft Azure Storage.

        El nombre de la cuenta de almacenamiento se muestra en el portal de Microsoft Azure Storage, en Todos los servicios > Almacenamiento > Cuentas de almacenamiento.

      2. Nombre del contenedor: el nombre del contenedor de Microsoft Azure Storage.

        El nombre del contenedor se muestra en el portal de Microsoft Azure Storage en Explorador de almacenamiento > Contenedores de Blob.

      3. Firma de acceso compartido (SAS): el token SAS de Microsoft Azure Storage creado a partir de una política de acceso almacenado. Para obtener más información, consulte Conceder acceso limitado a los recursos de Azure Storage mediante firmas de acceso compartido (SAS).

        El tiempo de vencimiento predeterminado para los tokens SAS es de 8 horas. Cuando crees tu token SAS, asegúrate de establecer un tiempo de vencimiento razonable que te permita completar correctamente tu transferencia.
    3. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos en función del prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    4. Opcional: Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo es a la hora de inicio de la transferencia.

    5. Haga clic en Siguiente paso.

    Lista de URL

    1. En Seleccionar fuente, selecciona Lista de URL.

    2. En la URL de archivo TSV, proporciona la URL a un archivo de valores separados por tabulaciones (TSV). Consulta Crea una lista de URL si deseas obtener detalles para crear el archivo TSV.

    3. Opcional: Para incluir un subconjunto de archivos en tu fuente, haz clic en Agregar prefijo. Puedes incluir archivos en función del prefijo del nombre de archivo. Si deseas obtener más información, consulta Selecciona objetos de la fuente para transferir.
    4. Opcional: Para aplicar más filtros a tu transferencia, haz clic en Filtros avanzados (opcional). Se muestran los siguientes elementos:
      • Excluir archivos que comienzan con: Excluye archivos de la transferencia según el prefijo de nombre que especifiques. Para especificar un prefijo, haz clic en Agregar prefijo.
      • Incluir solo los archivos modificados por última vez: Incluye los archivos en la transferencia en función de cuándo se modificaron por última vez antes de la transferencia.

        Puedes especificar un Intervalo de tiempo absoluto y un Intervalo de tiempo relativo. Un intervalo de tiempo relativo es a la hora de inicio de la transferencia.

    5. Haga clic en Siguiente paso.

  4. Para elegir un destino, sigue estos pasos:

    1. En el campo Nombre del bucket, ingresa el nombre del bucket de destino o haz clic en Explorar para seleccionar un bucket de una lista de buckets existentes en tu proyecto actual. Para crear un bucket nuevo, haz clic en Crear nuevo bucket.

    2. Opcional: Para transferir archivos a una ruta de acceso específica, ingresa la ruta de acceso en el campo Ruta de acceso a la carpeta.

  5. Para elegir la configuración del trabajo de transferencia, completa los siguientes pasos:

    1. En el campo Describir tu trabajo de transferencia, ingresa una descripción de la transferencia. Como práctica recomendada, ingresa una descripción que sea significativa y única para que puedas distinguir los trabajos.

    2. En Cuándo reemplazar, selecciona una de las siguientes opciones:

      • Si es diferente: Reemplaza los archivos de destino si el archivo de origen con el mismo nombre tiene diferentes ETags o valores de suma de verificación.

      • Siempre: Siempre escribe archivos de destino cuando el archivo de origen tiene el mismo nombre, incluso si son idénticos.

      • Nunca: Nunca reemplaza los archivos de destino.

    3. En Cuándo borrar, selecciona una de las siguientes opciones:

      • Nunca: Nunca borres archivos de origen o de destino.

      • Borrar archivos de la fuente después de la transferencia: Borra los archivos de la fuente después de transferirlos al destino.

      • Borra los archivos del destino si no están también en el origen: Si los archivos en el bucket de Cloud Storage de destino no están también en el origen, borra los archivos del bucket de Cloud Storage.

        Esta opción garantiza que el bucket de destino de Cloud Storage coincida exactamente con tu fuente.

    4. Haga clic en Siguiente paso.

  6. Elige tus opciones de programación:

    1. En la lista desplegable Ejecutar una vez, selecciona una de las siguientes opciones:

      • Ejecutar una vez: Ejecuta una sola transferencia, a la vez a una hora seleccionada.

      • Ejecutar todos los días: Ejecuta una transferencia a diario a partir de la hora que selecciones.

        Puedes ingresar una Fecha de finalización opcional o dejar en blanco Fecha de finalización para ejecutar la transferencia de forma continua.

      • Ejecutar cada semana: Ejecuta una transferencia semanal, a la hora que seleccionas.

      • Ejecutar con frecuencia personalizada: Ejecuta una transferencia a la frecuencia que seleccionas. Puedes elegir repetir la transferencia a un intervalo regular de horas, días o semanas.

        Puedes ingresar una Fecha de finalización opcional o dejar en blanco Fecha de finalización para ejecutar la transferencia de forma continua.

    2. En la lista desplegable A partir de ahora, selecciona una de las siguientes opciones:

      • Inicio ahora: Inicia la transferencia después de hacer clic en Crear.

      • A partir del: inicia la transferencia en la fecha y hora que seleccionaste. Haz clic en Calendario para mostrar un calendario a fin de seleccionar la fecha de inicio.

    3. Para crear tu trabajo de transferencia, haz clic en Crear.

Visualiza los detalles del trabajo de transferencia

Puedes ver los siguientes detalles del trabajo desde Cloud Console:

  • El nombre y la descripción del trabajo
  • El tipo y la ubicación de la fuente
  • La ubicación de destino
  • Frecuencia del trabajo
  • Estatística del trabajo

Para ver los detalles del trabajo, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

Ejecuta un trabajo de transferencia desde una configuración existente

Puedes ejecutar un trabajo de transferencia a partir de una configuración de transferencia existente, lo que te permite volver a ejecutar un trabajo de transferencia con la configuración que usaste antes.

Para ejecutar una transferencia desde una configuración existente, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Para iniciar un trabajo de transferencia, haz clic en Iniciar una ejecución.

Como alternativa, puedes editar una configuración de transferencia existente para usar opciones de configuración nuevas. Para obtener más información, consulta Edita una configuración de transferencia existente.

Edita una configuración de transferencia existente

Puedes editar una configuración de transferencia existente para adaptarla a tus necesidades. Puedes editar los siguientes elementos de una configuración de transferencia existente:

  • La descripción del trabajo de transferencia.
  • Credenciales de origen de Microsoft Blob Storage o Amazon S3.
  • Cualquier filtro aplicado al trabajo de transferencia.
  • Opciones para reemplazar o borrar archivos.
  • La programación del trabajo de transferencia.

Para editar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Configuración.

    Se muestra la configuración del trabajo de transferencia.

  4. Para cambiar un elemento, haz clic en Editar junto al elemento.

  5. Para iniciar un trabajo con las ediciones, haz clic en Iniciar una ejecución.

Borra un trabajo de transferencia

Puedes borrar trabajos de transferencia que ya no necesites. Borrar un trabajo hace lo siguiente:

  • Detiene todas las transferencias existentes que forman parte del trabajo.
  • Detiene cualquier transferencia recurrente que forma parte del trabajo.
  • Borra los detalles de configuración del trabajo.

La eliminación de un trabajo es permanente. Una vez que borres el trabajo de transferencia, se quitará de la lista de trabajos de transferencia. La información del trabajo de transferencia se borra por completo del Servicio de transferencia de almacenamiento después de 30 días.

Como alternativa, puedes desactivar el trabajo de transferencia, lo que mantiene el trabajo enumerado en la página Trabajos y te permite reactivar o modificar el trabajo.

Para borrar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Selecciona la casilla de verificación junto al trabajo de transferencia que deseas borrar.

  3. Haz clic en BORRAR TRABAJO

    Se muestra el cuadro de diálogo ¿Borrar trabajo de transferencia?

  4. Lee el cuadro de diálogo y, luego, escribe el nombre asignado de forma automática en el campo para confirmar la eliminación del trabajo y haz clic en Borrar.

    El trabajo se quita de la página Trabajos.

Desactiva un trabajo de transferencia

Si se desactiva un trabajo de transferencia, este no se inicia en ninguna otra operación de transferencia, incluidas las operaciones programadas futuras o las operaciones iniciadas de forma manual desde el botón Iniciar una ejecución.

Para desactivar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Inhabilitar trabajo. Se muestra el cuadro de diálogo ¿Quieres inhabilitar el trabajo de transferencia?

  4. Lee el cuadro de diálogo y, luego, haz clic en Confirmar para confirmar la desactivación del trabajo.

    Se muestra una notificación en la parte superior de la página Detalles del trabajo que te recuerda que el trabajo está desactivado.

Pausa un trabajo de transferencia

Puedes pausar una transferencia en curso en este momento. Cuando pausas la transferencia, se mantiene el estado del trabajo y puedes reanudarlo más tarde. Mientras una transferencia está en pausa, la programación no activará el trabajo para volver a ejecutarse.

Para pausar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Pausar ejecución.

    El estado de la operación actual se muestra como Pausado.

Reinicia un trabajo de transferencia en pausa

Puedes reanudar un trabajo de transferencia en pausa, lo que reinicia el trabajo en el mismo lugar en el que se encontraba en pausa.

Para reanudar un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Haz clic en Reanudar ejecución.

    El estado de la operación actual se muestra como En curso.

Visualiza la información histórica del estado del trabajo

Puedes ver la información del estado histórico de las ejecuciones de trabajos de transferencia. La siguiente información de trabajo está disponible:

  • Estado de transferencia
  • Tiempos de inicio y detención
  • Duración
  • Progreso
  • Datos transferidos
  • Cantidad de errores
  • Datos omitidos
  • Estimación de velocidad promedio

Para ver la información del estado histórico de un trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Para mostrar los detalles de una ejecución en particular, haz clic en la Hora de inicio de la ejecución del trabajo.

    Se muestra la página Detalle de la ejecución.

Visualiza detalles del error del trabajo

Si encuentras errores durante una ejecución de la transferencia, puedes ver los detalles del error para ayudar a solucionar el error.

Para ver los detalles del error de una ejecución del trabajo de transferencia, haz lo siguiente:

  1. En Cloud Console, ve a la página Servicio de transferencia de datos en la nube.

    Ir a Servicio de transferencia para obtener datos en la nube

  2. Haz clic en la descripción del trabajo de transferencia.

    Aparecerá la página Detalles del trabajo.

  3. Realiza una de las siguientes acciones para mostrar los detalles del trabajo:

    • Ejecución de trabajo más reciente:

      1. Haz clic en el botón Ver detalles del error o en el vínculo Ver detalles del error.

        Se muestra la página Detalles del error.

    • Historial de ejecución de trabajos: Haz lo siguiente:

      1. Haz clic en la hora de inicio de la ejecución del trabajo.

        Se muestra la página Detalle de la ejecución.

      2. Haz clic en el vínculo Ver detalles del error.

        Se muestra la página Detalles del error.

  4. Para mostrar detalles adicionales sobre cada error que se muestra, haz clic en Expandir más.

  5. Para filtrar errores, ingresa las propiedades que se filtrarán en el campo Ingresar nombre o valor de propiedad.

    Cuando colocas el cursor en el campo, se muestra un menú desplegable con opciones relevantes para ayudarte a crear tu filtro.

Selecciona objetos de origen para transferir

En el Servicio de transferencia de almacenamiento, se encuentran prefijos que puedes usar para seleccionar los archivos que deseas incluir en la fuente de datos o excluir de esta. En general, puedes considerar los prefijos como un filtro para los objetos que se transfieran. Puedes optar por elegir prefijos de inclusión, de exclusión, o ambas opciones. La siguiente guía se aplica para fuentes de datos de Amazon S3, Microsoft Azure Blob Storage y Cloud Storage.

  • No se debe incluir la barra final previa en un prefijo. Por ejemplo, para incluir el objeto requests.gz en una transferencia desde la siguiente ruta de bucket s3://my-aws-bucket/logs/y=2015/requests.gz, especifique el prefijo de inclusión como logs/y=2015/requests.gz.

  • Si usas prefijos de inclusión y exclusión en conjunto, los de exclusión deben comenzar con el valor de uno de los de inclusión. Por ejemplo, si especificas a como un prefijo de inclusión, los prefijos de exclusión válidos son a/b, aaa y abc.

  • No tienes restricciones sobre los prefijos que puedes usar si usas solo prefijos de exclusión.

  • Si no especificas prefijos, se transferirán todos los objetos que estén en el bucket.

  • No proporciones un nombre de ruta de acceso para los nombres de la fuente de datos o del bucket del receptor. Por ejemplo, s3://my-aws-bucket y gs://example-bucket son válidos, pero s3://my-aws-bucket/subfolder o gs://example-bucket/files no lo son. Usa prefijos de inclusión y de exclusión para incluir rutas de acceso.

  • El Servicio de transferencia de almacenamiento no admite la reasignación, es decir, no puedes copiar la ruta files/2015 de la fuente de datos a files/2016 en el receptor de datos.

Para obtener más detalles sobre cómo trabajar con prefijos de inclusión y exclusión, consulta las descripciones de los campos includePrefixes y excludePrefixes en la API.

Para obtener más información general sobre prefijos, consulta Enumera las claves en orden jerárquico mediante un prefijo y un delimitador en la documentación de Amazon S3 o en el método de enumeración de objetos de Cloud Storage.

Crea una clave de acceso

En estos pasos se puede ver una descripción general del proceso de creación de la clave de acceso de Amazon S3 que se pueden usar en transferencias de datos de un bucket de Amazon S3 a un bucket de Cloud Storage. Para obtener información detallada, consulta Crea un usuario de IAM en tu cuenta de AWS y Ejemplos de políticas de depósitos.

Si deseas obtener información sobre nuestra política de retención de datos para credenciales de usuario, consulta Credenciales de usuario.

  1. Crea un usuario nuevo en la consola del servicio de administración de identidades y accesos de AWS.

  2. Toma nota de las credenciales de acceso o descárgalas.

    Las credenciales de acceso descargadas contienen el nombre de usuario, el ID de la clave de acceso y la clave de acceso secreta. Cuando configures el trabajo de transferencia en Cloud Storage, solo necesitas el ID de la clave de acceso y la clave de acceso secreta.

  3. Adjunta una política administrada al usuario de IAM que contenga los permisos obligatorios para completar una transferencia.

    Adjunta la política AmazonS3FullAccess si tu trabajo de transferencia está configurado para borrar objetos de origen; de lo contrario, adjunta la política AmazonS3ReadyOnlyAccess. Por ejemplo, la política administrada AmazonS3FullAccess que se adjuntó a un usuario a través de la consola de IAM es la siguiente:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "s3:*",
          "Resource": "*"
        }
      ]
    }
    
  4. Opcional: cree una política que sea más restrictiva que las políticas administradas.

    Por ejemplo, puedes crear una política que limite el acceso solo al bucket de Amazon S3. Para obtener más información, consulta Ejemplos de políticas de depósitos.

¿Qué sigue?

Obtén información sobre cómo trabajar con Cloud Storage.