Descripción general del Servicio de transferencia de datos locales

En esta página, se describe el Servicio de transferencia de datos locales, sus requisitos y sus características.

Acerca del Servicio de transferencia de datos locales

El Servicio de transferencia de datos locales es un servicio de software que te permite transferir grandes cantidades de datos desde tu centro de datos a un bucket de Cloud Storage. Es adecuado para clientes que trasladan miles de millones de archivos y cientos de TB de datos en una sola transferencia. Se puede escalar a conexiones de red en decenas de Gbps.

Beneficios del Servicio de transferencia de datos locales

El servicio de transferencia para datos locales es un servicio escalable, confiable y administrado que te permite transferir grandes volúmenes de datos sin invertir en equipos de ingeniería ni comprar costosas soluciones listas para usar. Debes instalar un contenedor de Docker que contenga el agente local de Linux en las computadoras de tu centro de datos, y el Servicio de transferencia de datos locales coordinará a los agentes para que transfieran los datos de forma segura a Cloud Storage.

Usa el Servicio de transferencia de datos locales con ancho de banda limitado

Si tienes un ancho de banda limitado, aún puedes usar el Servicio de transferencia de datos locales. Puedes establecer un límite de ancho de banda para el proyecto de Google Cloud que controle la velocidad con la que los agentes locales copian datos en Google Cloud. El límite de ancho de banda se comparte entre todos los trabajos de transferencia y sus agentes locales asociados dentro del proyecto de Google Cloud.

Cómo funciona el Servicio de transferencia de datos locales

La siguiente es una descripción general de alto nivel del funcionamiento del Servicio de transferencia de datos locales:

  1. Instala Docker y ejecuta una pequeña pieza de software, llamada agente, en tu centro de datos privado. El agente se ejecuta dentro de un contenedor de Docker y tiene acceso a los datos NFS activados de forma local.

    Consulta Instala y ejecuta el agente local para obtener más información.

  2. Completa cómo configurar la transferencia de datos locales. Esto incluye otorgar acceso a los recursos que usa el Servicio de transferencia de almacenamiento, como Pub/Sub y Cloud Storage.

  3. Inicia un servicio de transferencia de datos locales desde Google Cloud Console. Debes proporcionar el directorio NFS y un bucket de destino de Cloud Storage para transferir datos.

    Consulta Crea un trabajo de transferencia para obtener más información.

  4. Cuando comienza la transferencia, atraviesa el directorio NFS correspondiente de forma recurrente y mueve los datos que encuentra al bucket de Cloud Storage.

    Se suman las verificaciones de los datos transferidos, los archivos con errores se vuelven a probar, y los datos se envían a través de una conexión segura. Se escribe un registro del progreso de la transferencia en los objetos de registro dentro del bucket de destino de Cloud Storage. Puedes hacer un seguimiento del progreso de la transferencia dentro de Google Cloud Console.

  5. Cuando finalice la transferencia, podrás ver las muestras de errores en Google Cloud Console. También puedes revisar el registro de transferencia para ver un catálogo de archivos transferidos y cualquier error.

Cómo funcionan los agentes del Servicio de transferencia de datos locales

A continuación, se describen los procesos del agente del Servicio de transferencia de datos locales:

  • Los procesos de los agentes son dinámicos. Mientras ejecutas una transferencia, puedes agregar agentes para aumentar el rendimiento. Los agentes recién iniciados se unen al grupo de agentes y realizan trabajos a partir de transferencias existentes. Puedes usar esto con el fin de ajustar la cantidad de agentes que se ejecutan o para adaptar el rendimiento de transferencia a los cambios de demanda de la transferencia.

  • Los procesos de los agentes son un conjunto tolerante a errores. Si un agente deja de ejecutarse, los agentes restantes seguirán en funcionamiento. Si se detienen todos tus agentes y los reinicias, la transferencia se reanudará donde se detuvieron. Esto te permite evitar la supervisión de los agentes, el reintento de las transferencias o la implementación de una lógica de recuperación. Puedes aplicar parches en el grupo de agentes, además de moverlo y escalarlo de forma dinámica sin tiempo de inactividad de transferencia. Para ello, coordina los agentes con Google Kubernetes Engine.

    Por ejemplo, envía dos transferencias mientras se ejecutan dos agentes. Si uno de los agentes se detiene debido a un reinicio de la máquina o un parche del sistema operativo, el agente restante continúa en funcionamiento. Las dos transferencias se siguen ejecutando, pero son más lentas, ya que un solo agente transfiere los datos. Si el agente restante también se detiene, todas las transferencias dejan de avanzar, ya que no hay agentes en ejecución. Cuando reinicias los procesos del agente, las transferencias se reanudan desde donde quedaron.

  • Los procesos de los agentes son un grupo. Trasladan los datos de forma colectiva en paralelo. Debido a esto, todos los agentes deben tener el mismo acceso a todas las fuentes de datos que deseas transferir.

    Por ejemplo, si transfieres datos desde un sistema de archivos en particular, debes activar el sistema de archivos en cada máquina en la que instalaste los agentes. Si algunos agentes pueden alcanzar una fuente de datos y otros no, las transferencias desde esa fuente de datos no se realizarán de forma correcta.

Requisitos del Servicio de transferencia de datos locales

Para usar la transferencia de datos locales, necesitas lo siguiente:

  • Una fuente compatible con POSIX

  • Una conexión de red de 300 Mbps o más rápida

  • Un servidor Linux de 64 bits compatible con Docker o una máquina virtual que pueda acceder a los datos que planeas transferir

    Docker Community Edition es compatible con los sistemas operativos CentOs, Debian, Fedora y Ubuntu.

    Para usar otros sistemas operativos de Linux, consulta Docker Enterprise.

  • Un bucket de Cloud Storage sin una política de retención

    Para transferir a un bucket con una política de retención, recomendamos el siguiente proceso:

    1. Crea un bucket de Cloud Storage dentro de la misma región que el bucket final. Asegúrate de que este bucket temporal no tenga una política de retención.

      Para obtener más información sobre las regiones, consulta Ubicaciones de buckets.

    2. Usa el servicio de transferencia para datos locales para transferir tus datos al bucket temporal que creaste sin una política de retención.

    3. Realiza una transferencia de bucket a bucket para transferir los datos al bucket con una política de retención.

    4. Borra el bucket de Cloud Storage que creaste para almacenar tus datos de forma temporal.

  • Completar la primera configuración de la transferencia de datos locales

Antes de comenzar una transferencia, verifica que se cumpla lo siguiente:

  • Los puertos TCP 80 (HTTP) y 443 (HTTPS) están abiertos para conexiones salientes.
  • Todos los procesos de agentes dentro de un proyecto de Google Cloud único tienen el mismo sistema de archivos activado en el mismo punto de activación.

Próximos pasos

Configura la transferencia a las bases de datos locales.