Requisiti per i trasferimenti del file system

Prima di creare un job di trasferimento del file system, devi abilitare le API richieste e installare Docker.

Se ricevi errori durante la configurazione iniziale, verifica che l'utente con cui hai eseguito l'accesso disponga delle autorizzazioni necessarie per eseguire la procedura di configurazione. In molti casi, queste autorizzazioni non sono disponibili per tutti gli utenti e potresti dover contattare un amministratore del progetto per ricevere assistenza.

Requisiti di sistema

Per utilizzare Storage Transfer Service per i trasferimenti del file system, è necessario:

Di seguito sono elencati i requisiti della macchina dell'agente di trasferimento:

  • Un server Linux a 64 bit o una macchina virtuale supportati da Docker in grado di accedere ai dati che intendi trasferire. Docker Community Edition supporta i sistemi operativi CentO, Debian, Fedora e Ubuntu.

    Per utilizzare altri sistemi operativi Linux, consulta Docker Enterprise.

  • Almeno 8 GB di memoria per container e almeno quattro CPU per ottenere la massima efficacia.

  • Qualsiasi vincolo a livello di sistema o di utente sul numero di ID processo consentiti, ad esempio configurato con ulimit -u, deve tenere conto del numero di agenti che prevedi di eseguire. Ogni processo agente può creare fino a centinaia di thread. Consigliamo di rimuovere i limiti per gli ID processo durante l'esecuzione degli agenti di trasferimento.

    I clienti che utilizzano Podman per creare container di agenti devono specificare un valore --pids-limit sufficientemente elevato da contenere i thread dell'agente Storage Transfer Service. Il valore predefinito di --pids-limit è 2048, che potrebbe causare problemi quando si eseguono più agenti. Ti consigliamo di impostare --pids-limit=-1 in modo da consentire un numero illimitato di ID processo per container.

Limitazioni di scalabilità su job e agenti

Storage Transfer Service prevede le seguenti limitazioni di scalabilità per i job e gli agenti di trasferimento:

  • Meno di un miliardo di file per job
  • Il limite della larghezza di banda deve essere superiore a 1 Mbps
  • Fino a 100 agenti per pool di agenti
  • Fino a 800 pool di agenti per progetto

Abilita le API

  1. Attiva Google Storage Transfer API.

    Abilita l'API

Installa Docker

Installa Docker Community Edition su una macchina Linux fisica o virtuale:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Se si verifica un errore di installazione, consulta la sezione Risoluzione dei problemi.

Consenti a Docker di eseguire l'autenticazione

Per consentire al container Docker di eseguire l'autenticazione con le tue credenziali predefinite di gcloud, crea un volume Docker contenente un file con le credenziali predefinite dell'applicazione eseguendo questo comando:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Che cosa succede dopo?