O Transfer Appliance é compatível com os seguintes métodos para copiar dados para o dispositivo:
- SCP ou SFTP para Microsoft Windows, Linux e macOS.
- Compartilhamento NFS para Linux e macOS.
- Compartilhamento de PME para Microsoft Windows e Linux.
- Montar no appliance para NFS e CIFS.
Depois de copiar dados para o Transfer Appliance, verifique se a transferência de dados para o bucket do Cloud Storage foi concluída antes de excluir os dados de origem.
Requisitos de nomenclatura e tamanho do arquivo
Os arquivos enviados para o dispositivo precisam obedecer aos limites de tamanho de arquivo e às diretrizes de nomenclatura do Cloud Storage:
- Os limites de tamanho de arquivo estão documentados na página Cotas e limites do Cloud Storage.
- As diretrizes para nomes de arquivos estão documentadas na página Diretrizes de nomenclatura de objetos.
O Transfer Appliance não valida o tamanho nem os nomes do arquivo. Se o dispositivo tiver arquivos que não estejam em conformidade com essas regras quando for devolvido ao Google, talvez não seja possível transferir esses arquivos.
Usar SCP ou SFTP para copiar dados
Para copiar dados no dispositivo usando SCP ou SFTP, siga estas etapas:
Dispositivo Microsoft Windows
Faça o download de um cliente SCP ou SFTP compatível com nomes de arquivo UTF-8, como WinSCP.
Usando a ferramenta SCP, conecte-se ao dispositivo usando as seguintes configurações:
- Protocolo de arquivo: SFTP
- Nome do host: o endereço IP do dispositivo.
- Número da porta: 22
- Nome de usuário: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.
- Senha: a senha do dispositivo fornecida pela equipe do Transfer Appliance.
O diretório de destino no Transfer Appliance precisa ser
/mnt/ta_data
.
Linux
Execute este comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Substitua:
PATH_TO_FILES
: o caminho para os arquivos que você está copiando.USERNAME
: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.IP_ADDRESS
: o endereço IP do dispositivo
Quando solicitado, digite a senha do dispositivo fornecida pela equipe do Transfer Appliance.
Apple macOS
Execute este comando:
scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
Substitua:
PATH_TO_FILES
: o caminho para os arquivos que você está copiando.USERNAME
: o nome de usuário do dispositivo fornecido pela equipe do Transfer Appliance.IP_ADDRESS
: o endereço IP do dispositivo
Quando solicitado, digite a senha do dispositivo fornecida pela equipe do Transfer Appliance.
Usar o compartilhamento de NFS para copiar dados
Para copiar dados no dispositivo usando o compartilhamento de NFS, siga estas etapas:
Para montar o Transfer Appliance, execute os seguintes comandos na fonte de dados:
Linux
sudo mkdir /mnt/data
sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
Substitua
IP_ADDRESS
pelo endereço IP do dispositivo.
Apple macOS
cd ~
mkdir ta_data
sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
Substitua
IP_ADDRESS
pelo endereço IP do dispositivo.
Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.
A cópia de dados é uma operação de longa duração. No Apple macOS ou Linux, recomendamos usar
tmux
ouscreen
para garantir que o processo de cópia sobreviva ao logout ou às desconexões da rede.
Salvar a chave SSH
Salve sua chave SSH para fazer logins mais rapidamente no Transfer Appliance. Salvar a chave SSH também pode melhorar a velocidade de transferência.
Na estação de trabalho, gere um par de chaves usando o seguinte comando:
posix-terminal ssh-keygen -t rsa
Crie um arquivo
/tmp/ssh_key
no dispositivo.Copie o conteúdo do arquivo de chave pública da estação de trabalho para o
/tmp/ssh_key
no dispositivo. O arquivo de chave pública está no seguinte local na estação de trabalho:- Linux:
~/.ssh/id_rsa.pub
- Windows:
C:Users/
USERNAME
/.ssh
Para autorizar várias chaves, adicione cada chave em uma nova linha em
/tmp/ssh_key
.- Linux:
Execute o comando a seguir no dispositivo. Todas as chaves atuais serão substituídas.
ta copy_ssh_keys
Faça login no dispositivo.
Se a chave privada estiver no local padrão na estação de trabalho, use o seguinte comando para fazer login no dispositivo:
ssh ta_customer@IP_ADDRESS
Se a chave privada não estiver no local padrão, use o seguinte comando para fazer login no dispositivo:
ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
Use o SMB para transferir dados
Para ativar o compartilhamento de arquivos SMB, siga as etapas abaixo:
Configure o dispositivo para usar SMB utilizando a seguinte sinalização de protocolo de compartilhamento de arquivos:
ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
O diretório
ta_data
é compartilhado e o seguinte usuário é criado:- Nome de usuário:
ta_customer
- Senha:
ta_customer
- Nome de usuário:
Com base no tipo de host, conecte-se ao compartilhamento de arquivos SMB:
Dispositivo Microsoft Windows
Gerenciador de arquivos
Abra o gerenciador de arquivos e edite o caminho do arquivo para
\\IP_ADDRESS\ta_data
.Digite seu nome de usuário e senha quando solicitado.
Linha de comando
Digite o seguinte no prompt de comando do Windows:
net use X: \\IP_ADDRESS\ta_data
Digite seu nome de usuário e senha quando solicitado.
Linux
Gerenciador de arquivos
Abra o gerenciador de arquivos padrão e clique em Conectar ao servidor.
Digite
smb://IP_ADDRESS/ta_data
.Digite seu nome de usuário e senha quando solicitado.
Linha de comando
Instalar cliente SMB:
sudo apt-get install smbclient
.Conectar-se ao compartilhamento de arquivos SMB:
smbclient //IP_ADDRESS/ta_data -U USERNAME
Uma solicitação
smb:\>
vai aparecer.
Use seus próprios compartilhamentos de arquivos no dispositivo
O dispositivo usa um comando de montagem do Linux encapsulado para montar compartilhamentos:
Execute os comandos a seguir:
NFS
Atualize o arquivo /etc/exports no dispositivo que hospeda o servidor NFS que concede acesso de IP_ADDRESS ao servidor.
Execute os seguintes comandos no dispositivo:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Substitua:
IP_ADDRESS
: o endereço IP do dispositivo.MOUNT_POINT
: o nome do ponto de montagem desse compartilhamento.NFS_SERVER_IP
: o endereço IP do dispositivo que hospeda o servidor NFSNFS_DIRECTORY
: o caminho para seu compartilhamento NFS.OPTIONS
: a lista de opções separadas por vírgulas. Essas opções são as permitidas pelo comando de montagem do Linux.
CIFS
Execute os seguintes comandos no dispositivo:
mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --options=OPTIONS
Substitua:
MOUNT_POINT
: o nome do ponto de montagem desse compartilhamento.CIFS_SERVER_IP
: o endereço IP do dispositivo que hospeda o servidor CIFS.CIFS_NAME
: o nome do compartilhamento CIFS.OPTIONS
: a lista de opções separadas por vírgulas, incluindo a senha e o nome de usuário do compartilhamento CIFS. Essas opções são as permitidas pelo comando de montagem do Linux.
A menos que especificado de outra forma nas opções de montagem, o ponto de montagem será remontado após a reinicialização até que você o remova com o comando "ta unmount".
Para desconectar os suportes do dispositivo, execute o seguinte:
ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
Para copiar dados no dispositivo, use um utilitário de cópia de sua escolha.
RClone
Para executar um comando de cópia com o RClone no dispositivo, execute o seguinte:
rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data
Substitua:
MOUNT_POINT
: o diretório que contém os dados a serem transferidos.
Arquivar pull
Para arquivar seus dados em arquivos .tar durante a transferência, execute o seguinte:
ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES --destination=/mnt/ta_data --count=THREAD_COUNT
Substitua:
MOUNT_POINT
: o diretório que contém os dados a serem transferidos.ARCHIVE_SIZE_BYTES
: o tamanho das bolas de asfalto a serem geradas no destino. O padrão era 1 GB, e seria esperado entre 5 MB e 20 GB.THREAD_COUNT
: o número de linhas de execução em execução simultaneamente que criam arquivos. O padrão é 20, e o esperado é que esteja entre 1 e 10.000, inclusive.
Arquivos pull executados em segundo plano permitem que você saia do terminal com segurança. O pull começa com uma fase de listagem dos dados antes do início da transferência.
Um ID é retornado quando você inicia um pull. Este valor pode ser usado para interagir com o pull:
Para verificar o status de um pull, execute o seguinte:
ta pull --id=ID --status
Para pausar um pull, execute o seguinte:
ta pull --id=ID --pause
Para retomar um pull pausado ou interrompido, execute o seguinte:
ta pull --id=ID --resume
Substitua:
ID
: o ID de pull.
Quando o pull for concluído, as bolas tar poderão ser encontradas no diretório
/mnt/ta_data/TA_ARCHIVE_ID/
. Um arquivo de manifesto será gerado e salvo em/mnt/ta_data/manifest_ID.tsv
. Esse arquivo conterá informações dos arquivos transferidos, detalhando qual arquivo .tarball contém quais arquivos. Um arquivo de manifesto de erro também será salvo em/mnt/ta_data/manifest_ID_ERROR.tsv
, detalhando todos os erros encontrados durante a extração.
É recomendável executar um comando pull por vez.
Os testes de velocidade foram realizados em um conjunto de dados de 100 GB em um TA7. Esses valores são compartilhados para ajudar a decidir entre os dois utilitários de cópia oferecidos. A velocidade de transferência pode ser afetada pelo tipo de aparelho e também pela conectividade de rede.
Método Tamanho do arquivo Bytes de tamanho do arquivo (somente pull de arquivo) Taxa (NFS) Taxa (PME) RClone 100 MB N/A 600 MB/s 620 MB/s Arquivar pull 100 MB 10 GB 750 MB/s 850 MB/s RClone 1 MB N/A 280 MB/s 270 MB/s Arquivar pull 1 MB 500 MB 630 MB/s 380 MB/s RClone 100 KB N/A 150 MB/s 150 MB/s Arquivar pull 100 KB 5 MB 270 MB/s 90 MB/s