Transfer data

Transfer Appliance mendukung metode berikut untuk menyalin data ke perangkat:

• SCP atau SFTP untuk Microsoft Windows, Linux, dan macOS.
• Pembagian NFS untuk Linux dan macOS.
• Berbagi SMB untuk Microsoft Windows dan Linux.
• Memasang di Appliance untuk NFS dan CIFS.

Setelah menyalin data ke Transfer Appliance, verifikasi bahwa transfer data ke bucket Cloud Storage telah selesai sebelum Anda menghapus data sumber.

Persyaratan ukuran dan penamaan file

File yang diupload ke appliance harus mematuhi panduan penamaan dan batas ukuran file Cloud Storage:

• Batas ukuran file didokumentasikan di halaman Kuota & batas Cloud Storage.
• Pedoman nama file didokumentasikan di halaman Pedoman penamaan objek.

Transfer Appliance tidak memvalidasi ukuran atau nama file. Jika perangkat berisi file yang tidak mematuhi aturan ini saat perangkat dikirim kembali ke Google, kami mungkin tidak dapat mentransfer file tersebut.

Menggunakan SCP atau SFTP untuk menyalin data

Untuk menyalin data ke appliance menggunakan SCP atau SFTP, ikuti langkah-langkah berikut:

Microsoft Windows

1. Download klien SCP atau SFTP yang mendukung nama file UTF-8, seperti WinSCP.

2. Dengan menggunakan alat SCP, hubungkan ke perangkat menggunakan setelan berikut:

   • Protokol file: SFTP
   • Nama host: Alamat IP untuk appliance.
   • Nomor port: 22
   • Nama pengguna: Nama pengguna appliance yang diberikan oleh Tim Transfer Appliance.
   • Sandi: Sandi appliance yang diberikan oleh Tim Appliance Transfer.

   Direktori tujuan di Transfer Appliance harus /mnt/ta_data.

Linux

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang Anda salin.
   • USERNAME: Nama pengguna appliance yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk appliance.

2. Jika diminta, masukkan sandi appliance yang diberikan oleh Tim Appliance Transfer.

Apple macOS

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang Anda salin.
   • USERNAME: Nama pengguna appliance yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk appliance.

2. Jika diminta, masukkan sandi appliance yang diberikan oleh Tim Appliance Transfer.

Menggunakan berbagi NFS untuk menyalin data

Untuk menyalin data ke appliance menggunakan berbagi NFS, ikuti langkah-langkah berikut:

1. Untuk memasang Transfer Appliance, jalankan perintah berikut di sumber data Anda:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Ganti IP_ADDRESS dengan alamat IP untuk perangkat.

2. Untuk menyalin data ke appliance, gunakan utilitas salinan pilihan Anda.

   Menyalin data adalah operasi yang berjalan lama. Di Apple macOS atau Linux, sebaiknya gunakan tmux atau screen untuk memastikan proses penyalinan tetap berjalan setelah logout atau koneksi jaringan terputus.

Menyimpan kunci SSH

Simpan kunci SSH untuk login yang lebih cepat ke Transfer Appliance. Menyimpan kunci SSH juga dapat meningkatkan kecepatan transfer.

1. Di workstation, buat pasangan kunci menggunakan perintah berikut:

   posix-terminal
   ssh-keygen -t rsa
   

2. Buat file /tmp/ssh_key di appliance.

3. Salin konten file kunci publik dari workstation Anda ke /tmp/ssh_key di appliance. File kunci publik berada di lokasi berikut di workstation Anda:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Untuk memberikan otorisasi ke beberapa kunci, tambahkan setiap kunci di baris baru di /tmp/ssh_key.

4. Jalankan perintah berikut di appliance. Semua kunci yang ada akan ditimpa.

   ta copy_ssh_keys
   

5. Login ke perangkat.

   • Jika kunci pribadi berada di lokasi default di workstation Anda, gunakan perintah berikut untuk login ke appliance:

     ssh ta_customer@IP_ADDRESS
     

   • Jika kunci pribadi tidak berada di lokasi default, gunakan perintah berikut untuk login ke appliance:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Menggunakan SMB untuk mentransfer data

Untuk mengaktifkan berbagi file SMB, ikuti langkah-langkah di bawah:

1. Konfigurasikan appliance untuk menggunakan SMB menggunakan flag protokol berbagi file berikut:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Direktori ta_data dibagikan dan pengguna berikut dibuat:

   • Nama pengguna: ta_customer
   • Sandi: ta_customer

2. Berdasarkan jenis host, hubungkan ke berbagi file SMB:

   Microsoft Windows

   Pengelola file

   1. Buka pengelola file dan edit jalur file ke \\IP_ADDRESS\ta_data.

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Masukkan kode berikut di command prompt Windows: net use X: \\IP_ADDRESS\ta_data

   2. Masukkan nama pengguna dan sandi Anda saat diminta.

   Linux

   Pengelola file

   1. Buka pengelola file default dan klik Hubungkan ke server.

   2. Masukkan smb://IP_ADDRESS/ta_data.

   3. Masukkan nama pengguna dan sandi Anda saat diminta.

   Command line

   1. Menginstal klien SMB: sudo apt-get install smbclient.

   2. Menghubungkan ke berbagi file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Perintah smb:\> akan muncul.

Menggunakan fileshare Anda sendiri di appliance

Appliance menggunakan perintah pemasangan Linux yang digabungkan untuk memasang share di appliance:

1. Jalankan perintah berikut:

   NFS

   1. Perbarui file /etc/exports di perangkat Anda yang menghosting server NFS yang memberikan akses IP_ADDRESS ke server.

   2. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • IP_ADDRESS: Alamat IP perangkat.
      • MOUNT_POINT: Nama titik pemasangan untuk share ini.
      • NFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server NFS
      • NFS_DIRECTORY: Jalur ke berbagi NFS Anda.
      • OPTIONS: Daftar opsi yang dipisahkan koma. Opsi ini adalah opsi yang diizinkan oleh perintah mount Linux.

   CIFS

   1. Jalankan perintah berikut di appliance:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • MOUNT_POINT: Nama titik pemasangan untuk share ini.
      • CIFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server CIFS.
      • CIFS_NAME: Nama berbagi CIFS.
      • OPTIONS: Daftar opsi yang dipisahkan koma, termasuk sandi dan nama pengguna berbagi CIFS. Opsi ini adalah opsi yang diizinkan oleh perintah mount Linux.

   Kecuali jika ditentukan lain dalam opsi pemasangan, titik pemasangan akan dipasang ulang setelah dimulai ulang hingga Anda menghapusnya dengan perintah 'ta unmount'.

2. Untuk melepas pemasangan apa pun di appliance, jalankan perintah berikut:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Untuk menyalin data ke appliance, gunakan utilitas salinan pilihan Anda.

   RClone

   1. Untuk menjalankan perintah salin dengan RClone di appliance, jalankan perintah berikut:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.

   Arsipkan Pull

   1. Untuk mengarsipkan data Anda ke dalam file tar selama transfer, jalankan perintah berikut:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.
      • ARCHIVE_SIZE_BYTES: Ukuran target tar ball yang akan dibuat di tujuan. Defaultnya adalah 1 GB, diperkirakan antara 5 MB dan 20 GB inklusif.
      • THREAD_COUNT: Jumlah thread yang berjalan secara bersamaan untuk membuat arsip. Defaultnya adalah 20, diperkirakan antara 1 dan 10.000 inklusif.

      Pengambilan arsip berjalan di latar belakang sehingga Anda dapat keluar dari terminal dengan aman. Pull dimulai dengan fase listingan data sebelum transfer dapat dimulai.

   2. ID ditampilkan saat Anda memulai pull, nilai ini dapat digunakan untuk berinteraksi dengan pull:

      Untuk memeriksa status pull, jalankan perintah berikut:

      ta pull --id=ID --status

      Untuk menjeda pull, jalankan perintah berikut:

      ta pull --id=ID --pause

      Untuk melanjutkan pull yang dijeda atau terhenti, jalankan perintah berikut:

      ta pull --id=ID --resume

      Ganti kode berikut:

      • ID: ID pull.

   3. Setelah pull selesai, tar ball dapat ditemukan di direktori /mnt/ta_data/TA_ARCHIVE_ID/. File manifes akan dibuat dan disimpan di /mnt/ta_data/manifest_ID.tsv. File ini akan berisi informasi file yang ditransfer, yang menjelaskan file apa yang disimpan dalam file tar ball. File manifes error juga akan disimpan di /mnt/ta_data/manifest_ID_ERROR.tsv yang menjelaskan error yang terjadi selama pull.

   Sebaiknya jalankan satu perintah pull dalam satu waktu.

   Catatan: Pull tidak dirancang untuk menangani set data dengan direktori yang berisi lebih dari 50.000 subdirektori. Untuk menghindari waktu tunggu yang lama, sebaiknya gunakan metode penyalinan lain.

   Pengujian kecepatan dilakukan pada set data berukuran 100 GB di TA7. Nilai ini dibagikan untuk membantu memberikan saran dalam memutuskan antara dua utilitas salinan yang ditawarkan. Kecepatan transfer dapat dipengaruhi oleh jenis perangkat serta konektivitas jaringan.

   Metode	Ukuran File	Byte Ukuran Arsip (Khusus Pull Arsip)	Tarif (NFS)	Tarif (UKM)
   RClone	100 MB	T/A	600 MB/dtk	620 MB/dtk
   Arsipkan Pull	100 MB	10 GB	750 MB/dtk	850 MB/dtk
   RClone	1 MB	T/A	280 MB/dtk	270 MB/dtk
   Arsipkan Pull	1 MB	500 MB	630 MB/dtk	380 MB/dtk
   RClone	100 KB	T/A	150 MB/dtk	150 MB/dtk
   Arsipkan Pull	100 KB	5 MB	270 MB/dtk	90 MB/dtk