Transfer data

Transfer Appliance mendukung metode berikut untuk menyalin data ke perangkat:

• SCP atau SFTP untuk Microsoft Windows, Linux, dan macOS.
• Berbagi NFS untuk Linux dan macOS.
• Berbagi SMB untuk Microsoft Windows dan Linux.
• Pasang di Appliance untuk NFS dan CIFS.

Setelah Anda menyalin data ke Transfer Appliance, pastikan bahwa transfer data ke bucket Cloud Storage selesai sebelum Anda menghapus data sumber.

Persyaratan ukuran dan penamaan file

File yang diupload ke peralatan harus mematuhi batas ukuran file dan panduan penamaan Cloud Storage:

• Batas ukuran file didokumentasikan di halaman Kuota & batas Cloud Storage.
• Pedoman nama file didokumentasikan di halaman Pedoman penamaan objek.

Transfer Appliance tidak memvalidasi ukuran atau nama file. Jika peralatan berisi file yang tidak mematuhi aturan ini saat perangkat dikirim kembali ke Google, kami mungkin tidak dapat mentransfer file tersebut.

Gunakan SCP atau SFTP untuk menyalin data

Untuk menyalin data ke perangkat menggunakan SCP atau SFTP, ikuti langkah-langkah berikut:

Microsoft Windows

1. Download klien SCP atau SFTP yang mendukung nama file UTF-8, seperti WinSCP.

2. Dengan menggunakan alat SCP, hubungkan ke perangkat menggunakan setelan berikut:

   • Protokol file: SFTP
   • Nama host: Alamat IP untuk peralatan.
   • Nomor port: 22
   • Nama pengguna: Nama pengguna peralatan yang diberikan oleh Tim Transfer Appliance.
   • Sandi: Sandi perangkat yang diberikan oleh Tim Transfer Appliance.

   Direktori tujuan di Transfer Appliance harus /mnt/ta_data.

Linux

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang sedang Anda salin.
   • USERNAME: Nama pengguna peralatan yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk peralatan.

2. Saat diminta, masukkan sandi perangkat yang diberikan oleh Tim Transfer Appliance.

Apple macOS

1. Jalankan perintah berikut:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   Ganti kode berikut:

   • PATH_TO_FILES: Jalur ke file yang sedang Anda salin.
   • USERNAME: Nama pengguna peralatan yang diberikan oleh Tim Transfer Appliance.
   • IP_ADDRESS: Alamat IP untuk peralatan.

2. Saat diminta, masukkan sandi perangkat yang diberikan oleh Tim Transfer Appliance.

Menggunakan berbagi NFS untuk menyalin data

Untuk menyalin data ke perangkat menggunakan berbagi NFS, ikuti langkah-langkah berikut:

1. Untuk memasang Transfer Appliance, jalankan perintah berikut pada sumber data Anda:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      Ganti IP_ADDRESS dengan alamat IP untuk alat tersebut.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      Ganti IP_ADDRESS dengan alamat IP untuk alat tersebut.

2. Untuk menyalin data ke peralatan, gunakan utilitas penyalinan pilihan Anda.

   Menyalin data adalah operasi yang berjalan lama. Di Apple macOS atau Linux, sebaiknya gunakan tmux atau screen untuk memastikan proses penyalinan tetap berlangsung saat logout atau koneksi jaringan terputus.

Simpan kunci SSH Anda

Simpan kunci SSH untuk login dengan lebih cepat ke Transfer Appliance Anda. Menyimpan kunci SSH Anda juga dapat meningkatkan kecepatan transfer.

1. Di workstation, buat pasangan kunci menggunakan perintah berikut:

   posix-terminal
   ssh-keygen -t rsa
   

2. Buat file /tmp/ssh_key di perangkat.

3. Salin konten file kunci publik dari workstation Anda ke /tmp/ssh_key di perangkat. File kunci publik berada di lokasi berikut di workstation Anda:

   • Linux: ~/.ssh/id_rsa.pub
   • Windows: C:Users/USERNAME/.ssh

   Untuk mengizinkan beberapa kunci, tambahkan setiap kunci pada baris baru di /tmp/ssh_key.

4. Jalankan perintah berikut pada peralatan. Kunci yang ada akan ditimpa.

   ta copy_ssh_keys
   

5. Login ke peralatan.

   • Jika kunci pribadi berada di lokasi default pada workstation Anda, gunakan perintah berikut untuk login ke perangkat:

     ssh ta_customer@IP_ADDRESS
     

   • Jika kunci pribadi tidak berada di lokasi default, gunakan perintah berikut untuk login ke perangkat:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

Menggunakan SMB untuk mentransfer data

Untuk mengaktifkan berbagi file SMB, ikuti langkah-langkah di bawah:

1. Konfigurasikan perangkat untuk menggunakan SMB menggunakan tanda protokol berbagi file berikut:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   Direktori ta_data dibagikan dan pengguna berikut dibuat:

   • Nama pengguna: ta_customer
   • Sandi: ta_customer

2. Berdasarkan jenis host Anda, hubungkan ke berbagi file SMB:

   Microsoft Windows

   File manager

   1. Buka pengelola file dan edit jalur file ke \\IP_ADDRESS\ta_data.

   2. Masukkan nama pengguna dan sandi Anda jika diminta.

   Command line

   1. Masukkan perintah berikut pada command prompt Windows: net use X: \\IP_ADDRESS\ta_data

   2. Masukkan nama pengguna dan sandi Anda jika diminta.

   Linux

   File manager

   1. Buka pengelola file default, lalu klik Connect to server.

   2. Masukkan smb://IP_ADDRESS/ta_data.

   3. Masukkan nama pengguna dan sandi Anda jika diminta.

   Command line

   1. Instal klien SMB: sudo apt-get install smbclient.

   2. Hubungkan ke fitur berbagi file SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      Perintah smb:\> akan muncul.

Gunakan fileshare Anda sendiri di perangkat

Catatan: Anda mungkin perlu mengupdate software peralatan untuk mengaktifkan fitur pemasangan. Jika perangkat Anda mendukung transfer online, jalankan ta update, atau pelajari lebih lanjut di halaman Mengupdate software perangkat.

Alat ini menggunakan perintah mount Linux yang digabungkan untuk memasang share pada alat:

1. Jalankan perintah berikut:

   NFS

   1. Update file /etc/exports di perangkat yang menghosting server NFS yang memberi IP_ADDRESS akses ke server.

   2. Jalankan perintah berikut pada perangkat:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • IP_ADDRESS: Alamat IP perangkat.
      • MOUNT_POINT: Nama titik pemasangan untuk bagian ini.
      • NFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server NFS
      • NFS_DIRECTORY: Jalur ke bagian NFS Anda.
      • OPTIONS: Daftar opsi yang dipisahkan koma. Opsi ini diizinkan oleh perintah {i>mount<i} di Linux.

   CIFS

   1. Jalankan perintah berikut pada perangkat:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      Ganti kode berikut:

      • MOUNT_POINT: Nama titik pemasangan untuk bagian ini.
      • CIFS_SERVER_IP: Alamat IP perangkat Anda yang menghosting server CIFS.
      • CIFS_NAME: Nama berbagi CIFS.
      • OPTIONS: Daftar opsi yang dipisahkan koma, termasuk sandi dan nama pengguna file CIFS. Opsi ini diizinkan oleh perintah mount di Linux.

   Kecuali jika ditentukan lain dalam opsi pemasangan, titik pemasangan akan dipasang ulang setelah dimulai ulang hingga Anda menghapusnya dengan perintah 'ta unmount'.

2. Untuk melepaskan pemasangan pada alat, jalankan perintah berikut:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. Untuk menyalin data ke peralatan, gunakan utilitas penyalinan pilihan Anda.

   RClone

   1. Untuk menjalankan perintah penyalinan dengan RClone pada perangkat, jalankan perintah berikut:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.

   Penarikan Arsip

   1. Untuk mengarsipkan data Anda ke dalam file tar selama transfer, jalankan perintah berikut:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      Ganti kode berikut:

      • MOUNT_POINT: Direktori yang berisi data yang akan ditransfer.
      • ARCHIVE_SIZE_BYTES: Ukuran target bola tar yang akan dihasilkan di tujuan. Default untuk 1GB, yang diharapkan antara 5MB dan 20GB inklusif.
      • THREAD_COUNT: Jumlah thread yang berjalan secara bersamaan membuat arsip. Default-nya adalah 20, yang diharapkan menjadi antara 1 dan 10.000 inklusif.

      Arsipkan pull berjalan di latar belakang agar Anda dapat keluar dari terminal dengan aman. Proses pull dimulai dengan fase pencantuman data sebelum transfer dapat dimulai.

   2. ID dikembalikan saat Anda memulai pull, nilai ini dapat digunakan untuk berinteraksi dengan pull tersebut:

      Untuk memeriksa status pull, jalankan perintah berikut:

      ta pull --id=ID --status

      Untuk menjeda pull, jalankan perintah berikut:

      ta pull --id=ID --pause

      Untuk melanjutkan pull yang dijeda atau terganggu, jalankan perintah berikut:

      ta pull --id=ID --resume

      Ganti kode berikut:

      • ID: ID pull.

   3. Setelah penarikan selesai, bola tar dapat ditemukan di direktori /mnt/ta_data/TA_ARCHIVE_ID/. File manifes akan dibuat dan disimpan di /mnt/ta_data/manifest_ID.tsv. File ini akan berisi informasi file yang ditransfer, yang merinci file tar ball yang menyimpan file apa. File manifes error juga akan disimpan di /mnt/ta_data/manifest_ID_ERROR.tsv yang merinci error yang ditemukan selama pull.

   Disarankan untuk menjalankan satu perintah pull dalam satu waktu.

   Catatan: Pull tidak dirancang untuk menangani set data dengan direktori yang berisi lebih dari 50.000 subdirektori. Untuk menghindari waktu tunggu yang lebih lama, pertimbangkan untuk menggunakan metode penyalinan lainnya.

   Uji kecepatan dilakukan pada sebuah {i>dataset <i}berukuran 100 GB di sebuah TA7. Nilai-nilai ini dibagikan untuk membantu memberi saran dalam memutuskan antara dua utilitas teks yang ditawarkan. Kecepatan transfer dapat dipengaruhi oleh jenis perangkat serta konektivitas jaringan.

   Metode	Ukuran File	Byte Ukuran Arsip (Khusus Pull Arsip)	Tarif (NFS)	Tarif (UKM)
   RClone	100 MB	T/A	600 MB/dtk	620 MB/d
   Penarikan Arsip	100 MB	10 GB	750 MB/d	850 MB/d
   RClone	1 MB	T/A	280 MB/d	270 MB/d
   Penarikan Arsip	1 MB	500 MB	630 MB/d	380 MB/d
   RClone	100 KB	T/A	150 MB/dtk	150 MB/dtk
   Penarikan Arsip	100 KB	5 MB	270 MB/d	90 MB/dtk