Persyaratan untuk transfer sistem file

Sebelum membuat tugas transfer sistem file, Anda harus mengaktifkan API yang diperlukan dan menginstal Docker.

Jika menerima error saat melakukan penyiapan pertama kali, pastikan pengguna yang Anda gunakan untuk login memiliki izin yang diperlukan untuk melakukan langkah penyiapan. Dalam banyak kasus, izin ini hanya tersedia untuk pengguna tertentu, dan Anda mungkin perlu menghubungi administrator project untuk mendapatkan bantuan.

Persyaratan sistem

Untuk menggunakan Storage Transfer Service untuk transfer sistem file, Anda memerlukan:

Persyaratan mesin agen transfer tercantum di bawah ini:

  • Server atau mesin virtual Linux 64-bit yang didukung Dockeryang dapat mengakses data yang ingin Anda transfer. Docker Community Edition, mendukung sistem operasi CentOs, Debian, Fedora, dan Ubuntu.

    Untuk menggunakan sistem operasi Linux lainnya, lihat Docker Enterprise.

  • Memori minimal 8 GB per container dan minimal empat CPU agar paling efektif.

  • Batasan tingkat sistem atau tingkat pengguna terkait jumlah ID proses yang diizinkan, seperti yang dikonfigurasi dengan ulimit -u, harus memperhitungkan jumlah agen yang ingin Anda jalankan. Setiap proses agen dapat membuat hingga ratusan thread. Sebaiknya hapus batas ID proses saat menjalankan agen transfer.

    Pelanggan yang menggunakan Podman untuk membuat container agen harus menentukan nilai --pids-limit yang cukup tinggi untuk mengakomodasi thread agen Storage Transfer Service. Nilai --pids-limit default adalah 2048, yang dapat menyebabkan masalah saat menjalankan lebih dari satu agen. Sebaiknya tetapkan --pids-limit=-1 untuk mengizinkan ID proses tanpa batas per penampung.

Pembatasan penskalaan pada tugas dan agen

Storage Transfer Service memiliki pembatasan skala berikut pada tugas dan agen transfer:

  • Kurang dari satu miliar file per tugas
  • Batas bandwidth harus di atas 1MBps
  • Hingga 100 agen per kumpulan agen
  • Hingga 800 kumpulan agen per project

Mengaktifkan API

  1. Enable the Google Storage Transfer API.

    Enable the API

Instal Docker

Instal Docker Community Edition di mesin Linux fisik atau virtual:

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker

Jika Anda mengalami error penginstalan, lihat Pemecahan masalah.

Izinkan Docker untuk mengautentikasi

Agar container Docker dapat melakukan autentikasi dengan kredensial default gcloud, buat volume Docker yang berisi file yang berisi kredensial default aplikasi Anda dengan menjalankan perintah berikut:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Apa langkah selanjutnya?