Sebelum membuat tugas transfer sistem file, Anda harus mengaktifkan API yang diperlukan dan menginstal Docker.
Jika Anda menerima error saat melakukan penyiapan pertama kali, pastikan pengguna yang Anda gunakan untuk login memiliki izin yang diperlukan untuk melakukan langkah-langkah penyiapan. Dalam banyak kasus, izin ini tidak tersedia untuk semua pengguna, dan Anda mungkin perlu menghubungi administrator project untuk mendapatkan bantuan.
Persyaratan sistem
Untuk menggunakan Storage Transfer Service untuk transfer sistem file, Anda memerlukan:
Sumber dan/atau tujuan yang mematuhi POSIX.
Bucket Cloud Storage tanpa kebijakan retensi. Untuk mentransfer ke bucket dengan kebijakan retensi, lihat Mentransfer ke bucket dengan kebijakan retensi.
Port TCP 80 (HTTP) dan 443 (HTTPS) terbuka untuk koneksi keluar.
Persyaratan komputer agen transfer tercantum di bawah ini:
Server Linux atau virtual machine 64-bit yang didukung Docker yang dapat mengakses data yang akan Anda transfer. Docker Community Edition, mendukung sistem operasi CentOs, Debian, Fedora, dan Ubuntu.
Untuk menggunakan sistem operasi Linux lainnya, lihat Docker Enterprise.
Minimal 8 GB memori per penampung dan minimal empat CPU agar paling efektif.
Setiap batasan tingkat sistem atau tingkat pengguna pada jumlah ID proses yang diizinkan, seperti yang dikonfigurasi dengan
ulimit -u
, harus memperhitungkan jumlah agen yang ingin Anda jalankan. Setiap proses agen dapat membuat hingga ratusan thread. Sebaiknya hapus batas ID proses saat menjalankan agen transfer.Pelanggan yang menggunakan Podman untuk membuat penampung agen harus menentukan nilai
--pids-limit
yang cukup tinggi untuk mengakomodasi thread agen Storage Transfer Service. Nilai--pids-limit
default adalah 2048, yang dapat menyebabkan masalah saat menjalankan lebih dari satu agen. Sebaiknya tetapkan--pids-limit=-1
untuk mengizinkan ID proses yang tidak terbatas per penampung.
Batasan penskalaan pada tugas dan agen
Storage Transfer Service memiliki batasan skala berikut pada tugas dan agen transfer:
- Kurang dari satu miliar file per tugas
- Batas bandwidth harus lebih dari 1 Mbps
- Maksimum 100 agen per kumpulan agen
- Maksimal 800 kumpulan agen per project
Mengaktifkan API
-
Aktifkan Google Storage Transfer API.
Instal Docker
Jika Anda menggunakan Google Cloud CLI atau Docker untuk menginstal dan menjalankan agen transfer, instal Docker Engine di mesin Linux fisik atau virtual.
Jika Anda menggunakan Podman untuk menginstal dan menjalankan agen transfer, langsung lanjutkan ke petunjuk penginstalan khusus Podman.
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker
Jika Anda mengalami error penginstalan, lihat Pemecahan masalah.
Mengizinkan Docker melakukan autentikasi
Agar container Docker dapat melakukan autentikasi dengan kredensial default gcloud
Anda, buat volume Docker yang berisi file dengan kredensial default aplikasi Anda dengan menjalankan perintah berikut:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Apa langkah selanjutnya?
- Mengonfigurasi izin Google Cloud
- Membuat kumpulan agen
- Menginstal agen transfer
- Membuat tugas transfer
- Memaksimalkan performa agen transfer