Menghubungkan ke Bucket Cloud Storage

Halaman ini memperkenalkan Cloud Storage sebagai opsi untuk menyimpan data machine learning dan output pelatihan, serta menjelaskan cara memberi Cloud TPU akses ke objek data di Cloud Storage.

Sebelum memulai

Anda memerlukan Akun Layanan Cloud TPU agar dapat mengakses bucket Cloud Storage.

  1. Buat Akun Layanan Cloud TPU untuk project Anda.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

    Perintah tersebut akan menampilkan Akun Layanan Cloud TPU dengan format berikut:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    
  2. Ikuti petunjuk yang ada di panduan memulai Cloud TPU atau dokumen Membuat dan menghapus TPU untuk mengonfigurasi project Google Cloud Anda dan membuat resource VM dan TPU Cloud TPU.

Menulis data ke Cloud Storage

Konsol

  1. Buka halaman Cloud Storage di Konsol Google Cloud.

    Buka halaman Cloud Storage

  2. Buat bucket baru, dengan menentukan opsi berikut:

    • Nama unik pilihan Anda.
    • Kelas penyimpanan default: Standard
    • Lokasi: us-central1

gsutil

  1. Gunakan perintah gsutil mb untuk membuat bucket Cloud Storage:

    gsutil mb -l region gs://bucket-name/

    dengan:

    • region adalah region tempat Anda membuat Cloud TPU. Contoh: us-central1. Cloud TPU tersedia di region berikut:

      AS

      Cloud TPU v2 dan Preemptible v2 us-central1
      Cloud TPU v3 dan Preemptible v3 us-central1
      Cloud TPU v4 dan Preemptible v4 us-central2
      Pod Cloud TPU v2 us-central1
      Pod Cloud TPU v4 us-central2

      Eropa

      Cloud TPU v2 dan Preemptible v2 europe-west4
      Cloud TPU v3 dan Preemptible v3 europe-west4
      Pod Cloud TPU v2 europe-west4
      Pod Cloud TPU v3 europe-west4

      Asia Pasifik

      Cloud TPU v2 dan Preemptible v2 asia-east1
    • bucket-name adalah nama bucket yang ingin Anda buat.

  2. Gunakan perintah gsutil cp untuk menulis file ke bucket Cloud Storage:

    gsutil cp -r local-data-dir gs://bucket-name

    dengan local-data-dir adalah jalur lokal ke data Anda. Contoh:$HOME/your-data

Memberi Cloud TPU akses ke Cloud Storage

Anda harus memberi Cloud TPU akses baca/tulis ke objek Cloud Storage. Untuk melakukannya, Anda harus memberikan akses yang diperlukan ke Akun Layanan Cloud TPU yang digunakan oleh Cloud TPU. Ikuti langkah-langkah berikut untuk menemukan Akun Layanan Cloud TPU dan memberikan akses yang diperlukan:

Memberi otorisasi pada Akun Layanan Cloud TPU

Jika Anda menyimpan data pelatihan di Cloud Storage, Akun Layanan Cloud TPU memerlukan izin baca dan tulis di bucket.

Konsol

  1. Buka halaman browser Cloud Storage untuk melihat bucket yang Anda miliki.

    Buka browser Cloud Storage

  2. Pilih bucket yang ACL-nya ingin Anda ubah.

  3. Pilih tab Permissions.

  4. Pilih Add untuk menambahkan izin baru, lalu ketik nama Akun Layanan yang lengkap di kotak edit New Principals.

  5. Jika membaca dari bucket ini, Anda harus mengizinkan Akun Layanan TPU untuk membaca dari resource. Lakukan hal ini dengan memberikan peran Storage Legacy > Storage Legacy Bucket Reader ke Akun Layanan.

  6. Jika menulis ke bucket ini, Anda harus mengizinkan Akun Layanan TPU untuk menulis ke resource. Lakukan hal ini dengan memberikan peran Storage Legacy > Storage Legacy Bucket Writer ke Akun Layanan.

gsutil

  1. Jika Anda membaca dari bucket ini, berikan izin baca untuk Akun Layanan Cloud TPU:

     gsutil acl ch -u tpu-service-account:READER gs://bucket-name

  2. Jika Anda menulis ke bucket ini, berikan izin tulis untuk Akun Layanan Cloud TPU:

     gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Menggunakan izin IAM untuk Cloud TPU (Alternatif)

Jika ingin memberikan izin yang lebih luas, bukan mengizinkan akses ke setiap bucket secara eksplisit, Anda dapat memberikan peran Identity Access Management (IAM) ke Akun Layanan Cloud TPU.

  1. Buka halaman IAM untuk project Anda.

    Buka IAM

  2. Klik tombol +Add untuk menambahkan akun utama ke project.

  3. Masukkan nama Akun Layanan Cloud TPU di kotak teks Principals.

  4. Klik daftar dropdown Peran.

  5. Aktifkan peran berikut:

    • Project > Pengakses Lihat-Saja

    • Penyimpanan > Admin Penyimpanan

Cloud Storage FUSE

Cloud Storage FUSE dapat digunakan untuk memasang dan mengakses bucket Cloud Storage sebagai sistem file lokal. Hal ini memungkinkan aplikasi membaca dan menulis objek di bucket Anda menggunakan semantik sistem file standar.

Lihat dokumentasi Cloud Storage FUSE untuk mengetahui detail cara kerja Cloud Storage FUSE dan deskripsi cara operasi Cloud Storage FUSE dipetakan ke operasi Cloud Storage. Anda dapat menemukan informasi tambahan mengenai cara menggunakan Cloud Storage FUSE, seperti cara menginstal CLI gcsfuse dan memasang bucket di GitHub.

Langkah selanjutnya

  • Untuk mengetahui informasi selengkapnya tentang cara membuat bucket Cloud Storage dan menulis data ke bucket tersebut, lihat dokumentasi Cloud Storage.
  • Untuk mengetahui informasi selengkapnya tentang Akun Layanan, lihat ringkasan autentikasi.