Bekerja dengan Cloud Storage

AI Platform Training membaca data dari lokasi Cloud Storage tempat Anda telah memberikan akses ke project AI Platform Training. Halaman ini memberikan panduan cepat untuk menggunakan Cloud Storage dengan AI Platform Training.

Ringkasan

Penggunaan Cloud Storage diperlukan atau direkomendasikan untuk aspek berikut dari layanan Pelatihan AI Platform:

• Melakukan staging pada aplikasi pelatihan dan dependensi kustom Anda.
• Menyimpan data input pelatihan Anda, seperti data tabel atau gambar.
• Menyimpan data output pelatihan Anda.

Pertimbangan region

Saat membuat bucket Cloud Storage untuk digunakan dengan AI Platform Training, Anda harus:

• Tetapkan ke region komputasi tertentu, bukan ke nilai multi-region.
• Gunakan region yang sama dengan tempat Anda menjalankan tugas pelatihan.

Lihat selengkapnya tentang region yang tersedia untuk Pelatihan AI Platform.

Menyiapkan bucket Cloud Storage

Bagian ini menunjukkan cara membuat bucket baru. Anda dapat menggunakan bucket yang ada, tetapi harus berada di region yang sama dengan tempat Anda berencana menjalankan tugas AI Platform. Selain itu, jika ini bukan bagian dari project yang Anda gunakan untuk menjalankan Pelatihan AI Platform, Anda harus secara eksplisit memberikan akses ke akun layanan Pelatihan AI Platform.

1. Tentukan nama untuk bucket baru Anda. Nama harus unik di semua bucket di Cloud Storage.

   BUCKET_NAME="YOUR_BUCKET_NAME"

   Misalnya, gunakan nama project Anda dengan tambahan -aiplatform:

   PROJECT_ID=$(gcloud config list project --format "value(core.project)")
   BUCKET_NAME=${PROJECT_ID}-aiplatform

2. Periksa nama bucket yang Anda buat.

   echo $BUCKET_NAME

3. Pilih region untuk bucket Anda dan tetapkan variabel lingkungan REGION.

   Gunakan region yang sama dengan tempat Anda berencana menjalankan tugas Pelatihan AI Platform. Lihat region yang tersedia untuk layanan Pelatihan AI Platform.

   Misalnya, kode berikut membuat REGION dan menetapkannya ke us-central1:

   REGION=us-central1

4. Buat bucket baru:

   gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Pengaturan model dalam bucket

Atur struktur folder di bucket untuk mengakomodasi banyak iterasi model Anda.

• Tempatkan setiap model yang disimpan ke dalam direktori terpisahnya sendiri dalam bucket Anda.
• Pertimbangkan untuk menggunakan stempel waktu untuk memberi nama direktori di bucket Anda.

Misalnya, Anda dapat menempatkan model pertama dalam struktur yang mirip dengan gs://your-bucket/your-model-DATE1/your-saved-model-file. Untuk memberi nama direktori untuk setiap iterasi model berikutnya, gunakan stempel waktu yang diperbarui (gs://your-bucket/your-model-DATE2/your-saved-model-file dan seterusnya).

Mengakses Cloud Storage selama pelatihan

Gunakan modul Python yang dapat membaca dari Cloud Storage dalam kode pelatihan Anda, seperti Klien Python untuk Google Cloud Storage, modul tf.io.gfile.GFile TensorFlow, atau pandas 0.24.0 atau yang lebih baru. Pelatihan AI Platform menangani autentikasi.

Menggunakan bucket Cloud Storage dari project lain

Bagian ini menjelaskan cara mengonfigurasi bucket Cloud Storage dari luar project Anda agar AI Platform Training dapat mengaksesnya.

Jika Anda menyiapkan bucket Cloud Storage di project yang sama tempat Anda menggunakan AI Platform Training, akun layanan AI Platform Training Anda sudah memiliki izin yang diperlukan untuk mengakses bucket Cloud Storage.

Petunjuk ini diberikan untuk kasus berikut:

• Anda tidak dapat menggunakan bucket dari project, seperti saat set data besar dibagikan ke beberapa project.
• Jika menggunakan beberapa bucket dengan AI Platform Training, Anda harus memberikan akses ke akun layanan AI Platform Training secara terpisah untuk setiap bucket.

Perhatian: Sebaiknya jangan simpan data machine learning Anda di bucket Cloud Storage yang dimiliki oleh project yang berbeda dengan project yang Anda gunakan dengan AI Platform Training. Untuk penggunaan umum, sebaiknya buat bucket khusus dalam project Anda untuk digunakan AI Platform Training.

Catatan: Petunjuk berikut menjelaskan cara menyesuaikan izin akun layanan default yang digunakan AI Platform Training selama pelatihan dan prediksi. Jika ingin mengakses bucket Cloud Storage dari project yang berbeda selama prediksi, Anda dapat men-deploy rutinitas prediksi kustom yang menggunakan akun layanan yang berbeda dengan izin yang Anda perlukan.

Langkah 1: Dapatkan informasi yang diperlukan dari project cloud Anda

Konsol

1. Buka halaman IAM di konsol Google Cloud.

   Buka Halaman IAM

2. Halaman IAM menampilkan daftar semua akun utama yang memiliki akses ke project Anda, beserta peran terkaitnya. Project Pelatihan AI Platform Anda memiliki beberapa akun layanan. Temukan akun layanan dalam daftar yang memiliki peran Cloud ML Service Agent dan salin ID akun layanan tersebut, yang terlihat seperti ini:

   "[e-mail]".

   Anda harus menempelkan ID akun layanan ini ke halaman lain di konsol Google Cloud selama langkah berikutnya.

Command Line

Langkah-langkah di bagian ini mendapatkan informasi tentang project Google Cloud Anda untuk menggunakannya guna mengubah kontrol akses untuk akun layanan AI Platform Training project Anda. Anda perlu menyimpan nilai untuk digunakan nanti dalam variabel lingkungan.

1. Dapatkan ID project Anda menggunakan Google Cloud CLI dengan project yang dipilih:

   PROJECT_ID=$(gcloud config list project --format "value(core.project)")
   

2. Dapatkan token akses untuk project Anda menggunakan gcloud:

   AUTH_TOKEN=$(gcloud auth print-access-token)
   

3. Dapatkan informasi akun layanan dengan meminta konfigurasi project dari layanan REST:

   SVC_ACCOUNT=$(curl -X GET -H "Content-Type: application/json" \
       -H "Authorization: Bearer $AUTH_TOKEN" \
       https://ml.googleapis.com/v1/projects/${PROJECT_ID}:getConfig \
       | python3 -c "import json; import sys; response = json.load(sys.stdin); \
       print(response['serviceAccount'])")
   

Langkah 2: Konfigurasi akses ke bucket Cloud Storage Anda

Konsol

1. Buka halaman Penyimpanan di konsol Google Cloud.

   Buka Halaman Penyimpanan

2. Pilih bucket Cloud Storage yang Anda gunakan untuk men-deploy model dengan mencentang kotak di sebelah kiri nama bucket.

3. Klik tombol Tampilkan Panel Info di pojok kanan atas untuk menampilkan tab Izin.

4. Tempel ID akun layanan ke kolom Add Principals. Di sebelah kanan kolom tersebut, pilih peran yang Anda inginkan, seperti Storage Legacy Bucket Reader.

   Jika tidak yakin peran mana yang harus dipilih, Anda dapat memilih beberapa peran agar ditampilkan di bawah kolom Tambahkan Akun Utama, masing-masing dengan deskripsi singkat tentang izinnya.

5. Untuk menetapkan peran yang diinginkan ke akun layanan, klik tombol Add di sebelah kanan kolom Add Principals.

Command Line

Setelah memiliki informasi project dan akun layanan, Anda perlu memperbarui izin akses untuk bucket Cloud Storage. Langkah-langkah ini menggunakan nama variabel yang sama dengan yang digunakan di bagian sebelumnya.

1. Tetapkan nama bucket Anda dalam variabel lingkungan bernama BUCKET_NAME:

   BUCKET_NAME="your_bucket_name"
   

2. Berikan akses baca akun layanan ke objek di bucket Cloud Storage Anda:

   gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectReader
   

3. Berikan akses tulis:

   gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectWriter
   

Untuk memilih peran yang akan diberikan ke akun layanan AI Platform Training, lihat Peran IAM Cloud Storage. Untuk mengetahui informasi umum selengkapnya tentang cara memperbarui peran IAM di Cloud Storage, lihat cara memberikan akses ke akun layanan untuk resource.

Langkah selanjutnya

• Pelajari cara kerja AI Platform Training dengan mengikuti panduan memulai.
• Pelajari cara kerja AI Platform.
• Bersiaplah untuk melatih model machine learning.