Bekerja dengan Cloud Storage

AI Platform Prediction membaca data dari lokasi Cloud Storage tempat Anda telah memberikan akses ke project AI Platform Prediction. Halaman ini memberikan panduan singkat untuk menggunakan Cloud Storage dengan AI Platform Prediction.

Ringkasan

Penggunaan Cloud Storage diperlukan atau direkomendasikan untuk aspek berikut dari layanan Prediksi AI Platform:

Prediksi online

Prediksi batch

  • Menyimpan file input prediksi batch Anda.
  • Menyimpan output prediksi batch Anda.
  • Menyimpan model, jika Anda menggunakan prediksi batch tanpa men-deploy model di AI Platform Prediction terlebih dahulu.

Pertimbangan region

Saat membuat bucket Cloud Storage untuk digunakan dengan AI Platform Prediction, Anda harus:

  • Tetapkan ke region komputasi tertentu, bukan ke nilai multi-region.
  • Gunakan region yang sama dengan tempat Anda menjalankan tugas pelatihan.

Lihat selengkapnya tentang region yang tersedia untuk AI Platform Prediction.

Menyiapkan bucket Cloud Storage

Bagian ini menunjukkan cara membuat bucket baru. Anda dapat menggunakan bucket yang ada, tetapi harus berada di region yang sama dengan tempat Anda berencana menjalankan tugas AI Platform. Selain itu, jika ini bukan bagian dari project yang Anda gunakan untuk menjalankan AI Platform Prediction, Anda harus secara eksplisit memberikan akses ke akun layanan AI Platform Prediction.

  1. Tentukan nama untuk bucket baru Anda. Nama harus unik di semua bucket di Cloud Storage.

    BUCKET_NAME="YOUR_BUCKET_NAME"

    Misalnya, gunakan nama project Anda dengan tambahan -aiplatform: 

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")
BUCKET_NAME=${PROJECT_ID}-aiplatform

  2. Periksa nama bucket yang Anda buat.

    echo $BUCKET_NAME

  3. Pilih region untuk bucket Anda dan tetapkan variabel lingkungan REGION.

    Gunakan region yang sama dengan tempat Anda berencana menjalankan tugas Prediksi AI Platform. Lihat region yang tersedia untuk layanan AI Platform Prediction.

    Misalnya, kode berikut membuat REGION dan menetapkannya ke us-central1: 

    REGION=us-central1

  4. Buat bucket baru:

    gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Pengaturan model dalam bucket

Atur struktur folder di bucket untuk mengakomodasi banyak iterasi model Anda.

  • Tempatkan setiap model yang disimpan ke dalam direktori terpisahnya sendiri dalam bucket Anda.
  • Pertimbangkan untuk menggunakan stempel waktu untuk memberi nama direktori di bucket Anda.

Misalnya, Anda dapat menempatkan model pertama dalam struktur yang mirip dengan gs://your-bucket/your-model-DATE1/your-saved-model-file. Untuk memberi nama direktori untuk setiap iterasi model berikutnya, gunakan stempel waktu yang diperbarui (gs://your-bucket/your-model-DATE2/your-saved-model-file dan seterusnya).

Mengakses Cloud Storage selama prediksi

Jika Anda men-deploy rutinitas prediksi kustom (beta) atau pipeline scikit-learn dengan kode kustom (beta), versi model Anda dapat membaca dari bucket Cloud Storage mana pun dalam project yang sama selama penanganan prediksi.

Gunakan modul Python yang dapat membaca dari Cloud Storage dalam kode prediksi kustom Anda, seperti Klien Python untuk Google Cloud Storage, modul tf.io.gfile.GFile TensorFlow, atau pandas 0.24.0 atau yang lebih baru. AI Platform Prediction menangani autentikasi.

Anda juga dapat menentukan akun layanan saat men-deploy rutinitas prediksi kustom untuk menyesuaikan resource Cloud Storage yang dapat diakses oleh deployment Anda.

Menggunakan bucket Cloud Storage dari project lain

Bagian ini menjelaskan cara mengonfigurasi bucket Cloud Storage dari luar project Anda agar AI Platform Prediction dapat mengaksesnya.

Jika Anda menyiapkan bucket Cloud Storage di project yang sama tempat Anda menggunakan AI Platform Prediction, akun layanan AI Platform Prediction Anda sudah memiliki izin yang diperlukan untuk mengakses bucket Cloud Storage.

Petunjuk ini diberikan untuk kasus berikut:

  • Anda tidak dapat menggunakan bucket dari project, seperti saat set data besar dibagikan ke beberapa project.
  • Jika menggunakan beberapa bucket dengan AI Platform Prediction, Anda harus memberikan akses ke akun layanan AI Platform Prediction secara terpisah untuk setiap bucket.

Langkah 1: Dapatkan informasi yang diperlukan dari project cloud Anda

Konsol

  1. Buka halaman IAM di konsol Google Cloud.

    Buka Halaman IAM

  2. Halaman IAM menampilkan daftar semua akun utama yang memiliki akses ke project Anda, beserta peran terkaitnya. Project AI Platform Prediction Anda memiliki beberapa akun layanan. Temukan akun layanan dalam daftar yang memiliki peran Cloud ML Service Agent dan salin ID akun layanan tersebut, yang terlihat seperti ini:

    "service-111111111111@cloud-ml.google.com.iam.gserviceaccount.com".

    Anda harus menempelkan ID akun layanan ini ke halaman lain di konsol Google Cloud selama langkah berikutnya.

Command Line

Langkah-langkah di bagian ini mendapatkan informasi tentang project Google Cloud Anda untuk menggunakannya guna mengubah kontrol akses untuk akun layanan AI Platform Prediction project Anda. Anda perlu menyimpan nilai untuk digunakan nanti dalam variabel lingkungan.

  1. Dapatkan ID project Anda menggunakan Google Cloud CLI dengan project yang dipilih:

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")

  2. Dapatkan token akses untuk project Anda menggunakan gcloud:

    AUTH_TOKEN=$(gcloud auth print-access-token)

  3. Dapatkan informasi akun layanan dengan meminta konfigurasi project dari layanan REST:

    SVC_ACCOUNT=$(curl -X GET -H "Content-Type: application/json" \
    -H "Authorization: Bearer $AUTH_TOKEN" \
    https://ml.googleapis.com/v1/projects/${PROJECT_ID}:getConfig \
    | python3 -c "import json; import sys; response = json.load(sys.stdin); \
    print(response['serviceAccount'])")

Langkah 2: Konfigurasi akses ke bucket Cloud Storage Anda

Konsol

  1. Buka halaman Penyimpanan di konsol Google Cloud.

    Buka Halaman Penyimpanan

  2. Pilih bucket Cloud Storage yang Anda gunakan untuk men-deploy model dengan mencentang kotak di sebelah kiri nama bucket.

  3. Klik tombol Tampilkan Panel Info di pojok kanan atas untuk menampilkan tab Izin.

  4. Tempel ID akun layanan ke kolom Add Principals. Di sebelah kanan kolom tersebut, pilih peran yang Anda inginkan, seperti Storage Legacy Bucket Reader.

    Jika tidak yakin peran mana yang harus dipilih, Anda dapat memilih beberapa peran agar ditampilkan di bawah kolom Tambahkan Akun Utama, masing-masing dengan deskripsi singkat tentang izinnya.

  5. Untuk menetapkan peran yang diinginkan ke akun layanan, klik tombol Add di sebelah kanan kolom Add Principals.

Command Line

Setelah memiliki informasi project dan akun layanan, Anda perlu memperbarui izin akses untuk bucket Cloud Storage. Langkah-langkah ini menggunakan nama variabel yang sama dengan yang digunakan di bagian sebelumnya.

  1. Tetapkan nama bucket Anda dalam variabel lingkungan bernama BUCKET_NAME:

    BUCKET_NAME="your_bucket_name"

  2. Berikan akses baca akun layanan ke objek di bucket Cloud Storage Anda:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectReader

  3. Berikan akses tulis:

    gcloud storage buckets add-iam-policy-binding gs://$BUCKET_NAME --member=user:$SVC_ACCOUNT --role=roles/storage.legacyObjectWriter

Untuk memilih peran yang akan diberikan ke akun layanan AI Platform Prediction, lihat Peran IAM Cloud Storage. Untuk mengetahui informasi umum selengkapnya tentang cara memperbarui peran IAM di Cloud Storage, lihat cara memberikan akses ke akun layanan untuk resource.

Langkah selanjutnya