Menguji kemampuan model di Model Garden

Model Garden menyediakan beberapa opsi bagi Anda untuk melihat dan menguji kemampuan model dengan cepat. Untuk model yang didukung, Anda dapat mencoba playground demo atau meluncurkan aplikasi demo yang disebut Ruang Model Garden yang dapat Anda bagikan kepada orang lain untuk menunjukkan kemampuan model.

Playground didukung oleh endpoint prediksi online Vertex AI yang telah di-deploy sebelumnya dan tidak menimbulkan biaya. Saat membuka kartu model untuk model yang didukung, Anda dapat menggunakan panel Coba untuk menguji kemampuan model dengan cepat dengan mengirimkan perintah teks. Anda juga dapat menyetel beberapa parameter yang paling umum seperti suhu dan jumlah token output. Playground hanya mendukung input dan output teks.

Saat meluncurkan Spaces, Anda memiliki aplikasi web yang berfungsi dan siap digunakan dengan upaya manual yang jauh lebih sedikit daripada men-deploy model dan membangun aplikasi untuk menggunakan endpoint model. Model Garden men-deploy model yang Anda pilih di Vertex AI dan men-deploy aplikasi contoh di instance Cloud Run yang menggunakan endpoint model yang di-deploy. Aplikasi juga dapat menggunakan endpoint yang ada, atau endpoint MaaS.

Untuk meluncurkan model, buka kartu model untuk model yang didukung, dan di panel Coba Ruang, klik Ruang untuk meluncurkannya. Anda ditagih untuk mesin yang digunakan untuk deployment dan untuk instance Cloud Run yang menghosting aplikasi.

Sebelum memulai

Dalam tutorial ini, Anda harus menyiapkan project Google Cloud dan mengaktifkan Vertex AI API.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

  8. Mencoba Playground

    1. Di konsol Google Cloud , buka kartu model yang didukung, seperti kartu model Gemma 2.

      Buka Gemma 2

    2. Di panel Coba:

      1. Untuk Region, terima default atau pilih region Anda.
      2. Untuk Endpoint, pilih Demo playground.
      3. Di kotak Prompt, masukkan Why is the sky blue?.
      4. Luaskan bagian Advanced options dan lihat parameter default.

      Panel coba untuk Gemma 2b-it

    3. Klik Kirim. Output akan muncul di bawah tombol Kirim.

    Mencoba Ruang

    Anda dapat meluncurkan Ruang dengan model seperti Gemini, Gemma, Llama, dan Stable Diffusion. Daftar berikut adalah contoh apa yang didukung:

    Izin IAM

    Selain izin yang ada untuk menggunakan Vertex AI, Anda harus memiliki izin berikut untuk meluncurkan Ruang:

    Tindakan Izin yang diperlukan Tujuan
    Mengaktifkan API tambahan serviceusage.services.enable Aktifkan API berikut:
    • Cloud Run Admin API (run.googleapis.com)
    • Artifact Registry API (artifactregistry.googleapis.com)
    • Cloud Build API (cloudbuild.googleapis.com)
    • Cloud Logging API (logging.googleapis.com)
    Memberikan izin ke akun layanan resourcemanager.projects.setIamPolicy Berikan peran berikut kepada akun layanan default Compute Engine:
    Men-deploy izin tertentu
    • storage.buckets.create
    • run.services.create
    • artifactregistry.repositories.create
    • run.services.setIamPolicy
    Selama deployment, serangkaian kode sumber akan diupload ke Cloud Storage, lalu di-deploy ke Cloud Run dengan layanan baru yang dibuat. artifactregistry.repositories.create diperlukan untuk membuat repositori bagi image container. run.services.setIamPolicy diperlukan agar layanan dapat diakses secara publik.

    Jika Anda adalah pemilik project, Anda tidak perlu melakukan tindakan tambahan tetapi ikuti panduan di Vertex AI Studio. Jika Anda bukan pemilik project, minta administrator project untuk melakukan dua tindakan pertama, lalu memberi Anda peran Editor (roles/editor) dan Cloud Run Admin (roles/run.admin).

    Meluncurkan Ruang

    Luncurkan Ruang untuk menguji dan bereksperimen dengan model dari aplikasi Gradio contoh.

    1. Di konsol Google Cloud , buka Model Garden untuk melihat kartu model suatu model.

      Buka Model Garden

    2. Pilih model yang akan digunakan. Model yang didukung memiliki panel Coba Spaces, seperti kartu model Gemma 3.

      Buka Gemma 3

    3. Klik rocket_launch Jalankan untuk meluncurkan Ruang.

      1. Anda dapat memilih untuk Mewajibkan autentikasi (melalui Identity Aware Proxy) atau Mengizinkan akses publik. Untuk informasi selengkapnya, lihat Mengaktifkan API untuk deployment pertama dan memberikan izin.
      1. Klik Create new service untuk memulai deployment. Anda dapat memantau status deployment dari kartu model.
    4. Setelah status Ruang berubah menjadi Siap, klik Ruang tersebut untuk melihat detail tentang deployment.

      Untuk perlindungan dasar, aplikasi web memerlukan kunci rahasia yang harus ditambahkan ke URL saat mengirimkan perintah. Kunci rahasia ini diberikan di kolom Kunci rahasia.

      1. Klik Open untuk mulai menggunakan aplikasi. Anda dapat mengirim perintah ke model dan melihat responsnya dari dalam aplikasi.

      Anda dapat membagikan URL agar orang lain juga dapat mencoba aplikasi ini.

      1. Untuk menutup akses ke aplikasi, klik Edit di kolom Kontrol akses.

      Di tab Security untuk aplikasi Cloud Run Anda, pilih Require authentication, lalu klik Save. Aplikasi tidak lagi tersedia melalui URL. Kunjungan ke URL menghasilkan error 403 (dilarang).

    Pembersihan

    Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

    Menghapus Ruang

    Untuk membersihkan Spaces, Anda harus menghapus resource model dan resource aplikasi contoh di Cloud Run.

    Menghapus resource model

    Dari dalam aplikasi Gradio, Anda dapat menghapus endpoint model untuk membersihkan resource Vertex AI. Kemudian, Anda perlu menghapus layanan Cloud Run untuk menghentikan dan menghapus aplikasi Gradio.

    Untuk menghapus resource Vertex AI secara manual, lihat Membatalkan deployment model dan menghapus resource.

    Menghapus layanan Cloud Run

    Menghapus resource yang terkait dengan layanan, termasuk semua revisi layanan. Menghapus layanan tidak mencakup item seperti image container dari Artifact Registry. Untuk mengetahui informasi selengkapnya, lihat Mengelola layanan dalam dokumentasi Cloud Run.

    1. Di konsol Google Cloud , lihat daftar layanan Cloud Run:

      Buka Cloud Run

    2. Temukan layanan yang akan dihapus, lalu pilih.

    3. Klik hapus Hapus. Tindakan ini akan menghapus semua revisi layanan.

    Menghapus project

    Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

    Untuk menghapus project:

    1. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. In the project list, select the project that you want to delete, and then click Delete.
    3. In the dialog, type the project ID, and then click Shut down to delete the project.

    Langkah berikutnya

    Lihat ringkasan Model Garden.