Pengantar data teks: Menyiapkan project dan lingkungan Anda

Mulai 15 September 2024, Anda hanya dapat menyesuaikan tujuan klasifikasi, ekstraksi entitas, dan analisis sentimen dengan beralih ke perintah dan penyesuaian Vertex AI Gemini. Melatih atau memperbarui model untuk Vertex AI AutoML untuk tujuan klasifikasi Teks, ekstraksi entity, dan analisis sentiment tidak akan tersedia lagi. Anda dapat terus menggunakan model Teks AutoML Vertex AI yang ada hingga 15 Juni 2025. Untuk perbandingan teks AutoML dan Gemini, lihat Gemini untuk pengguna teks AutoML. Untuk informasi selengkapnya tentang cara Gemini menawarkan pengalaman pengguna yang ditingkatkan melalui kemampuan perintah yang lebih baik, lihat Pengantar penyesuaian. Untuk memulai penyesuaian, lihat Penyesuaian model untuk model teks Gemini

Untuk mempelajari lebih lanjut, jalankan notebook Jupyter "Membuat, melatih, dan men-deploy model klasifikasi teks AutoML" di salah satu lingkungan berikut ini:

Buka di Colab | Buka di Colab Enterprise | Buka di notebook Vertex AI Workbench yang dikelola pengguna | Lihat di GitHub

Jika Anda berencana menggunakan Vertex AI SDK untuk Python, pastikan akun layanan yang melakukan inisialisasi klien memiliki peran IAM Vertex AI Service Agent (roles/aiplatform.serviceAgent).

Untuk bagian tutorial ini, Anda akan menyiapkan project Google Cloud untuk menggunakan Vertex AI dan bucket Cloud Storage yang berisi dokumen untuk melatih model AutoML Anda.

Tutorial ini memiliki beberapa halaman:

1. Menyiapkan project dan lingkungan Anda.

2. Membuat set data klasifikasi teks .

3. Melatih model klasifikasi teks AutoML.

4. Men-deploy model ke endpoint dan mengirim prediksi.

5. Membersihkan project.

Setiap halaman mengasumsikan bahwa Anda telah menjalankan petunjuk dari halaman sebelumnya dalam tutorial ini.

Menyiapkan project dan lingkungan

Selesaikan langkah-langkah berikut sebelum menggunakan fungsi Vertex AI.

1. In the Google Cloud console, go to the project selector page.

   Go to project selector

2. Select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

3. Make sure that billing is enabled for your Google Cloud project.

4. Buka Cloud Shell. Cloud Shell adalah lingkungan shell interaktif untuk Google Cloud yang dapat Anda gunakan untuk mengelola project dan resource dari browser web.
Buka Cloud Shell
5. Di Cloud Shell, tetapkan project saat ini ke project ID Google Cloud Anda dan simpan dalam variabel shell projectid:

     gcloud config set project PROJECT_ID &&
     projectid=PROJECT_ID &&
     echo $projectid

   Ganti PROJECT_ID dengan project ID Anda. Anda dapat menemukan project ID di Konsol Google Cloud. Untuk mengetahui informasi selengkapnya, baca Menemukan project ID.

6. Enable the IAM, Compute Engine, Notebooks, Cloud Storage, and Vertex AI APIs:

   gcloud services enable iam.googleapis.com  compute.googleapis.com notebooks.googleapis.com storage.googleapis.com aiplatform.googleapis.com

7. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/aiplatform.user, roles/storage.admin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   • Replace PROJECT_ID with your project ID.

   • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:[e-mail].

   • Replace ROLE with each individual role.
Peran IAM Pengguna Vertex AI (roles/aiplatform.user) menyediakan akses untuk menggunakan semua resource di Vertex AI. Storage Admin (roles/storage.admin) memungkinkan Anda menyimpan set data pelatihan dokumen di Cloud Storage.

Membuat bucket Cloud Storage dan menyalin set data sampel

Membuat bucket Cloud Storage untuk menyimpan dokumen yang Anda gunakan untuk melatih model AutoML.

1. Buka Cloud Shell.

2. Tetapkan variabel PROJECT_ID ke ID project Anda.

   export PROJECT_ID=PROJECT_ID

3. Tetapkan variabel BUCKET, yang Anda gunakan untuk membuat bucket Cloud Storage.

   export BUCKET=${PROJECT_ID}-lcm

4. Buat bucket Cloud Storage di region us-central1 dengan variabel BUCKET.

   gcloud storage buckets create gs://${BUCKET}/ --project=${PROJECT_ID} --location=us-central1

5. Salin contoh set data pelatihan happiness.csv ke dalam bucket Anda.

   gcloud storage cp gs://cloud-ml-data/NL-classification/happiness.csv gs://${BUCKET}/text/ --recursive

Langkah berikutnya

Ikuti halaman berikutnya di tutorial ini untuk menggunakan konsol Vertex AI guna membuat set data klasifikasi teks dan mengimpor dokumen yang Anda salin ke bucket Cloud Storage.