Halaman ini diterjemahkan oleh Cloud Translation API.

Membuat prediksi dengan model jarak jauh di Vertex AI

Anda dapat mendaftarkan endpoint Vertex AI sebagai model jarak jauh dan memanggilnya langsung dari BigQuery dengan ML.PREDICT.

Hal ini dapat membantu saat model terlalu besar untuk diimpor ke BigQuery atau saat Anda ingin menggunakan satu titik inferensi untuk kasus penggunaan online, batch, dan batch mikro.

Tutorial ini menggunakan model analisis sentimen yang disesuaikan dengan menyelaraskan model BERT dengan ulasan film IMDB teks biasa. Model yang dihasilkan menggunakan input teks (ulasan film) dan mengembalikan skor sentimen antara (0, 1). Model ini terdaftar di Vertex AI Model Registry dan disajikan di endpoint Vertex AI. Dari sana, model ditambahkan ke BigQuery sebagai model jarak jauh. Anda dapat menggunakan model jarak jauh dalam BigQuery untuk mendapatkan prediksi sentimen untuk kolom teks (ulasan film dari tabel 100.000 baris bigquery-public-data.imdb.reviews.

Lihat Tutorial Model Jarak Jauh BQML untuk mengetahui tutorial GitHub versi Python.

Penyiapan Tutorial

Tutorial ini menggunakan komponen Google Cloud yang dapat ditagih berikut: Cloud Storage, Vertex AI, dan BigQuery. Pada akhir tutorial, Anda akan menghapus komponen yang dapat ditagih.

Klik di sini untuk Mengaktifkan API untuk Koneksi Vertex AI, Cloud Storage, dan BigQuery Cloud Resource.
Cloud Storage: untuk membuat Bucket di multi-region US default dengan mengikuti petunjuk ini.

Membuat model ML

Buat model menggunakan Tutorial Model Jarak Jauh BQML yang mencakup model prediksi analisis sentimen yang dibuat dengan menyesuaikan model BERT sekaligus menambahkan lapisan klasifikasi.

Kami telah melatih model sampel dan menguploadnya ke gs://cloud-samples-data/bigquery/ml/remote_model_tutorial/ untuk Anda gunakan secara langsung.

Men-deploy model di Vertex AI

Ikuti petunjuk untuk mendaftarkan model di Vertex AI Model Registry.

Ikuti petunjuk untuk men-deploy model dari Vertex AI Model Registry ke endpoint Vertex AI.

Sebaiknya tetapkan jumlah maksimum node komputasi. Tindakan ini akan mengaktifkan kemampuan penskalaan otomatis di sisi Vertex AI dan membantu endpoint untuk memproses lebih banyak permintaan saat tabel data BigQuery Anda memiliki baris dalam jumlah besar.

Model jarak jauh BigQuery ML

Pembuatan model jarak jauh ML BigQuery memiliki dua komponen: koneksi resource cloud BigQuery dan model jarak jauh BigQuery yang menggunakan koneksi tersebut.

Membuat koneksi resource BigQuery Cloud

Anda harus memiliki koneksi resource Cloud untuk terhubung ke Vertex AI.

Pilih salah satu opsi berikut:

Konsol

Buka halaman BigQuery.

Buka BigQuery
Untuk membuat koneksi, klik Tambahkan, lalu klik Koneksi ke sumber data eksternal.
Dalam daftar Connection type, pilih Vertex AI remote models, remote functions and BigLake (Cloud Resource).
Di kolom Connection ID, masukkan nama untuk koneksi Anda.
Klik Create connection.
Klik Go to connection.
Di panel Connection info, salin ID akun layanan untuk digunakan di langkah berikutnya.

bq

Di lingkungan command line, buat koneksi:
```
bq mk --connection --location=REGION --project_id=PROJECT_ID \
    --connection_type=CLOUD_RESOURCE CONNECTION_ID
```
Parameter --project_id akan mengganti project default.

Ganti kode berikut:
- REGION: region koneksi Anda
- PROJECT_ID: project ID Google Cloud Anda
- CONNECTION_ID: ID untuk koneksi Anda
Saat Anda membuat resource koneksi, BigQuery akan membuat akun layanan sistem unik dan mengaitkannya dengan koneksi.

Pemecahan masalah: Jika Anda mendapatkan error koneksi berikut, update Google Cloud SDK:
```
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
```

Ambil dan salin ID akun layanan untuk digunakan di langkah berikutnya:

bq show --connection PROJECT_ID.REGION.CONNECTION_ID

Outputnya mirip dengan hal berikut ini:

name                          properties
1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel."}

Terraform

Gunakan resource google_bigquery_connection.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk informasi selengkapnya, lihat Menyiapkan autentikasi untuk library klien.

Contoh berikut membuat koneksi resource Cloud bernama my_cloud_resource_connection di region US:


# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Untuk menerapkan konfigurasi Terraform di project Google Cloud, selesaikan langkah-langkah di bagian berikut.

Menyiapkan Cloud Shell

Luncurkan Cloud Shell.
Tetapkan project Google Cloud default tempat Anda ingin menerapkan konfigurasi Terraform.

Anda hanya perlu menjalankan perintah ini sekali per project, dan dapat dijalankan di direktori mana pun.
```
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
```
Variabel lingkungan akan diganti jika Anda menetapkan nilai eksplisit dalam file konfigurasi Terraform.

Menyiapkan direktori

Setiap file konfigurasi Terraform harus memiliki direktorinya sendiri (juga disebut modul root).

Di Cloud Shell, buat direktori dan file baru di dalam direktori tersebut. Nama file harus memiliki ekstensi .tf—misalnya main.tf. Dalam tutorial ini, file ini disebut sebagai main.tf.
```
mkdir DIRECTORY && cd DIRECTORY && touch main.tf
```
Jika mengikuti tutorial, Anda dapat menyalin kode contoh di setiap bagian atau langkah.

Salin kode contoh ke dalam main.tf yang baru dibuat.

Atau, salin kode dari GitHub. Tindakan ini direkomendasikan jika cuplikan Terraform adalah bagian dari solusi menyeluruh.
Tinjau dan ubah contoh parameter untuk diterapkan pada lingkungan Anda.
Simpan perubahan Anda.
Lakukan inisialisasi Terraform. Anda hanya perlu melakukan ini sekali per direktori.
```
terraform init
```
Secara opsional, untuk menggunakan versi penyedia Google terbaru, sertakan opsi -upgrade:
```
terraform init -upgrade
```

Menerapkan perubahan

Tinjau konfigurasi dan pastikan resource yang akan dibuat atau diupdate oleh Terraform sesuai yang Anda inginkan:
```
terraform plan
```
Koreksi konfigurasi jika diperlukan.
Terapkan konfigurasi Terraform dengan menjalankan perintah berikut dan memasukkan yes pada prompt:
```
terraform apply
```
Tunggu hingga Terraform menampilkan pesan "Apply complete!".
Buka project Google Cloud Anda untuk melihat hasilnya. Di Konsol Google Cloud, buka resource Anda di UI untuk memastikan bahwa Terraform telah membuat atau mengupdatenya.

Menyiapkan akses

Berikan peran Vertex AI User ke akun layanan koneksi. Anda harus memberikan peran ini di project yang sama dengan yang akan Anda tentukan di URL endpoint model jarak jauh (atau project model jika Anda menggunakan endpoint versi singkat) di bagian Membuat model jarak jauh BigQuery ML. Memberikan peran di project lain akan menyebabkan error bqcx-1234567890-xxxx@gcp-sa-bigquery-condel. does not have the permission to access resource.

Untuk memberikan peran, ikuti langkah-langkah berikut:

Buka halaman IAM & Admin.

Buka IAM & Admin
Klik Berikan Akses.
Di kolom New principals, masukkan ID akun layanan yang Anda salin sebelumnya.
Di kolom Pilih peran, pilih Vertex AI, lalu pilih Peran Pengguna Vertex AI.
Klik Simpan.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda:

Di konsol Google Cloud, buka halaman BigQuery.

Buka halaman BigQuery
Di panel Explorer, klik nama project Anda.
Klik View actions > Create dataset.
Di halaman Create dataset, lakukan hal berikut:
- Untuk Dataset ID, masukkan bqml_tutorial.
- Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).
  
  Set data publik disimpan di US multi-region. Untuk mempermudah, simpan set data Anda di lokasi yang sama.
- Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

Membuat model jarak jauh BigQuery ML

Untuk melihat skema input dan output untuk model TensorFlow dengan mengirim permintaan ke endpoint:

Contoh permintaan:

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:predict -d "{'instances': [{ 'text': 'This is an amazing movie'}, { 'text': 'The movie was terrible'}]}"

Contoh respons:

{
  "predictions": [
    [
      [ 0.999410391 ]
    ],
    [
      [ 0.000628352049 ]
    ]
  ]
}

Saat membuat model jarak jauh, nama dan jenis kolom input dan output harus sama persis dengan input dan output Vertex AI.

Untuk model dengan satu output, Vertex AI tidak akan menampilkan nama kolom. Di CREATE MODEL, Anda dapat menentukan nama kolom.

Contoh berikut menunjukkan cara membuat model jarak jauh menggunakan koneksi:

CREATE OR REPLACE MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`
    INPUT (text STRING)
    OUTPUT(scores ARRAY<FLOAT64>)
    REMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
    OPTIONS(endpoint = 'ENDPOINT_URL')

Mendapatkan prediksi dengan `ML.PREDICT`

Dapatkan prediksi dari model jarak jauh dalam BigQuery menggunakan fungsi ML.PREDICT. Terdapat 10.000 data yang dipilih dan dikirim untuk prediksi. Model jarak jauh ditetapkan secara default ke ukuran batch 128 instance untuk permintaannya.

SELECT *
FROM ML.PREDICT (
    MODEL `PROJECT_ID.bqml_tutorial.bert_sentiment`,
    (
        SELECT review as text
        FROM `bigquery-public-data.imdb.reviews`
        LIMIT 10000
    )
)

Region yang didukung

Ada dua jenis lokasi di BigQuery:

Region adalah lokasi geografis spesifik, seperti London.
Multi-region adalah wilayah geografis yang luas, seperti Amerika Serikat, yang berisi dua atau lebih tempat geografis

Satu region

Dalam set data satu region BigQuery, Anda hanya dapat membuat model jarak jauh yang menggunakan endpoint Vertex AI yang di-deploy di region yang sama. Model jarak jauh di satu region BigQuery us-central1 hanya dapat menggunakan Vertex AI di us-central1. Jadi, untuk satu region, model jarak jauh hanya didukung di region yang mendukung Vertex AI dan BigQuery.

Multi-region

Di multi-region BigQuery (US danEU), Anda hanya dapat membuat model jarak jauh yang menggunakan model jarak jauh yang di-deploy di sebuah region dalam area geografis dengan luas yang sama (US danEU). Misalnya: Model jarak jauh di multi-region AS BigQuery hanya dapat menggunakan endpoint Vertex AI yang di-deploy di satu region di area geografis AS, seperti us-central1, us-east4, us-west2, dll.

Model jarak jauh di multi-region Uni Eropa BigQuery hanya dapat menggunakan endpoint Vertex AI yang di-deploy di satu region mana pun di negara anggota Uni Eropa, seperti europe-north1, europe-west3, dll.

Untuk mengetahui informasi selengkapnya tentang region dan multi-region BigQuery, lihat halaman Lokasi Set Data. Untuk mengetahui informasi selengkapnya tentang region Vertex AI, lihat Lokasi Vertex AI.

Menggunakan Kontrol Layanan VPC

Kontrol Layanan VPC adalah fitur Google Cloud yang memungkinkan Anda menyiapkan perimeter yang aman untuk mencegah pemindahan data yang tidak sah. Agar dapat menggunakan Kontrol Layanan VPC dengan model jarak jauh untuk keamanan tambahan, ikuti panduan Kontrol Layanan VPC untuk: Membuat perimeter layanan.

Tambahkan project BigQuery kueri menggunakan model jarak jauh ke dalam perimeter. Tambahkan project endpoint ke perimeter dan tetapkan Vertex AI API di layanan yang dibatasi berdasarkan jenis endpoint Anda. Untuk mengetahui detail selengkapnya, lihat Kontrol Layanan VPC Vertex AI.

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

Di konsol Google Cloud, buka halaman Manage resource.
Buka Manage resource
Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.