Ringkasan

Model Bahasa Besar (LLM) sangat andal dalam memecahkan berbagai jenis masalah. Namun, konfigurasinya dibatasi oleh batasan berikut:

  • LLM dibekukan setelah pelatihan, sehingga pengetahuan yang ada dalamnya tidak diperbarui.
  • LLM tidak dapat membuat kueri atau mengubah data eksternal.

Ekstensi dan Vertex AI (Pratinjau) dapat mengatasi kekurangan ini. Ekstensi adalah koneksi ke API eksternal yang memproses data real-time dan melakukan tindakan dunia nyata. Layanan ekstensi Vertex AI mendaftarkan, mengelola, dan menjalankan ekstensi tersebut serta dapat ditautkan ke aplikasi yang memproses kueri pengguna dan berkomunikasi dengan LLM.

Setiap kali menerima kueri pengguna, aplikasi akan menyediakan serangkaian ekstensi dan operasi yang dapat dijalankan oleh ekstensi tersebut kepada LLM. Jika model menentukan bahwa ia harus mendelegasikan pemrosesan kueri ke ekstensi, model tersebut akan menyediakan panggilan ekstensi yang diminta dan parameter value yang terkait ke aplikasi. Aplikasi merelai permintaan ini ke layanan ekstensi, yang kemudian menjalankan ekstensi. Proses ini selesai saat layanan ekstensi mengirimkan hasil operasi ini ke aplikasi, yang kemudian meneruskannya kembali ke model.

Dengan Vertex AI Search, Anda dapat membuat, men-deploy, dan mengelola ekstensi yang menghubungkan LLM ke API sistem eksternal. Sistem ini dapat menyediakan data real-time ke LLM dan melakukan tindakan pemrosesan data atas namanya.

Untuk mempelajari lebih lanjut kasus penggunaan dan manfaat ekstensi serta layanan ekstensi Vertex AI, lihat Kasus penggunaan dan manfaat.

Untuk mempelajari cara mendaftarkan, mengelola, dan menjalankan ekstensi dengan layanan ekstensi Vertex AI, lihat Mendaftarkan, mengelola, dan menjalankan ekstensi.

Kasus penggunaan dan manfaat

Berikut adalah beberapa kemungkinan kasus penggunaan ekstensi:

  • Membuat dan menjalankan kode.
  • Mengkueri situs dan menyintesis informasi.
  • Menjawab pertanyaan berdasarkan informasi dalam kumpulan data khusus perusahaan.
  • Mengkueri dan menganalisis datastore.

Layanan ekstensi Vertex AI memberikan manfaat berikut:

  • Kontrol perusahaan: Kontrol keamanan dan izin Identity and Access Management (IAM).
  • Keamanan data: Perjanjian kontraktual bahwa data pribadi Anda tidak akan dibocorkan atau digunakan dalam pelatihan model
  • Perjanjian performa: Perjanjian kontraktual bahwa platform memberikan fitur dan waktu beroperasi tertentu.
  • Ekstensi pribadi: Pengguna yang diberi otorisasi di organisasi Anda atau partner tepercaya dapat menggunakan ekstensi untuk mengakses tindakan dan data internal yang sensitif, seperti menelusuri pusat informasi internal atau menyelesaikan tindakan HR.
  • Integrasi produk Google: Integrasi dengan produk Google seperti Vertex AI Search, BigQuery, dan model khusus.

Langkah selanjutnya