LangChain di Vertex AI (Pratinjau) memungkinkan Anda memanfaatkan library open source LangChain untuk membangun aplikasi AI Generatif kustom dan menggunakan Vertex AI untuk model, alat, dan deployment. Dengan LangChain di Vertex AI (Pratinjau), Anda dapat melakukan hal berikut:
- Pilih model bahasa besar (LLM) yang ingin Anda gunakan.
- Menentukan alat untuk mengakses API eksternal.
- Buat struktur antarmuka antara pengguna dan komponen sistem dalam framework orkestrasi.
- Deploy framework ke runtime terkelola.
Komponen sistem
Membangun dan men-deploy aplikasi AI generatif kustom menggunakan OSS LangChain dan Vertex AI terdiri dari empat komponen:
| Komponen | Deskripsi |
|---|---|
| LLM |
Ketika Anda mengirimkan kueri ke aplikasi kustom Anda, LLM akan memproses kueri tersebut dan memberikan respons. Anda dapat memilih untuk mendefinisikan set alat yang berkomunikasi dengan API eksternal dan menyediakannya ke model. Saat memproses kueri, model mendelegasikan tugas tertentu ke alat. Hal ini menyiratkan satu atau beberapa panggilan model ke model dasar atau model yang ditingkatkan kualitasnya. Untuk mempelajari lebih lanjut, lihat Versi dan siklus proses model. |
| Alat |
Anda bisa memilih untuk mendefinisikan serangkaian alat yang berkomunikasi dengan API eksternal (misalnya, database) dan menyediakannya ke model. Saat memproses kueri, model dapat mendelegasikan tugas tertentu ke alat. Deployment melalui runtime terkelola Vertex AI dioptimalkan untuk menggunakan alat berdasarkan Panggilan Fungsi Gemini, tetapi mendukung Panggilan Alat/Fungsi LangChain. Untuk mempelajari Panggilan Fungsi Gemini lebih lanjut, lihat Panggilan fungsi. |
| Framework orkestrasi |
LangChain di Vertex AI memungkinkan Anda memanfaatkan framework orkestrasi LangChain di Vertex AI. Gunakan LangChain untuk menentukan seberapa determenistik aplikasi Anda. Jika sudah menggunakan LangChain, Anda dapat menggunakan kode LangChain yang ada untuk men-deploy aplikasi di Vertex AI. Jika tidak, Anda dapat membuat kode aplikasi sendiri dan menyusunnya dalam framework orkestrasi yang memanfaatkan template LangChain dari Vertex AI. Untuk mempelajari lebih lanjut, lihat Mengembangkan aplikasi. |
| Runtime terkelola | LangChain di Vertex AI memungkinkan Anda men-deploy aplikasi ke runtime yang dikelola Reasoning Engine. Runtime ini adalah layanan Vertex AI yang memiliki semua manfaat integrasi Vertex AI: keamanan, privasi, kemampuan observasi, dan skalabilitas. Anda dapat memproduksi dan menskalakan aplikasi dengan panggilan API sederhana, yang dengan cepat mengubah prototipe yang diuji secara lokal menjadi deployment yang siap digunakan perusahaan. Untuk mempelajari lebih lanjut, lihat Men-deploy aplikasi. |
Ada banyak cara untuk membuat prototipe dan membangun aplikasi AI Generatif kustom yang memanfaatkan kemampuan agen dengan memberi lapisan alat dan fungsi kustom pada model seperti Gemini. Jika sudah waktunya untuk memindahkan aplikasi ke produksi, Anda perlu mempertimbangkan cara men-deploy dan mengelola agen beserta komponen yang mendasarinya.
Dengan komponen LangChain di Vertex AI, tujuannya adalah membantu Anda berfokus pada dan menyesuaikan aspek fungsi agen yang paling penting bagi Anda, seperti fungsi kustom, perilaku agen, dan parameter model, sementara Google menangani deployment, penskalaan paket, versi, dll. Jika Anda bekerja di level yang lebih rendah dalam stack, Anda mungkin harus mengelola lebih banyak dari yang Anda inginkan. Jika Anda bekerja di level yang lebih tinggi dalam stack, Anda mungkin tidak memiliki kontrol developer sebanyak yang Anda inginkan.
Alur sistem saat runtime
Saat pengguna membuat kueri, agen yang ditentukan akan memformatnya menjadi permintaan untuk LLM. LLM memproses perintah dan menentukan apakah LLM ingin menggunakan salah satu alat atau tidak.
Jika LLM memilih untuk menggunakan alat, LLM akan menghasilkan FunctionCall dengan nama
dan parameter yang digunakan untuk memanggil alat. Agen memanggil alat
dengan FunctionCall dan memberikan hasil dari alat kembali ke LLM.
Jika LLM memilih untuk tidak menggunakan alat apa pun, LLM akan menghasilkan konten yang
disampaikan kembali oleh agen kepada pengguna.
Diagram berikut mengilustrasikan alur sistem pada saat runtime:
Membuat dan men-deploy aplikasi AI generatif
Alur kerja untuk membangun aplikasi AI generatif adalah:
| Langkah | Deskripsi |
|---|---|
| 1. Menyiapkan lingkungan | Siapkan project Google Anda dan instal Vertex AI SDK versi terbaru untuk Python. |
| 2. Mengembangkan aplikasi | Mengembangkan aplikasi LangChain yang dapat di-deploy di Reasoning Engine. |
| 3. Men-deploy aplikasi | Men-deploy aplikasi di Reasoning Engine. |
| 4. Menggunakan aplikasi | Mesin Penalaran Kueri untuk mendapatkan respons. |
| 5. Mengelola aplikasi yang di-deploy | Mengelola dan menghapus aplikasi yang telah Anda deploy ke Reasoning Engine. |
| 6. (Opsional) Menyesuaikan template aplikasi | Sesuaikan template untuk aplikasi baru. |
Langkah-langkah ini diilustrasikan dalam diagram berikut:
Manfaat
- Dapat disesuaikan: Dengan memanfaatkan antarmuka standar LangChain, LangChain di Vertex AI dapat diadopsi untuk membuat berbagai jenis aplikasi. Anda dapat menyesuaikan logika aplikasi dan menggabungkan framework apa pun, sehingga memberikan tingkat fleksibilitas yang tinggi.
- Menyederhanakan deployment: LangChain di Vertex AI menggunakan API yang sama dengan LangChain untuk berinteraksi dengan LLM dan membangun aplikasi. LangChain di Vertex AI menyederhanakan dan mempercepat deployment dengan LLM Vertex AI karena runtime Reasoning Engine mendukung deployment sekali klik untuk menghasilkan API yang sesuai berdasarkan library Anda.
- Integrasi dengan ekosistem Vertex AI: Reasoning Engine for LangChain di Vertex AI menggunakan infrastruktur Vertex AI dan container bawaan untuk membantu Anda men-deploy aplikasi LLM. Anda dapat menggunakan Vertex AI API untuk berintegrasi dengan model Gemini, Panggilan Fungsi, dan Ekstensi.
- Aman, pribadi, dan skalabel: Anda dapat menggunakan panggilan SDK tunggal, tanpa perlu mengelola proses pengembangan sendiri. Runtime terkelola Reasoning Engine membebaskan Anda dari tugas-tugas seperti pengembangan server aplikasi, pembuatan container, dan konfigurasi autentikasi, IAM, serta penskalaan. Vertex AI menangani penskalaan otomatis, ekspansi regional, dan kerentanan container.
Kasus penggunaan
Anda dapat menggunakan LangChain di Vertex AI untuk tugas berikut:
- Ekstrak entity dari cerita natural language: Ekstrak daftar karakter, hubungan, benda, dan tempat dari cerita.
Vertex AI SDK untuk notebook Python - Ekstraksi data terstruktur menggunakan panggilan fungsi - Membuat kueri dan memahami database SQL menggunakan natural language: Minta model untuk mengonversi pertanyaan seperti
What percentage of orders are returned?ke dalam kueri SQL dan membuat fungsi yang mengirimkan kueri tersebut ke BigQuery.
Postingan blog - Membangun Aplikasi Eksplorasi Data BigQuery yang didukung AI menggunakan Panggilan Fungsi di Gemini - Membantu pelanggan berinteraksi dengan bisnis: Buat fungsi yang terhubung ke API bisnis, sehingga model dapat memberikan jawaban akurat untuk kueri seperti
Do you have the Pixel 8 Pro in stock?atauIs there a store in Mountain View, CA that I can visit to try it out?
Vertex AI SDK untuk notebook Python - Pemanggilan Fungsi dengan Vertex AI Gemini API & Python SDK - Bangun aplikasi AI generatif dengan menghubungkan ke API publik, seperti:
- Mengonversi antar-mata uang: Buat fungsi yang terhubung ke aplikasi pertukaran mata uang, sehingga model dapat memberikan jawaban akurat untuk kueri seperti
What's the exchange rate for euros to dollars today?
Codelab - Cara Berinteraksi dengan API Menggunakan Panggilan Fungsi di Gemini - Mendapatkan cuaca untuk lokasi tertentu: Buat fungsi yang terhubung ke API layanan meteorologi, yang memungkinkan model memberikan jawaban akurat untuk kueri seperti
What's the weather like in Paris?
Vertex AI SDK untuk notebook Python - Panggilan Fungsi dengan Vertex AI Gemini API & Python SDK
Postingan blog - Panggilan fungsi: Framework native untuk menghubungkan Gemini ke sistem eksternal, data, dan API - Mengonversi alamat menjadi koordinat lintang dan bujur: Buat fungsi yang mengonversi data lokasi terstruktur menjadi koordinat lintang dan bujur. Minta model untuk mengidentifikasi alamat, kota, negara bagian/provinsi, dan kode pos dalam kueri seperti
I want to get the lat/lon coordinates for the following address: 1600 Amphitheatre Pkwy, Mountain View, CA 94043, US.
Vertex AI SDK untuk notebook Python - Pemanggilan Fungsi dengan Vertex AI Gemini API & Python SDK
- Mengonversi antar-mata uang: Buat fungsi yang terhubung ke aplikasi pertukaran mata uang, sehingga model dapat memberikan jawaban akurat untuk kueri seperti
- Menafsirkan perintah suara: Buat fungsi yang sesuai dengan tugas di kendaraan. Misalnya, Anda dapat membuat fungsi yang menyalakan radio atau mengaktifkan AC. Kirim file audio perintah suara pengguna ke model, dan minta model untuk mengonversi audio menjadi teks dan mengidentifikasi fungsi yang ingin dipanggil pengguna.
- Mengotomatiskan alur kerja berdasarkan pemicu lingkungan: Buat fungsi untuk mewakili proses yang dapat diotomatiskan. Berikan data dari sensor lingkungan pada model, lalu minta model tersebut untuk mengurai dan memproses data guna menentukan apakah satu atau beberapa alur kerja harus diaktifkan. Misalnya, model dapat memproses data suhu di warehouse dan memilih untuk mengaktifkan fungsi sprinkler.
- Mengotomatiskan penetapan tiket dukungan: Berikan tiket dukungan, log, dan aturan kontekstual kepada model. Minta model untuk memproses semua informasi ini untuk menentukan kepada siapa tiket harus diberikan. Panggil fungsi untuk menetapkan tiket kepada orang yang disarankan oleh model.
- Mengambil informasi dari pusat informasi: Membuat fungsi yang mengambil artikel akademik tentang subjek tertentu dan meringkasnya. Memungkinkan model menjawab pertanyaan tentang subjek akademik dan memberikan kutipan untuk jawabannya.