LangChain di Vertex AI (Pratinjau) memungkinkan Anda memanfaatkan library open source LangChain untuk membangun aplikasi AI Generatif kustom dan menggunakan Vertex AI untuk model, alat, dan deployment. Dengan LangChain di Vertex AI (Pratinjau), Anda dapat melakukan hal berikut:
- Pilih model bahasa besar (LLM) yang ingin Anda gunakan.
- Menentukan alat untuk mengakses API eksternal.
- Membuat struktur antarmuka antara pengguna dan komponen sistem dalam framework orkestrasi.
- Men-deploy framework ke runtime terkelola.
Manfaat
- Dapat disesuaikan: Dengan memanfaatkan antarmuka terstandardisasi LangChain, LangChain di Vertex AI dapat digunakan untuk membangun berbagai jenis aplikasi. Anda dapat menyesuaikan logika aplikasi dan menggabungkan framework apa pun, yang memberikan tingkat fleksibilitas yang tinggi.
- Menyederhanakan deployment: LangChain di Vertex AI menggunakan API yang sama seperti LangChain untuk berinteraksi dengan LLM dan membangun aplikasi. LangChain di Vertex AI menyederhanakan dan mempercepat deployment dengan LLM Vertex AI karena runtime reasoning Engine mendukung deployment sekali klik untuk menghasilkan API yang sesuai berdasarkan library Anda.
- Integrasi dengan ekosistem Vertex AI: Alasan Mesin Telusur untuk LangChain di Vertex AI menggunakan infrastruktur Vertex AI dan container bawaan untuk membantu Anda men-deploy aplikasi LLM. Anda dapat menggunakan Vertex AI API untuk berintegrasi dengan model Gemini, Panggilan Fungsi, dan Ekstensi.
- Aman, pribadi, dan skalabel: Anda dapat menggunakan panggilan SDK tunggal, daripada mengelola proses pengembangan sendiri. Runtime terkelola reasoning Engine membebaskan Anda dari tugas-tugas seperti pengembangan server aplikasi, pembuatan container, dan konfigurasi autentikasi, IAM, dan penskalaan. Vertex AI menangani penskalaan otomatis, ekspansi regional, dan kerentanan container.
Kasus penggunaan
Anda dapat menggunakan LangChain di Vertex AI untuk tugas-tugas berikut:
| Kasus Penggunaan | Contoh Deskripsi | Link Contoh |
|---|---|---|
| Mengekstrak entity dari cerita natural language | Ekstrak daftar karakter, hubungan, hal, dan tempat dari sebuah cerita. | Vertex AI SDK untuk notebook Python - Ekstraksi data terstruktur menggunakan panggilan fungsi |
| Mengkueri dan memahami database SQL menggunakan natural language | Minta model untuk mengonversi pertanyaan seperti "Berapa persentase pesanan yang ditampilkan?" menjadi kueri SQL dan buat fungsi yang mengirimkan kueri ini ke BigQuery. | Postingan blog - Membangun Aplikasi Eksplorasi Data BigQuery dengan teknologi AI menggunakan Panggilan Fungsi di Gemini |
| Bantu pelanggan berinteraksi dengan bisnis | Buat fungsi yang terhubung ke API bisnis, sehingga model dapat memberikan jawaban akurat untuk kueri seperti "Apakah ada stok Pixel 8 Pro Anda?" atau "Apakah ada toko di Jakarta, Indonesia yang dapat saya kunjungi untuk mencobanya?" | Vertex AI SDK untuk notebook Python - Panggilan Fungsi dengan Vertex AI Gemini API & Python SDK |
| Membangun aplikasi AI generatif dengan terhubung ke API publik | Melakukan konversi antarmata uang. Buat fungsi yang terhubung ke aplikasi pertukaran mata uang agar model dapat memberikan jawaban akurat atas kueri seperti "Berapa nilai tukar untuk euro ke dolar hari ini?" |
Codelab - Cara Berinteraksi dengan API Menggunakan Panggilan Fungsi di Gemini |
| Dapatkan info cuaca untuk lokasi tertentu. Buat fungsi yang terhubung ke API layanan meteorologi, sehingga model dapat memberikan jawaban akurat untuk kueri seperti "Bagaimana cuaca di Jakarta?" |
Notebooks Vertex AI SDK untuk Python - Panggilan Fungsi dengan Vertex AI Gemini API & Python SDK Postingan blog - Panggilan fungsi: Framework untuk menghubungkan Gemini ke sistem, data, dan API eksternal |
|
| Konversi alamat menjadi koordinat lintang dan bujur. Buat fungsi yang mengubah data lokasi terstruktur menjadi koordinat lintang dan bujur. Minta model untuk mengidentifikasi alamat, kota, negara bagian, dan kode pos dalam kueri seperti "Saya ingin mendapatkan koordinat lintang/bujur untuk alamat berikut: 1600 Amphitheatre Pkwy, Mountain View, CA 94043, US". |
Vertex AI SDK untuk notebook Python - Panggilan Fungsi dengan Vertex AI Gemini API & Python SDK | |
| Menafsirkan perintah suara | Membuat fungsi yang sesuai dengan tugas di dalam kendaraan. Misalnya, Anda dapat membuat fungsi yang menyalakan radio atau mengaktifkan penyejuk udara. Kirim file audio dari perintah suara pengguna ke model, dan minta model untuk mengonversi audio menjadi teks dan mengidentifikasi fungsi yang ingin dipanggil pengguna. | |
| Mengotomatiskan alur kerja berdasarkan pemicu lingkungan | Membuat fungsi untuk mewakili proses yang dapat diotomatiskan. Berikan data dari sensor lingkungan kepada model dan minta model untuk mengurai dan memproses data guna menentukan apakah satu atau beberapa alur kerja harus diaktifkan. Misalnya, suatu model dapat memproses data suhu di gudang dan memilih untuk mengaktifkan fungsi sprinkler. | |
| Mengotomatiskan penetapan tiket dukungan | Berikan tiket dukungan, log, dan aturan kontekstual kepada model. Minta model untuk memproses semua informasi ini untuk menentukan kepada siapa tiket tersebut harus ditetapkan. Panggil fungsi untuk menetapkan tiket kepada orang yang disarankan oleh model. | |
| Mengambil informasi dari pusat informasi | Membuat fungsi yang mengambil artikel akademik tentang subjek tertentu dan meringkasnya. Memungkinkan model untuk menjawab pertanyaan tentang mata pelajaran akademik dan memberikan kutipan untuk jawabannya. |
Komponen sistem
Membangun dan men-deploy aplikasi AI generatif kustom menggunakan OSS LangChain dan Vertex AI terdiri dari empat komponen:
| Komponen | Deskripsi |
|---|---|
| LLM |
Saat Anda mengirimkan kueri ke aplikasi kustom, LLM akan memproses kueri tersebut dan memberikan respons. Anda dapat memilih untuk mendefinisikan serangkaian alat yang berkomunikasi dengan API eksternal dan menyediakannya ke model. Saat memproses kueri, model mendelegasikan tugas tertentu ke alat. Hal ini menyiratkan satu atau beberapa panggilan model ke model dasar atau model yang telah di-fine-tune. Untuk mempelajari lebih lanjut, lihat Versi model dan siklus proses. |
| Alat |
Anda dapat memilih untuk mendefinisikan serangkaian alat yang berkomunikasi dengan API eksternal (misalnya, database) dan menyediakannya ke model. Saat memproses kueri, model dapat mendelegasikan tugas tertentu ke alat. Deployment melalui runtime terkelola Vertex AI dioptimalkan untuk menggunakan alat berdasarkan Panggilan Fungsi Gemini, tetapi mendukung Panggilan Alat/Fungsi LangChain. Untuk mempelajari Panggilan Fungsi Gemini lebih lanjut, lihat Panggilan fungsi. |
| Framework orkestrasi |
LangChain di Vertex AI memungkinkan Anda memanfaatkan framework orkestrasi LangChain di Vertex AI. Gunakan LangChain untuk menentukan seberapa determenistik aplikasi Anda. Jika sudah menggunakan LangChain, Anda dapat menggunakan kode LangChain yang sudah ada untuk men-deploy aplikasi pada Vertex AI. Jika tidak, Anda dapat membuat kode aplikasi sendiri dan menyusunnya dalam framework orkestrasi yang memanfaatkan template LangChain Vertex AI. Untuk mempelajari lebih lanjut, lihat Mengembangkan aplikasi. |
| Runtime terkelola | LangChain di Vertex AI memungkinkan Anda men-deploy aplikasi ke runtime yang dikelola reasoning Engine. Runtime ini adalah layanan Vertex AI yang memiliki semua manfaat integrasi Vertex AI: keamanan, privasi, kemampuan observasi, dan skalabilitas. Anda dapat memproduksi dan menskalakan aplikasi dengan panggilan API sederhana, yang dengan cepat mengubah prototipe yang diuji secara lokal menjadi deployment yang siap digunakan perusahaan. Untuk mempelajari lebih lanjut, lihat Men-deploy aplikasi. |
Ada banyak cara untuk membuat prototipe dan membangun aplikasi AI Generatif kustom yang memanfaatkan kemampuan agen dengan menambahkan alat lapisan dan fungsi kustom selain model seperti Gemini. Saat tiba waktunya untuk memindahkan aplikasi ke produksi, Anda perlu mempertimbangkan cara men-deploy dan mengelola agen serta komponen yang mendasarinya.
Dengan komponen LangChain di Vertex AI, tujuannya adalah membantu Anda berfokus dan menyesuaikan aspek fungsi agen yang paling penting bagi Anda, seperti fungsi kustom, perilaku agen, dan parameter model, sementara Google menangani deployment, penskalaan paket, versi, dll. Jika Anda bekerja di level stack yang lebih rendah, Anda mungkin perlu mengelola lebih dari yang Anda inginkan. Jika bekerja di level stack yang lebih tinggi, Anda mungkin tidak memiliki kontrol developer sebanyak yang diinginkan.
Alur sistem saat runtime
Saat pengguna membuat kueri, agen yang ditentukan akan memformatnya menjadi perintah LLM. LLM memproses perintah dan menentukan apakah ia ingin menggunakan alat tersebut atau tidak.
Jika LLM memilih untuk menggunakan alat, LLM akan menghasilkan FunctionCall dengan nama
dan parameter yang digunakan untuk memanggil alat tersebut. Agen memanggil alat
dengan FunctionCall dan memberikan kembali hasil dari alat tersebut ke LLM.
Jika LLM memilih untuk tidak menggunakan alat apa pun, LLM akan mengembalikan konten yang
disampaikan oleh agen ke pengguna.
Diagram berikut mengilustrasikan alur sistem pada runtime:
Membuat dan men-deploy aplikasi AI generatif
Alur kerja untuk membangun aplikasi AI generatif adalah:
| Langkah | Deskripsi |
|---|---|
| 1. Menyiapkan lingkungan | Siapkan project Google Anda dan instal Vertex AI SDK untuk Python versi terbaru. |
| 2. Mengembangkan aplikasi | Mengembangkan aplikasi LangChain yang dapat di-deploy di reasoning Engine. |
| 3. Men-deploy aplikasi | Men-deploy aplikasi di reasoning Engine. |
| 4. Gunakan aplikasi | Mesin Penalaran Kueri untuk respons. |
| 5. Mengelola aplikasi yang di-deploy | Kelola dan hapus aplikasi yang telah Anda deploy ke reasoning Engine. |
| 6. (Opsional) Menyesuaikan template aplikasi | Sesuaikan template untuk aplikasi baru. |
Langkah-langkahnya diilustrasikan oleh diagram berikut:
