LangChain di Vertex AI

Pratinjau

LangChain di Vertex AI adalah penawaran Pratinjau, yang tunduk kepada "Persyaratan Penawaran Pra-GA" dari Persyaratan Khusus Layanan Google Cloud. Produk dan fitur pra-GA mungkin memiliki dukungan terbatas, dan perubahan pada produk serta fitur pra-GA mungkin tidak kompatibel dengan versi pra-GA lainnya. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran. Selanjutnya, dengan menggunakan LangChain di Vertex AI, Anda menyetujui Pratinjau AI Generatif persyaratan dan ketentuan ("Persyaratan Pratinjau").

LangChain adalah merek dagang dari LangChain Inc. Semua hak yang ada di dalamnya dilindungi oleh LangChain Inc. Penggunaan apa pun oleh Google hanya untuk tujuan referensial dan tidak mengindikasikan adanya sponsor, dukungan, atau afiliasi antara LangChain dan Google.

Untuk melihat contoh mulai menggunakan LangChain + Vertex AI Gemini API, jalankan "Getting Started with LangChain 🦜️🔗 + Vertex AI Gemini API" Jupyter notebook di salah satu lingkungan:

Buka di Colab | Buka di Colab Enterprise | Buka di notebook yang dikelola pengguna Vertex AI Workbench | Lihat di GitHub

LangChain di Vertex AI (Pratinjau) memungkinkan Anda memanfaatkan open source LangChain library untuk membangun aplikasi AI Generatif kustom dan menggunakan Vertex AI untuk model, alat, dan deployment. Dengan LangChain di Vertex AI (Pratinjau), Anda dapat lakukan hal berikut:

• Pilih model bahasa besar (LLM) yang ingin Anda gunakan.
• Menentukan alat untuk mengakses API eksternal.
• Menyusun antarmuka antara pengguna dan komponen sistem dalam suatu orkestrasi Google Workspace for Education.
• Men-deploy framework ke runtime terkelola.

Manfaat

• Dapat disesuaikan: Dengan memanfaatkan antarmuka terstandardisasi LangChain, LangChain di Vertex AI dapat digunakan untuk membangun berbagai jenis aplikasi. Anda bisa menyesuaikan logika aplikasi Anda dan menggabungkan framework, yang memberikan tingkat fleksibilitas yang tinggi.
• Menyederhanakan deployment: LangChain di Vertex AI menggunakan API seperti LangChain untuk berinteraksi dengan LLM dan membangun aplikasi. LangChain di Vertex AI menyederhanakan dan mempercepat deployment dengan LLM Vertex AI sejak reasoning Engine yang mendukung deployment sekali klik untuk menghasilkan API yang sesuai berdasarkan koleksi Anda.
• Integrasi dengan ekosistem Vertex AI: reason Engine untuk LangChain di Vertex AI menggunakan dan container bawaan untuk membantu Anda men-deploy aplikasi LLM. Anda dapat menggunakan Vertex AI API untuk berintegrasi dengan model Gemini, Panggilan Fungsi, dan Ekstensi.
• Aman, pribadi, dan skalabel: Anda dapat menggunakan panggilan SDK tunggal, bukan mengelola sendiri proses pengembangan. Mesin Penalaran dikelola Anda akan bebas dari tugas-tugas seperti pengembangan server aplikasi, container pembuatan, dan konfigurasi autentikasi, IAM, dan penskalaan. Vertex AI menangani penskalaan otomatis, ekspansi regional, dan container kerentanan.

Kasus penggunaan

Untuk mempelajari LangChain di Vertex AI dengan contoh menyeluruh, lihat referensi berikut:

Kasus Penggunaan	Deskripsi	Link
Membangun aplikasi AI generatif dengan terhubung ke API publik	Melakukan konversi antarmata uang. Buat fungsi yang terhubung ke aplikasi pertukaran mata uang agar model dapat memberikan jawaban akurat atas kueri seperti "Berapa nilai tukar untuk euro ke dolar hari ini?"	Vertex AI SDK untuk notebook Python - Pengantar Membangun dan Men-deploy Agen dengan reasoning Engine
	Merancang proyek panel surya komunitas. Identifikasi potensi mencari kantor pemerintah dan pemasok yang relevan, dan meninjau citra satelit dan potensi tenaga surya dari wilayah dan bangunan untuk menemukan lokasi optimal untuk memasang panel surya Anda.	Vertex AI SDK untuk notebook Python - Membangun dan Men-deploy Agen Google Maps API dengan Vertex AI reasoning Engine
Membangun aplikasi AI generatif dengan terhubung ke database	Mengkueri dan memahami datastore terstruktur menggunakan natural language.	Notebooks Vertex AI SDK untuk Python - Membangun Agen Penelusuran Percakapan dengan Vertex AI reasoning Engine dan RAG di Vertex AI Search
	Mengkueri dan memahami database SQL menggunakan natural language.	Postingan blog - Mengumumkan LangChain di Vertex AI untuk AlloyDB dan Cloud SQL untuk PostgreSQL Notebooks Vertex AI SDK untuk Python - Men-deploy Aplikasi RAG dengan Cloud SQL untuk PostgreSQL ke LangChain di Vertex AI Vertex AI SDK untuk notebook Python - Men-deploy Aplikasi RAG dengan AlloyDB ke LangChain di Vertex AI
	Menjalankan kueri dan memahami database grafik menggunakan natural language	Postingan blog - GenAI GraphRAG dan agen AI menggunakan Vertex AI reasoning Engine dengan LangChain dan Neo4j
	Membuat kueri dan memahami penyimpanan vektor menggunakan natural language	Postingan blog - Menyederhanakan RAG GenAI dengan MongoDB Atlas dan Vertex AI reasoning Engine
Membangun aplikasi AI generatif dengan framework OSS	Bangun dan deploy agen menggunakan framework open source OneTwo.	Postingan blog - OneTwo dan Vertex AI reasoning Engine: mengeksplorasi pengembangan agen AI tingkat lanjut di Google Cloud
	Bangun dan deploy agen menggunakan framework open source LangGraph.	Vertex AI SDK untuk notebook Python - Membangun dan Men-deploy Aplikasi LangGraph dengan Vertex AI reasoning Engine
Proses debug dan pengoptimalan aplikasi AI generatif	Membangun dan melacak agen menggunakan OpenTelemetry dan Cloud Trace.	Vertex AI SDK untuk notebook Python - Proses Debug dan Pengoptimalan Agen: Panduan Pelacakan di Vertex AI reasoning Engine

Komponen sistem

Membangun dan men-deploy aplikasi AI generatif kustom menggunakan OSS LangChain dan Vertex AI terdiri dari empat komponen:

Komponen	Deskripsi
LLM	Saat Anda mengirimkan kueri ke aplikasi kustom, LLM akan memproses kueri tersebut dan memberikan respons. Anda dapat memilih untuk mendefinisikan serangkaian alat yang berkomunikasi dengan API eksternal dan menyediakannya ke model. Saat memproses kueri, model mendelegasikan tugas tertentu ke alat. Hal ini menyiratkan satu atau beberapa panggilan model ke model dasar atau model yang telah di-fine-tune. Untuk mempelajari lebih lanjut, lihat Versi model dan siklus proses.
Alat	Anda dapat memilih untuk mendefinisikan serangkaian alat yang berkomunikasi dengan API eksternal (misalnya, database) dan menyediakannya ke model. Saat memproses kueri, model dapat mendelegasikan tugas tertentu ke alat. Deployment melalui runtime terkelola Vertex AI dioptimalkan untuk menggunakan alat berdasarkan Panggilan Fungsi Gemini, tetapi mendukung Panggilan Alat/Fungsi LangChain. Untuk mempelajari Panggilan Fungsi Gemini lebih lanjut, lihat Panggilan fungsi.
Framework orkestrasi	LangChain di Vertex AI memungkinkan Anda memanfaatkan framework orkestrasi LangChain di Vertex AI. Gunakan LangChain untuk menentukan seberapa determenistik aplikasi Anda. Jika sudah menggunakan LangChain, Anda dapat menggunakan kode LangChain yang sudah ada untuk men-deploy aplikasi pada Vertex AI. Jika tidak, Anda dapat membuat kode aplikasi sendiri dan menyusunnya dalam framework orkestrasi yang memanfaatkan template LangChain Vertex AI. Untuk mempelajari lebih lanjut, lihat Mengembangkan aplikasi.
Runtime terkelola	LangChain di Vertex AI memungkinkan Anda men-deploy aplikasi ke runtime yang dikelola reasoning Engine. Runtime ini adalah layanan Vertex AI yang memiliki semua manfaat integrasi Vertex AI: keamanan, privasi, kemampuan observasi, dan skalabilitas. Anda dapat memproduksi dan menskalakan aplikasi dengan panggilan API sederhana, yang dengan cepat mengubah prototipe yang diuji secara lokal menjadi deployment yang siap digunakan perusahaan. Untuk mempelajari lebih lanjut, lihat Men-deploy aplikasi.

Ada banyak cara untuk membuat prototipe dan membangun AI Generatif kustom aplikasi yang memanfaatkan kemampuan agen dengan fungsi selain model seperti Gemini. Saat tiba waktunya untuk memindahkan aplikasi ke produksi, Anda perlu mempertimbangkan cara men-deploy dan mengelola agen dan komponen yang mendasarinya.

Dengan komponen LangChain di Vertex AI, tujuannya adalah untuk membantu Anda untuk fokus dan menyesuaikan aspek fungsi agen yang penting sebagian besar, seperti fungsi kustom, perilaku agen, dan parameter model, sementara Google menangani deployment, penskalaan paket, versi, dll. Jika Anda bekerja di tingkat tumpukan yang lebih rendah, Anda mungkin perlu mengelola lebih banyak dari yang diinginkan. Jika bekerja di level stack yang lebih tinggi, Anda mungkin tidak memiliki kontrol developer sebanyak yang diinginkan.

Alur sistem saat runtime

Saat pengguna membuat kueri, agen yang ditentukan akan memformatnya menjadi prompt untuk LLM. LLM memproses prompt dan menentukan apakah ia ingin menggunakan alat tersebut.

Jika LLM memilih untuk menggunakan alat, LLM akan menghasilkan FunctionCall dengan namanya dan parameter yang akan digunakan untuk memanggil alat tersebut. Agen memanggil alat dengan FunctionCall dan mengirimkan kembali hasil dari alat tersebut ke LLM. Jika LLM memilih untuk tidak menggunakan alat apa pun, LLM akan menghasilkan konten yang disampaikan oleh agen kembali ke pengguna.

Diagram berikut mengilustrasikan alur sistem pada runtime:

 

Membuat dan men-deploy aplikasi AI generatif

Alur kerja untuk membangun aplikasi AI generatif adalah:

Langkah	Deskripsi
1. Menyiapkan lingkungan	Siapkan project Google Anda dan instal Vertex AI SDK untuk Python versi terbaru.
2. Mengembangkan aplikasi	Mengembangkan aplikasi LangChain yang dapat di-deploy di reasoning Engine.
3. Men-deploy aplikasi	Men-deploy aplikasi di reasoning Engine.
4. Gunakan aplikasi	Mesin Penalaran Kueri untuk respons.
5. Mengelola aplikasi yang di-deploy	Kelola dan hapus aplikasi yang telah Anda deploy ke reasoning Engine.
6. (Opsional) Menyesuaikan template aplikasi	Sesuaikan template untuk aplikasi baru.

Langkah-langkahnya diilustrasikan oleh diagram berikut:

 

Langkah selanjutnya

• Menyiapkan lingkungan.
• Pelajari panggilan fungsi.