Membangun aplikasi yang didukung LLM menggunakan LlamaIndex

Pratinjau — Cloud SQL for PostgreSQL

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Anda dapat memproses data pribadi untuk fitur ini sebagaimana diuraikan dalam Adendum Pemrosesan Data Cloud, yang tunduk pada kewajiban dan batasan yang dijelaskan dalam perjanjian yang mendasari akses Anda ke Google Cloud. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

MySQL   |  PostgreSQL   |  SQL Server

Halaman ini menjelaskan beberapa kasus penggunaan untuk membangun aplikasi yang didukung LLM menggunakan LlamaIndex yang terintegrasi dengan Cloud SQL untuk PostgreSQL. Link ke notebook di GitHub disediakan untuk membantu Anda mempelajari pendekatan atau membantu Anda mengembangkan aplikasi.

LlamaIndex adalah framework orkestrasi AI generatif yang memungkinkan Anda menghubungkan dan mengintegrasikan sumber data dengan model bahasa besar (LLM). Anda dapat menggunakan LlamaIndex untuk membuat aplikasi yang mengakses dan mengkueri informasi dari data pribadi atau khusus domain menggunakan kueri bahasa alami.

LlamaIndex berfungsi sebagai jembatan antara data kustom dan LLM, sehingga memfasilitasi pengembangan aplikasi asisten pengetahuan dengan kemampuan retrieval-augmented generation (RAG).

LlamaIndex sangat cocok untuk aplikasi yang berfokus pada dokumen karena menekankan pengelolaan dokumen terstruktur, yang menyederhanakan pengindeksan dan pengambilan. Framework ini menampilkan mekanisme kueri yang dioptimalkan yang meningkatkan kecepatan dan relevansi akses informasi, beserta penanganan metadata yang andal untuk pemfilteran yang lebih akurat.

Untuk mengetahui informasi selengkapnya tentang framework LlamaIndex, lihat dokumentasi produk LlamaIndex.

Komponen LlamaIndex

Cloud SQL untuk PostgreSQL menawarkan antarmuka LlamaIndex berikut:

• Vector Store
• Penyimpanan Dokumen
• Mengindeks Toko
• Chat Stores
• Pembaca Dokumen

Pelajari cara menggunakan LlamaIndex dengan Panduan memulai Cloud SQL untuk PostgreSQL.

Vector Store

Integrasi LlamaIndex ini memungkinkan Anda menggunakan sifat Cloud SQL untuk PostgreSQL yang andal dan skalabel untuk menyimpan dan mengelola data LlamaIndex Anda. Dengan menggabungkan kemampuan pengindeksan dan kueri LlamaIndex dengan performa tinggi dan keandalan Cloud SQL untuk PostgreSQL, Anda dapat membangun aplikasi yang lebih efisien dan skalabel yang didukung LLM.

LlamaIndex memecah dokumen —DOC, teks, dan PDF— menjadi komponen dokumen yang disebut node. VectorStore hanya dapat berisi vektor embedding dari konten node yang telah diproses dan teks node. Node, yang merupakan konsep kelas satu, berisi konten teks, penyematan vektor, dan metadata. Anda dapat menerapkan filter pada kolom metadata ini untuk membatasi pengambilan node hanya pada node yang cocok dengan kriteria metadata yang ditentukan.

Untuk menggunakan penyimpanan vektor di Cloud SQL untuk PostgreSQL, gunakan class PostgresVectorStore. Untuk mengetahui informasi selengkapnya, lihat LlamaIndex Vector Stores.

Menyimpan embedding vektor dengan class PostgresVectorStore

Cloud SQL untuk PostgreSQL untuk penyimpanan vektor menunjukkan cara melakukan hal berikut:

• Menginisialisasi tabel untuk menyimpan embedding vektor
• Buat instance class embedding menggunakan Llama Index embeddings model.
• Lakukan inisialisasi penyimpanan vektor PostgresVectorStore default.
• Buat dan kueri indeks dari penyimpanan vektor menggunakan VectorStoreIndex.
• Buat Penyimpanan Vektor kustom untuk menyimpan dan memfilter metadata secara efektif.
• Tambahkan indeks ANN untuk meningkatkan latensi penelusuran.

Penyimpanan Dokumen dan Indeks

Integrasi Penyimpanan Dokumen LlamaIndex mengelola penyimpanan dan pengambilan dokumen terstruktur, yang dioptimalkan untuk kemampuan LlamaIndex yang berfokus pada dokumen. Document Store menyimpan konten yang terkait dengan vektor di penyimpanan vektor.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi produk LlamaIndex Document Stores.

Penyimpanan Indeks memfasilitasi pengelolaan indeks untuk memungkinkan kueri dan pengambilan data yang cepat, misalnya, indeks ringkasan, kata kunci, dan Tree. Index di LlamaIndex adalah penyimpanan ringan hanya untuk metadata node. Pembaruan metadata node tidak memerlukan pengindeksan ulang (baca pembuatan sematan) seluruh node atau semua node dalam dokumen.

Untuk mengetahui informasi selengkapnya, lihat LlamaIndex Index Stores.

Menyimpan dokumen dan indeks

Notebook Cloud SQL untuk PostgreSQL untuk Penyimpanan Dokumen menunjukkan cara menggunakan Cloud SQL untuk PostgreSQL guna menyimpan dokumen dan indeks menggunakan class PostgresDocumentStore dan PostgresIndexStore. Anda akan mempelajari cara melakukan hal berikut:

• Buat PostgresEngine menggunakan PostgresEngine.from_instance().
• Buat tabel untuk DocumentStore dan IndexStore.
• Lakukan inisialisasi PostgresDocumentStore default.
• Siapkan PostgresIndexStore.
• Tambahkan dokumen ke Docstore.
• Gunakan Penyimpanan Dokumen dengan beberapa indeks.
• Memuat indeks yang ada.

Chat Stores

Chat Store mempertahankan histori dan konteks percakapan untuk aplikasi berbasis chat, sehingga memungkinkan interaksi yang dipersonalisasi. Chat Store menyediakan repositori terpusat yang menyimpan dan mengambil pesan chat dalam percakapan, sehingga LLM dapat mempertahankan konteks dan memberikan respons yang lebih relevan berdasarkan dialog yang sedang berlangsung.

Model bahasa besar secara default tidak memiliki status, yang berarti model tersebut tidak mempertahankan input sebelumnya kecuali jika input tersebut diberikan secara eksplisit setiap kali. Dengan menggunakan penyimpanan chat, Anda dapat mempertahankan konteks percakapan, sehingga model dapat menghasilkan respons yang lebih relevan dan koheren dari waktu ke waktu.

Modul memori di LlamaIndex memungkinkan penyimpanan dan pengambilan konteks percakapan yang efisien, sehingga memungkinkan interaksi yang lebih personal dan kontekstual dalam aplikasi chat. Anda dapat mengintegrasikan modul memori di LlamaIndex dengan ChatStore dan ChatMemoryBuffer.
Untuk mengetahui informasi selengkapnya, lihat Penyimpanan Chat LlamaIndex.

Menyimpan histori chat

Notebook Cloud SQL untuk PostgreSQL untuk Chat Stores menunjukkan cara menggunakan Cloud SQL untuk PostgreSQL guna menyimpan histori chat menggunakan kelas PostgresChatStore. Anda akan mempelajari cara melakukan hal berikut:

• Buat PostgresEngine menggunakan PostgresEngine.from_instance().
• Lakukan inisialisasi PostgresChatStore. default
• Buat ChatMemoryBuffer.
• Buat instance class LLM.
• Gunakan PostgresChatStore tanpa konteks penyimpanan.
• Gunakan PostgresChatStore dengan konteks penyimpanan.
• Buat dan gunakan Chat Engine.

Pembaca Dokumen

Document Reader secara efisien mengambil dan mengubah data dari Cloud SQL untuk PostgreSQL ke dalam format yang kompatibel dengan LlamaIndex untuk pengindeksan. Antarmuka Document Reader menyediakan metode untuk memuat data dari sumber sebagai Documents. Document adalah class yang menyimpan teks dan metadata terkait. Anda dapat menggunakan Pembaca Dokumen untuk memuat dokumen yang ingin Anda simpan di Penyimpanan Dokumen atau digunakan untuk membuat Indeks.

Untuk mengetahui informasi selengkapnya, lihat Pembaca Dokumen LlamaIndex.

Mengambil data sebagai dokumen

Notebook Cloud SQL untuk PostgreSQL untuk Document Reader menunjukkan cara menggunakan Cloud SQL untuk PostgreSQL guna mengambil data sebagai dokumen menggunakan class PostgresReader. Anda akan mempelajari cara melakukan hal berikut:

• Buat PostgresEngine menggunakan PostgresEngine.from_instance().
• Buat PostgresReader.
• Muat Dokumen menggunakan argumen table_name.
• Memuat Dokumen menggunakan kueri SQL.
• Menetapkan format konten halaman.
• Muat dokumen.

Langkah berikutnya

• Bangun aplikasi yang didukung LLM menggunakan LangChain.