Ringkasan AI Generatif

Dokumen ini menjelaskan fitur kecerdasan buatan (AI) generatif yang didukung BigQuery ML. Fitur ini memungkinkan Anda melakukan tugas AI di BigQuery ML menggunakan model dasar Vertex AI yang telah dilatih sebelumnya. Tugas yang didukung meliputi:

Anda mengakses model Vertex AI untuk menjalankan salah satu fungsi ini dengan membuat model jarak jauh di BigQuery ML yang mewakili endpoint model Vertex AI. Setelah membuat model jarak jauh melalui model Vertex AI yang ingin digunakan, Anda dapat mengakses kemampuan model tersebut dengan menjalankan fungsi BigQuery ML terhadap model jarak jauh.

Pendekatan ini memungkinkan Anda menggunakan kemampuan model Vertex AI ini untuk menganalisis data BigQuery menggunakan SQL.

Alur kerja

Anda dapat menggunakan model jarak jauh melalui model Vertex AI dan model jarak jauh melalui layanan Cloud AI bersama dengan fungsi BigQuery ML untuk menyelesaikan analisis data yang kompleks dan tugas AI generatif.

Diagram berikut menunjukkan beberapa alur kerja standar tempat Anda dapat menggunakan kemampuan ini secara bersamaan:

Diagram yang menunjukkan alur kerja umum untuk model jarak jauh yang menggunakan model Vertex AI atau layanan Cloud AI.

AI Generatif

Anda dapat menggunakan model bahasa besar (LLM) untuk melakukan tugas seperti peringkasan dan pembuatan teks. Misalnya, Anda dapat meringkas laporan panjang, atau menganalisis sentimen dalam masukan pelanggan. Anda dapat menggunakan model bahasa visi (VLM) untuk menganalisis konten visual seperti gambar dan video untuk tugas seperti teks visual dan Tanya Jawab visual. Anda dapat menggunakan model multimodal untuk melakukan tugas yang sama seperti LLM dan VLM, ditambah tugas tambahan seperti transkripsi audio dan analisis dokumen.

Untuk melakukan tugas AI generatif, Anda dapat membuat referensi ke model Vertex AI yang telah dilatih sebelumnya dengan membuat model jarak jauh dan menentukan nama model untuk nilai ENDPOINT. Model Vertex AI berikut didukung:

  • gemini-1.5-flash
  • gemini-1.5-pro
  • gemini-1.0-pro
  • gemini-1.0-pro-vision (Pratinjau)
  • text-bison
  • text-bison-32k
  • text-unicorn

Model Claude Anthropic (Pratinjau) juga didukung.

Untuk memberikan masukan atau meminta dukungan terkait model dalam pratinjau, kirim email ke bqml-feedback@google.com.

Saat membuat model jarak jauh yang mereferensikan salah satu model berikut, Anda dapat memilih untuk mengonfigurasi penyesuaian terpantau secara bersamaan:

  • gemini-1.5-pro-002
  • gemini-1.5-flash-002
  • gemini-1.0-pro-002 (Pratinjau)

Setelah membuat model, Anda dapat menggunakan fungsi ML.GENERATE_TEXT untuk berinteraksi dengan model tersebut:

  • Untuk model jarak jauh berdasarkan model gemini-1.0-pro, text-bison, text-bison-32k, atau text-unicorn, Anda dapat menggunakan fungsi ML.GENERATE_TEXT dengan perintah yang Anda berikan dalam kueri atau dari kolom dalam tabel standar.
  • Untuk model jarak jauh berdasarkan model gemini-1.0-pro-vision, Anda dapat menggunakan fungsi ML.GENERATE_TEXT untuk menganalisis konten gambar atau video dari tabel objek dengan perintah yang Anda berikan sebagai argumen fungsi.
  • Untuk model jarak jauh berdasarkan model gemini-1.5-flash atau gemini-1.5-pro, Anda dapat menggunakan fungsi ML.GENERATE_TEXT untuk menganalisis konten teks, gambar, audio, video, atau PDF dari tabel objek dengan perintah yang Anda berikan sebagai argumen fungsi, atau Anda dapat membuat teks dari perintah yang Anda berikan dalam kueri atau dari kolom dalam tabel standar.

Anda dapat menggunakan grounding dan atribut keamanan saat menggunakan model Gemini dengan fungsi ML.GENERATE_TEXT, asalkan Anda menggunakan tabel standar untuk input. Dengan mereferensikan, model Gemini dapat menggunakan informasi tambahan dari internet untuk menghasilkan respons yang lebih spesifik dan faktual. Atribut keamanan memungkinkan model Gemini memfilter respons yang ditampilkannya berdasarkan atribut yang Anda tentukan.

Semua inferensi terjadi di Vertex AI. Hasilnya disimpan di BigQuery.

Untuk mempelajari lebih lanjut, coba buat teks dengan fungsi ML.GENERATE_TEXT.

Embedding

Anda dapat menggunakan embedding untuk mengidentifikasi item yang mirip secara semantik. Misalnya, Anda dapat menggunakan penyematan teks untuk mengidentifikasi seberapa mirip dua bagian teks. Jika bagian teks serupa secara semantik, maka masing-masing embedding-nya berdekatan satu sama lain di ruang vektor embedding.

Anda dapat menggunakan model BigQuery ML untuk membuat jenis penyematan berikut:

  • Untuk membuat penyematan teks, Anda dapat membuat referensi ke salah satu model penyematan text-embedding atau text-multilingual-embedding Vertex AI dengan membuat model jarak jauh dan menentukan nama LLM untuk nilai ENDPOINT.
  • Untuk membuat penyematan multimodal, yang dapat menyematkan teks, gambar, dan video ke dalam ruang semantik yang sama, Anda dapat membuat referensi ke LLM multimodalembedding Vertex AI dengan membuat model jarak jauh dan menentukan nama LLM untuk nilai ENDPOINT.
  • Untuk membuat penyematan data variabel acak independen dan terdistribusi secara identik (IID) terstruktur, Anda dapat menggunakan model Analisis komponen utama (PCA) atau Autoencoder.
  • Untuk membuat penyematan data pengguna atau item, Anda dapat menggunakan model Faktorisasi matriks.

Setelah membuat model, Anda dapat menggunakan fungsi ML.GENERATE_EMBEDDING untuk berinteraksi dengannya. Untuk semua jenis model yang didukung, ML.GENERATE_EMBEDDING berfungsi dengan data dalam tabel standar. Untuk model penyematan multimodal, ML.GENERATE_EMBEDDING juga berfungsi dengan konten visual di tabel objek. Untuk model jarak jauh, semua inferensi terjadi di Vertex AI. Untuk jenis model lainnya, semua inferensi terjadi di BigQuery. Hasilnya disimpan di BigQuery.

Untuk mempelajari lebih lanjut, coba buat penyematan teks, penyematan gambar, dan penyematan video dengan fungsi ML.GENERATE_EMBEDDING.

Untuk penyematan teks yang lebih kecil dan ringan, coba gunakan model TensorFlow yang telah dilatih sebelumnya, seperti NNLM, SWIVEL, atau BERT.

Untuk mengetahui informasi tentang cara memilih model terbaik untuk kasus penggunaan penyematan Anda, lihat Memilih model penyematan teks.

Langkah selanjutnya