Memanggil prediksi dengan pengelolaan endpoint model

Halaman ini menjelaskan cara memanggil prediksi menggunakan endpoint model yang terdaftar di pengelolaan endpoint Model.

Sebelum memulai

Pastikan Anda telah mendaftarkan endpoint model dengan Pengelolaan endpoint model. Untuk mengetahui informasi selengkapnya, lihat Mendaftarkan endpoint model dengan pengelolaan endpoint model

Memanggil prediksi untuk model generik

Gunakan fungsi SQL google_ml.predict_row() untuk memanggil endpoint model generik terdaftar guna memanggil prediksi.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

Ganti kode berikut:

  • MODEL_ID: ID model yang Anda tentukan saat mendaftarkan endpoint model.
  • REQUEST_BODY: parameter ke fungsi prediksi, dalam format JSON.

Contoh

Bagian ini mencakup beberapa contoh untuk memanggil prediksi menggunakan endpoint model terdaftar.

Untuk membuat prediksi untuk endpoint model gemini-1.5-pro:streamGenerateContent terdaftar, jalankan pernyataan berikut:

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Untuk membuat prediksi untuk endpoint model facebook/bart-large-mnli terdaftar di Hugging Face, jalankan pernyataan berikut:

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

Untuk membuat prediksi untuk endpoint model claude-3-opus-20240229 Anthropic terdaftar, jalankan pernyataan berikut:

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');

Langkah selanjutnya