모델 엔드포인트 관리로 예측 호출

이 페이지에서는 모델 엔드포인트 관리에 등록된 모델 엔드포인트를 사용하여 예측을 호출하는 방법을 설명합니다.

시작하기 전에

모델 엔드포인트 관리에 모델 엔드포인트를 등록했는지 확인합니다. 자세한 내용은 모델 엔드포인트 관리로 모델 엔드포인트 등록을 참고하세요.

일반 모델의 예측 호출

google_ml.predict_row() SQL 함수를 사용하여 등록된 일반 모델 엔드포인트를 호출하여 예측을 호출합니다.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

다음을 바꿉니다.

• MODEL_ID: 모델 엔드포인트를 등록할 때 정의한 모델 ID입니다.
• REQUEST_BODY: JSON 형식의 예측 함수 매개변수입니다.

예시

이 섹션에는 등록된 모델 엔드포인트를 사용하여 예측을 호출하는 몇 가지 예가 포함되어 있습니다.

등록된 gemini-1.5-pro:streamGenerateContent 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  json_array_elements( google_ml.predict_row( model_id => 'gemini-1.5-pro:streamGenerateContent',
      request_body => '{ "contents": [ { "role": "user", "parts": [ { "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation." } ] } ] }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face에 등록된 facebook/bart-large-mnli 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );

등록된 Anthropic claude-3-opus-20240229 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row('anthropic-opus', '{
    "model": "claude-3-opus-20240229",
    "max_tokens": 1024,
    "messages": [
        {"role": "user", "content": "Hello, world"}
    ]
  }');