모델 엔드포인트 관리로 예측 호출

이 페이지에서는 AI 모델 엔드포인트 등록 및 모델 엔드포인트 관리로 예측 호출을 실험할 수 있는 미리보기를 설명합니다. 프로덕션 환경에서 AI 모델을 사용하는 방법은 AlloyDB AI를 사용하여 생성형 AI 애플리케이션 빌드를 참고하세요.

모델 엔드포인트가 모델 엔드포인트 관리에 추가되고 등록된 후에는 모델 ID를 사용하여 엔드포인트를 참조하여 예측을 호출할 수 있습니다.

시작하기 전에

모델 엔드포인트 관리에 모델 엔드포인트를 등록했는지 확인합니다. 자세한 내용은 모델 엔드포인트 관리로 모델 엔드포인트 등록을 참고하세요.

일반 모델의 예측 호출

google_ml.predict_row() SQL 함수를 사용하여 등록된 일반 모델 엔드포인트를 호출하여 예측을 호출합니다. 모든 모델 유형에서 google_ml.predict_row() 함수를 사용할 수 있습니다.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

다음을 바꿉니다.

  • MODEL_ID: 모델 엔드포인트를 등록할 때 정의한 모델 ID입니다.
  • REQUEST_BODY: JSON 형식의 예측 함수 매개변수입니다.

예시

등록된 모델 엔드포인트를 사용하여 예측을 호출하는 몇 가지 예는 이 섹션에 나와 있습니다.

등록된 gemini-pro 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face에 등록된 facebook/bart-large-mnli 모델 엔드포인트에 대한 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );