모델 엔드포인트 관리로 예측 호출

문서 버전을 선택합니다.

이 페이지에서는 AI 모델 엔드포인트 등록 및 모델 엔드포인트 관리로 예측 호출을 실험할 수 있는 미리보기를 설명합니다. 프로덕션 환경에서 AI 모델을 사용하는 방법은 AlloyDB AI를 사용하여 생성형 AI 애플리케이션 빌드를 참고하세요.

모델 엔드포인트가 추가되고 모델 엔드포인트 관리에 등록된 후에는 모델 ID를 사용해서 이를 참조하여 예측을 호출할 수 있습니다.

시작하기 전에

모델 엔드포인트 관리에 모델 엔드포인트를 등록했는지 확인합니다. 자세한 내용은 모델 엔드포인트를 모델 엔드포인트 관리에 등록하기를 참고하세요.

일반 모델의 예측 호출

google_ml.predict_row() SQL 함수를 사용하여 등록된 일반 모델 엔드포인트를 호출하여 예측을 호출합니다. google_ml.predict_row() 함수는 모든 모델 유형에 사용할 수 있습니다.

SELECT
  google_ml.predict_row(
    model_id => 'MODEL_ID',
    request_body => 'REQUEST_BODY');

다음을 바꿉니다.

  • MODEL_ID: 모델 엔드포인트를 등록할 때 정의한 모델 ID.
  • REQUEST_BODY: JSON 형식의 예측 함수에 대한 파라미터

예시

이 섹션에는 등록된 모델 엔드포인트를 사용하여 예측을 호출하는 몇 가지 예시가 나와 있습니다.

등록된 gemini-pro 모델 엔드포인트에 대해 예측을 생성하려면 다음 문을 실행합니다.

    SELECT
        json_array_elements(
        google_ml.predict_row(
            model_id => 'gemini-pro',
            request_body => '{
        "contents": [
            {
                "role": "user",
                "parts": [
                    {
                        "text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
                    }
                ]
            }
        ]
        }'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';

Hugging Face에서 등록된 facebook/bart-large-mnli 모델 엔드포인트에 대해 예측을 생성하려면 다음 문을 실행합니다.

  SELECT
  google_ml.predict_row(
    model_id => 'facebook/bart-large-mnli',
    request_body =>
      '{
       "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {"candidate_labels": ["refund", "legal", "faq"]}
    }'
  );