Cloud SQL 인스턴스에서 온라인 예측 호출

MySQL | PostgreSQL | SQL Server

이 페이지에서는 PostgreSQL용 Cloud SQL 인스턴스에서 온라인 예측을 호출하는 방법을 보여줍니다.

Cloud SQL을 사용하면 SQL 코드에서 ml_predict_row() 함수를 호출하여 온라인 예측을 수행할 수 있습니다. 자세한 내용은 Cloud SQL을 사용하여 생성형 AI 애플리케이션 빌드를 참조하세요.

시작하기 전에

Cloud SQL 인스턴스에서 온라인 예측을 호출할 수 있으려면 먼저 데이터베이스를 준비하고 적합한 ML 모델을 선택해야 합니다.

데이터베이스 준비

데이터베이스를 준비하려면 다음 단계를 수행합니다.

Cloud SQL과 Vertex AI 사이에 통합을 설정합니다.
데이터베이스 사용자가 ml_predict_row() 함수를 사용해서 예측을 실행하도록 권한을 부여합니다.
1. psql 클라이언트를 사용하여 연결에 설명된 대로 psql 클라이언트를 기본 인스턴스에 연결합니다.
2. psql 명령 프롬프트에서 데이터베이스에 연결하고 권한을 부여합니다.
```
\c DB_NAME

GRANT EXECUTE ON FUNCTION ml_predict_row TO USER_NAME;
```
  다음을 바꿉니다.
  - DB_NAME: 권한을 부여하려는 데이터베이스의 이름입니다.
  - USER_NAME: 권한을 부여하려는 사용자의 이름입니다.

ML 모델 선택

ml_predict_row() 함수를 호출할 때 ML 모델의 위치를 지정해야 합니다. 지정하는 모델은 다음 중 하나일 수 있습니다.

Vertex AI Model Garden에서 실행 중인 모델

ml_predict_row() 함수는 테이블 형식 또는 커스텀 모델에서만 예측 호출을 지원합니다.
액세스할 수 있는 Identity and Access Management(IAM) 권한이 있는 활성 엔드포인트가 포함된 Vertex AI 모델

Cloud SQL은 온라인 예측 수행을 위해 비공개 엔드포인트를 지원하지 않습니다.

온라인 예측 호출

ml_predict_row() SQL 함수를 사용하여 데이터에 대해 온라인 예측을 호출할 수 있습니다.

이 함수의 초기 인수 형식은 사용하려는 ML 모델이 Vertex AI Model Garden인지 또는 Google Cloud 프로젝트에서 실행되는 엔드포인트인지에 따라 달라집니다.

Vertex AI Model Garden에서 모델 사용

Vertex AI Model Garden에서 실행되는 ML 모델을 사용하여 온라인 예측을 호출하려면 ml_predict_row() SQL 함수의 다음 구문을 사용합니다.

SELECT ml_predict_row('publishers/google/models/MODEL_ID', '{ "instances": [ INSTANCES ], "parameters":
PARAMETERS }');

다음을 바꿉니다.

MODEL_ID: 사용하려는 ML 모델의 ID(예: 텍스트용 PaLM2의 경우 text-bison)
INSTANCES: JSON 형식의 예측 호출의 입력
PARAMETERS: JSON 형식의 예측 호출의 매개변수

SELECT ml_predict_row('publishers/google/models/MODEL_ID', '{ "instances": [ INSTANCES ], "parameters":
PARAMETERS }');

모델의 JSON 응답 메시지에 대한 자세한 내용은 생성형 AI 파운데이션 모델 참조를 확인하세요. 예시를 보려면 호출 예시를 참조하세요.

Vertex AI 모델 엔드포인트 사용

Vertex AI 모델 엔드포인트를 사용하여 온라인 예측을 호출하려면 ml_predict_row() SQL 함수의 다음 구문을 사용합니다.

SELECT ml_predict_row('endpoints/ENDPOINT_ID', '{ "instances": [ INSTANCES ], "parameters":
PARAMETERS }');

다음을 바꿉니다.

ENDPOINT_ID: 모델 엔드포인트의 ID
INSTANCES: JSON 형식의 예측 호출의 입력
PARAMETERS: JSON 형식의 예측 호출의 매개변수

모델의 JSON 응답 메시지에 대한 자세한 내용은 PredictResponse를 참조하세요.

호출 예시

다음 예시에서는 Model Garden에서 제공되는 텍스트용 PaLM2를 사용하여 ml_predict_row()에 대한 리터럴 인수로 제공되는 짧은 프롬프트를 기준으로 텍스트를 생성합니다.

select ML_PREDICT_ROW('projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison', '{"instances":[{"prompt": "What are three advantages of using Cloud SQL as my SQL database server?"}], "parameters":{"maxOutputTokens":1024, "topK": 40, "topP":0.8, "temperature":0.2}}');

응답은 JSON 객체입니다. 객체 형식에 대한 자세한 내용은 응답 본문을 참조하세요.

다음 예시에서는 다음 방법으로 이전 항목을 수정합니다.

이 예시에서는 현재 데이터베이스의 messages.message 열 콘텐츠를 입력으로 사용합니다.
이 예시는 함수 매개변수의 형식 지정을 위한 보조 도구로 json_build_object() 함수를 사용하는 방법을 보여줍니다.

select ML_PREDICT_ROW('projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison', json_build_object('instances', json_build_object('prompt', message), 'parameters', json_build_object('maxOutputTokens', 1024,'topK', 40,'topP', 0.8,'temperature', 0.2))) from messages;

messages 테이블의 모든 행에 대해 반환되는 JSON 객체에는 이제 해당 predictions 배열의 항목이 하나 포함됩니다.

응답이 JSON 객체이기 때문에 PostgreSQL 화살표 연산자를 사용해서 특정 필드를 가져올 수 있습니다.

SELECT ML_PREDICT_ROW('projects/PROJECT_ID/locations/us-central1/publishers/google/models/text-bison',json_build_object('instances', json_build_object('prompt',message), 'parameters', json_build_object('maxOutputTokens', 1024,'topK', 40,'topP', 0.8,'temperature', 0.2)))->'predictions'->0->'content' FROM messages;

ml_predict_row()의 인수 예시는 Vertex AI Gemini API 시도해 보기를 참조하세요.