AlloyDB에서 원격 AI 모델 등록 및 호출 개요

이 페이지에서는 AI 모델 엔드포인트를 등록하고 모델 엔드포인트 관리로 예측을 호출하기 전에 알아야 하는 주요 개념을 설명합니다.

AlloyDB Omni에 원격 모델 엔드포인트를 등록하려면 AlloyDB Omni에서 원격 AI 모델 등록 및 호출을 참조하세요.

개요

모델 엔드포인트 관리는 AI 모델 메타데이터를 등록하고 관리하는 데 도움이 되는 함수와 연산자가 포함된 AlloyDB AI 기능입니다. 모델 엔드포인트를 등록하고, 데이터베이스 클러스터에서 모델 엔드포인트 메타데이터를 관리하고, SQL 쿼리를 사용하여 원격 모델 엔드포인트를 호출할 수 있습니다.

모델 엔드포인트 관리는 AlloyDB에 AI 모델과 관련된 메타데이터를 등록할 수 있는 함수가 포함된 google_ml_integration 확장 프로그램을 제공합니다. 등록된 메타데이터는 벡터 임베딩을 생성하거나 예측을 호출하는 데 사용됩니다.

AlloyDB AI 쿼리 엔진은 모델 엔드포인트 관리(프리뷰)를 기반으로 하는 함수 모음으로, 필터 및 조인을 위한 ai.if(), 정렬을 위한 ai.rank(), 데이터 요약 생성을 위한 ai.generate()와 같이 자연어 구문을 SQL 쿼리와 결합할 수 있는 AI 연산자 지원을 추가합니다. 또한 Vertex AI 멀티모달 및 순위 모델에 대한 지원도 추가됩니다.

모델 엔드포인트 관리를 사용하여 등록할 수 있는 모델 유형의 예는 다음과 같습니다.

  • Vertex AI 텍스트 임베딩 및 일반 모델
  • Vertex AI 멀티모달 모델(프리뷰)
  • Vertex AI 순위 모델(프리뷰)
  • Hugging Face 또는 OpenAI와 같은 서드 파티 제공업체에서 제공하는 임베딩 모델
  • 자체 호스팅 모델 또는 비공개 엔드포인트를 통해 사용할 수 있는 모델을 포함한 맞춤 호스팅 텍스트 임베딩 모델
  • JSON 기반 API가 있는 일반 모델(예: Hugging Face에 호스팅된 facebook/bart-large-mnli 모델, Vertex AI Model Garden의 gemini-pro 모델 또는 Anthropic의 claude 모델)

사용 사례

등록된 모델 엔드포인트를 호출하여 데이터베이스의 기존 데이터와 상호작용하여 임베딩 또는 예측을 생성할 수 있습니다. 애플리케이션 사용 사례는 다음과 같습니다.

  • 거래 애플리케이션을 사용한 실시간 추론: 사용자의 현재 방문 기록 및 장바구니 콘텐츠를 기반으로 실시간 추천을 제공합니다.
  • 감정 식별 및 요약 생성: 고객 리뷰 데이터베이스의 경우 각 리뷰에 대한 요약을 생성하거나 주요 감정을 식별합니다.
  • 지능형 검색 및 가져오기 시스템: 내부 기술 자료 데이터베이스용 검색 시스템을 빌드하고 키워드 대신 AI 기반 SQL 연산자를 사용하여 쿼리합니다.
  • 맞춤형 사용자 환경: 콘텐츠 플랫폼을 최적화하여 과거 상호작용을 기반으로 각 사용자에게 표시되는 콘텐츠를 동적으로 개인화합니다.

AlloyDB AI 사용 사례에 대한 자세한 내용은 AlloyDB AI 사용 사례를 참조하세요.

작동 방식

모델 엔드포인트 관리를 사용하여 다음을 준수하는 모델 엔드포인트를 등록할 수 있습니다.

  • 모델 입력 및 출력은 JSON 형식을 지원합니다.
  • REST 프로토콜을 사용하여 모델을 호출할 수 있습니다.

모델 엔드포인트 관리에 모델 엔드포인트를 등록하면 모델 참조로 제공한 고유한 모델 ID가 각 엔드포인트에 등록됩니다.

모델 엔드포인트 ID를 사용하여 모델을 쿼리하여 다음 작업을 할 수 있습니다.

  • 텍스트 프롬프트를 숫자 벡터로 변환하는 임베딩을 생성합니다. 데이터베이스에서 vector 확장 프로그램이 사용 설정된 경우 생성된 임베딩을 벡터 데이터로 저장할 수 있습니다. 자세한 내용은 pgvector를 사용하여 임베딩 쿼리 및 색인 생성을 참조하세요.

  • 텍스트, 이미지, 동영상과 같은 멀티모달 데이터를 임베딩으로 변환하기 위해 멀티모달 임베딩을 생성합니다. (미리보기)

  • 자연어를 사용하여 명시된 기준에 따라 쿼리의 항목 목록에 대한 순위를 지정하거나 점수를 매깁니다. (미리보기)

  • SQL을 사용하여 예측을 호출합니다.

주요 개념

모델 엔드포인트 관리를 사용하기 전에 모델에 연결하고 이를 사용하는 데 필요한 개념을 파악하세요.

스키마

애플리케이션은 google_ml_integration 확장 프로그램을 사용하여 모델 엔드포인트 관리에 액세스할 수 있습니다. google_ml_integration 확장 프로그램에는 public, google_ml, ai 스키마의 함수가 포함되어 있습니다. 모든 함수는 google_ml 스키마에 포함되어 있으며 특정 함수는 public 및 ai 스키마에서 사용할 수 있습니다.

스키마에 대한 자세한 내용은 스키마를 참조하세요.

모델 제공업체

모델 제공업체는 지원되는 모델 호스팅 제공업체를 나타냅니다. 모델 제공업체를 설정하는 것은 선택사항이지만 모델 엔드포인트 관리에서 제공업체를 식별하고 지원되는 모델의 헤더를 자동으로 형식 지정하는 데 도움이 됩니다.

모델 제공업체에 대한 자세한 내용은 모델 제공업체를 참조하세요.

모델 유형

모델 유형은 AI 모델의 유형을 나타냅니다. 이 확장 프로그램은 텍스트 임베딩과 모든 일반 모델 유형을 지원합니다. 모델 엔드포인트를 등록할 때 설정할 수 있는 지원되는 모델 유형은 text-embedding 및 generic입니다.

일반 모델 엔드포인트를 등록할 때는 모델 유형을 설정하지 않아도 됩니다. 기본 모델 유형이 generic이기 때문입니다.

모델 유형에 대한 자세한 내용은 모델 유형을 참조하세요.

인증

인증 유형은 google_ml_integration 확장 프로그램을 사용하여 모델 엔드포인트 관리에 연결하는 데 사용할 수 있는 인증 유형을 나타냅니다. 인증 설정은 선택사항이며 모델에 액세스하기 위해 인증이 필요한 경우에만 필요합니다.

인증에 대한 자세한 내용은 인증을 참조하세요.

예측 함수

예측 함수는 AlloyDB 데이터베이스 내에서 AI 모델과 상호작용할 수 있는 SQL 함수입니다. 이러한 함수를 사용하면 표준 SQL 쿼리를 사용하여 모델 엔드포인트로 데이터를 전송하고 임베딩 또는 예측을 생성할 수 있습니다.

예측 함수에 대한 자세한 내용은 예측 함수를 참조하세요.

연산자 함수

google_ml_integration 확장 프로그램에는 기본 Gemini에서 AI 기반 SQL 연산자를 사용하여 쿼리하는 다음 연산자 함수가 포함됩니다.

연산자 함수에 대한 자세한 내용은 연산자 함수를 참조하세요.

변환 함수

변환 함수는 입력을 모델이 이해하는 형식으로 수정하고 모델 응답을 예측 함수가 예상하는 형식으로 변환합니다. 변환 함수는 기본 제공 지원 없이 text-embedding 모델 엔드포인트를 등록할 때 사용됩니다. 변환 함수의 서명은 모델에서 예상하는 입력에 따라 다릅니다.

변환 함수에 대한 자세한 내용은 변환 함수를 참조하세요.

HTTP 헤더 생성 함수

HTTP 헤더 생성 함수는 HTTP 헤더로 사용되는 JSON 키-값 쌍으로 출력을 생성합니다. 예측 함수의 서명은 헤더 생성 함수의 서명을 정의합니다.

HTTP 헤더 생성 함수에 관한 자세한 내용은 HTTP 헤더 생성 함수를 참조하세요.

다음 단계