Cloud AI 서비스를 통한 원격 모델의 CREATE MODEL 문

이 문서에서는 Cloud AI 서비스를 통해 BigQuery에서 원격 모델을 만드는 CREATE MODEL 문을 설명합니다. 예를 들면 Cloud Natural Language API입니다.

CREATE MODEL 구문

{CREATE MODEL | CREATE MODEL IF NOT EXISTS | CREATE OR REPLACE MODEL}
`project_id.dataset.model_name`
REMOTE WITH CONNECTION `project_id.region.connection_id`
OPTIONS(REMOTE_SERVICE_TYPE = remote_service_type
[, DOCUMENT_PROCESSOR = document_processor]
[, SPEECH_RECOGNIZER = speech_recognizer]
);

CREATE MODEL

지정된 데이터 세트에서 새 모델을 만들고 학습시킵니다. 모델 이름이 있으면 CREATE MODEL은 오류를 반환합니다.

CREATE MODEL IF NOT EXISTS

지정된 데이터 세트에 모델이 없는 경우에만 새 모델을 만들고 학습시킵니다.

CREATE OR REPLACE MODEL

모델을 만들어 학습시키고, 지정된 데이터 세트에서 이름이 같은 기존 모델을 대체합니다.

model_name

만들거나 바꾸려는 모델의 이름입니다. 모델 이름은 데이터 세트 내에서 고유해야 합니다. 다른 모델이나 테이블에서 같은 이름을 사용할 수 없습니다. 모델 이름은 BigQuery 테이블과 같은 이름 지정 규칙을 따라야 합니다. 다음과 같은 모델 이름을 사용할 수 있습니다.

• 최대 1,024자 포함
• 문자(대소문자), 숫자, 밑줄 포함

model_name은 대소문자를 구분하지 않습니다.

기본 프로젝트를 구성하지 않았으면 백틱을 포함하여 다음 형식으로 모델 이름 앞에 프로젝트 ID를 추가해야 합니다.

`[PROJECT_ID].[DATASET].[MODEL]`

예를 들면 `myproject.mydataset.mymodel`입니다.

REMOTE WITH CONNECTION

구문

`[PROJECT_ID].[LOCATION].[CONNECTION_ID]`

BigQuery는 Cloud 리소스 연결을 사용하여 Cloud AI 서비스와 상호작용합니다.

연결 요소는 다음과 같습니다.

• PROJECT_ID: 연결이 포함된 프로젝트의 프로젝트 ID입니다.
• LOCATION: 연결에서 사용하는 위치입니다. 연결은 모델이 포함된 데이터 세트와 같은 위치에 있어야 합니다.
• CONNECTION_ID: 연결 ID(예: myconnection)

  연결 ID를 찾으려면 Google Cloud 콘솔에서 연결 세부정보를 확인하세요. 연결 ID는 연결 ID에 표시되는 정규화된 연결 ID의 마지막 섹션에 있는 값입니다(예: projects/myproject/locations/connection_location/connections/myconnection).

모델을 만들 프로젝트에서 연결의 서비스 계정에 Vertex AI 사용자 역할을 부여해야 합니다.

예시

`myproject.us.my_connection`

REMOTE_SERVICE_TYPE

구문

REMOTE_SERVICE_TYPE = { 'CLOUD_AI_NATURAL_LANGUAGE_V1' | 'CLOUD_AI_TRANSLATE_V3' | 'CLOUD_AI_VISION_V1' | 'CLOUD_AI_DOCUMENT_V1' | 'CLOUD_AI_SPEECH_TO_TEXT_V2' }

설명

모델을 만드는 데 사용할 서비스를 지정합니다.

• Cloud Natural Language API
• Cloud Translation API
• Cloud Vision API
• Document AI API(미리보기)
• Speech-to-Text API(미리보기)

Cloud AI 서비스를 기반으로 하는 원격 모델을 만든 후 다음 BigQuery ML 함수 중 하나와 함께 모델을 사용하여 BigQuery 데이터를 분석할 수 있습니다.

• Cloud Natural Language API 모델의 경우 ML.UNDERSTAND_TEXT 사용
• Cloud Translation API 모델의 경우 ML.TRANSLATE 사용
• Cloud Vision API 모델의 경우 ML.ANNOTATE_IMAGE 사용
• Document AI API 모델의 경우 ML.PROCESS_DOCUMENT 사용(미리보기)
• Speech-to-Text API 모델의 경우 ML.TRANSCRIBE 사용(미리보기)

예시

REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1'

참고: text-bison 모델의 경우 REMOTE_SERVICE_TYPE 값을 'CLOUD_AI_LARGE_Language_MODEL_V1'로, textembedding-gecko 모델의 경우 'CLOUD_AI_TEXT_EMBEDDING_MODEL_V1'로 지정하여 Vertex AI LLM을 통해 원격 모델을 만들 수 있습니다. 하지만 LLM을 통해 원격 모델을 만드는 데 선호되는 방법은 LLM을 엔드포인트로 지정하는 것입니다. 엔드포인트를 사용하면 더욱 폭넓은 LLM 및 LLM 버전을 사용할 수 있습니다.

DOCUMENT_PROCESSOR

미리보기

이 제품 또는 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품 및 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

참고: 이 기능에 대해 피드백을 제공하거나 지원을 요청하려면 [e-mail]으로 이메일을 보내세요.

이 옵션은 REMOTE_SERVICE_TYPE 값이 CLOUD_AI_DOCUMENT_V1일 때 사용할 문서 프로세서를 식별합니다. Document AI API를 통해 원격 모델을 만들 때는 이 옵션을 사용해야 합니다. 다른 유형의 원격 모델에서는 이 옵션을 사용할 수 없습니다.

Document AI는 다음과 같은 다양한 유형의 문서에서 통계를 추출하는 사전 빌드된 프로세서를 제공합니다.

• 인보이스
• 세금 양식
• 재무제표

모든 유형의 프로세서가 지원되지는 않습니다. 지원되는 프로세서는 문서에서 유용한 정보를 추출하며 프로세서 갤러리에 Extract로 시작하는 설명이 있습니다. 예를 들어 인보이스, 급여 명세서, 은행 명세서 파서가 있습니다. 지원되지 않는 프로세서를 지정하면 CREATE MODEL 문이 실패합니다.

DOCUMENT_PROCESSOR 값은 다음 형식의 문자열이어야 합니다.

projects/PROJECT_NUMBER/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION

다음을 바꿉니다.

• PROJECT_NUMBER: 문서 프로세서를 포함하는 프로젝트의 프로젝트 번호. 이 값을 찾으려면 프로세서 세부정보에서 예측 엔드포인트를 확인하고 projects 요소 다음의 값을 가져옵니다(예: https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process).
• LOCATION: 문서 프로세서에서 사용하는 위치. 이 값을 찾으려면 프로세서 세부정보에서 예측 엔드포인트를 확인하고 locations 요소 다음의 값을 가져옵니다(예: https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process).
• PROCESSOR_ID: 문서 프로세서 ID. 이 값을 찾으려면 프로세서 세부정보에서 예측 엔드포인트를 확인하고 processors 요소 다음의 값을 가져옵니다(예: https://us-documentai.googleapis.com/v1/projects/project_number/locations/processor_location/processors/processor_id:process).
• PROCESSOR_VERSION: 문서 프로세서 버전. 이 값을 찾으려면 프로세서 세부정보를 확인하고, 버전 관리 탭을 선택하고, 사용하려는 버전 ID 값을 복사합니다.

SPEECH_RECOGNIZER

미리보기

이 제품 또는 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품 및 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

참고: 이 기능에 대해 피드백을 제공하거나 지원을 요청하려면 [e-mail]으로 이메일을 보내세요.

이 옵션은 REMOTE_SERVICE_TYPE 값이 CLOUD_AI_SPEECH_TO_TEXT_V2일 때 선택적으로 사용할 음성 인식기를 식별합니다. 이 옵션을 지정하지 않으면 원격 모델을 참조하는 경우 ML.TRANSCRIBE 함수의 recognition_config 인수 값을 지정해야 합니다. 다른 유형의 원격 모델에서는 이 옵션을 사용할 수 없습니다.

SPEECH_RECOGNIZER 값은 다음 형식의 문자열이어야 합니다.

projects/PROJECT_NUMBER/locations/LOCATION/recognizers/RECOGNIZER_ID

다음을 바꿉니다.

• PROJECT_NUMBER: 음성 인식기가 포함된 프로젝트의 프로젝트 번호입니다. Google Cloud 콘솔의 대시보드 페이지에 있는 프로젝트 정보 카드에서 이 값을 찾을 수 있습니다.
• LOCATION: 음성 인식기에서 사용하는 위치입니다. Google Cloud 콘솔의 인식기 나열 페이지에 있는 위치 필드에서 이 값을 찾을 수 있습니다.
• RECOGNIZER_ID: 음성 인식기 ID입니다. Google Cloud 콘솔의 인식기 나열 페이지에 있는 ID 필드에서 이 값을 찾을 수 있습니다.

예시

다음 예시에서는 Cloud Vision API를 사용하는 BigQuery ML 원격 모델을 만듭니다.

CREATE MODEL `project_id.mydataset.mymodel`
REMOTE WITH CONNECTION `myproject.us.test_connection`
 OPTIONS(REMOTE_SERVICE_TYPE = 'CLOUD_AI_VISION_V1')

다음 단계

BigQuery ML에서 Cloud AI 서비스를 사용하는 방법에 대한 자세한 내용은 AI 애플리케이션 개요를 참조하세요.