모델 추론 개요

이 문서에서는 BigQuery ML에서 지원하는 일괄 추론 유형을 설명하며, 포함되는 유형은 아래와 같습니다.

• 예측(Prediction)
• 예측(Forecasting)
• 권장사항
• 이상 감지
• 온라인 예측

머신러닝 추론은 단일 숫자 점수와 같은 출력을 계산하기 위해 머신러닝 모델에서 데이터 포인트를 실행하는 프로세스입니다. 이러한 프로세스를 가리켜 '머신러닝 모델을 운용'하거나 '머신러닝 모델을 프로덕션에 배치'한다고도 말합니다.

예측(Prediction)

다음 섹션에서는 BigQuery ML에서 예측을 수행하는 데 사용 가능한 방법을 설명합니다.

BigQuery ML 학습 모델을 사용하는 추론

BigQuery ML의 예측(Prediction)은 지도 학습 모델뿐만 아니라 비지도 학습 모델에도 사용됩니다. 독립적이고 동일한 분포(IID) 데이터로 학습된 모델에만 사용됩니다. IID가 아닌 시계열 데이터의 경우 예측에 Prediction 대신 Forecasting이라는 용어를 사용합니다. 아래의 예측(Forecasting) 섹션을 참조하세요.

BigQuery ML은 다음 모델과 함께 ML.PREDICT 함수를 통해 Prediction 기능을 지원합니다.

모델 카테고리	모델 유형	ML.PREDICT의 역할
지도 학습	선형 및 로지스틱 회귀 부스티드 트리 랜덤 포레스트 심층신경망 와이드 앤 딥 AutoML Tables	회귀 태스크의 숫자 값 또는 분류 태스크의 범주형 값으로 된 라벨을 예측합니다.
비지도 학습	k-평균	항목에 클러스터를 할당합니다.
	PCA	항목을 고유 벡터가 차지하는 공간으로 변환하여 항목에 차원 축소를 적용합니다.
	Autoencoder	항목을 임베딩 공간으로 변환합니다.

행렬 분해 모델 추론은 권장사항을 참조하세요.

가져온 모델을 사용한 추론

이 접근 방식에서는 BigQuery 외부에서 모델을 만들어 학습시키고 CREATE MODEL 문을 사용해 가져온 후 ML.PREDICT 함수를 사용해 이에 대한 추론을 실행합니다. 모든 추론 처리는 BigQuery의 데이터를 사용하여 BigQuery에서 수행됩니다. 가져온 모델은 지도 학습 또는 비지도 학습을 수행할 수 있습니다.

BigQuery ML은 다음 유형의 가져온 모델을 지원합니다.

• PyTorch, scikit-learn, 기타 널리 사용되는 ML 프레임워크에서 학습된 모델에 대한 개방형 신경망 교환(ONNX)
• TensorFlow
• TensorFlow Lite
• XGBoost

이 접근방식을 사용하여 다양한 ML 프레임워크로 개발된 커스텀 모델을 활용하는 동시에 BigQuery ML의 추론 속도와 데이터의 공동 배치를 활용할 수 있습니다.

자세한 내용은 다음 튜토리얼 중 하나를 참조하세요.

• 가져온 TensorFlow 모델로 Prediction 수행
• ONNX 형식의 scikit-learn 모델로 Prediction 수행
• ONNX 형식의 PyTorch 모델로 Prediction 수행

원격 모델을 사용한 추론

이 접근 방식에서는 CREATE MODEL 문을 사용해 Vertex AI Prediction에서 호스팅되는 모델에 대한 추론을 만든 후 ML.PREDICT 함수를 사용해 이에 대한 추론을 실행합니다. 모든 추론 처리는 BigQuery의 데이터를 사용하여 Vertex AI에서 수행됩니다. 원격 모델은 지도 학습 또는 비지도 학습을 수행할 수 있습니다.

이 접근 방식을 사용하면 Vertex AI에서 제공하는 GPU 하드웨어 지원이 필요한 대규모 모델에 대해 추론을 실행할 수 있습니다. 대부분의 모델이 Vertex AI에서 호스팅되는 경우 데이터를 Vertex AI로 가져오고 예측 결과를 다시 BigQuery로 가져오는 데이터 파이프라인을 수동으로 빌드하지 않고도 SQL을 사용하여 이러한 모델에 대한 추론을 실행할 수도 있습니다.

단계별 안내는 Vertex AI에서 원격 모델로 Prediction 수행을 참조하세요.

예측(Forecasting)

Forecasting은 과거 데이터를 입력으로 사용하여 정보에 입각하여 미래를 추정하는 기술입니다. BigQuery ML에서 Forecasting은 시계열 데이터에 적용됩니다. IID 데이터는 예측(prediction)을 참조하세요.

BigQuery ML은 ARIMA_PLUS 및 ARIMA_PLUS_XREG 모델을 사용하여 ML.FORECAST 함수를 통한 Forecasting 기능을 지원합니다. 시계열 모델은 단일 모델이 아니라 여러 모델 및 알고리즘을 포함하는 시계열 모델링 파이프라인입니다. 자세한 내용은 시계열 모델링 파이프라인을 참조하세요.

권장사항

추천자 시스템은 비즈니스를 위한 머신러닝 기술 중 가장 성공적이고 널리 사용되는 애플리케이션 중 하나입니다. 추천 시스템을 사용하면 사용자가 대규모 작업물에서 적절한 콘텐츠를 찾을 수 있습니다. 예를 들어 Google Play 스토어는 수백만 개의 앱을 제공하고 YouTube는 수십억 개의 동영상을 제공하고 있으며 매일 더 많은 앱과 동영상이 추가되고 있습니다. 사용자가 흥미로운 새 콘텐츠를 찾기 위해 검색을 사용할 수 있지만 추천 엔진에서 사용자가 스스로 검색할 생각을 못한 콘텐츠를 표시해줄 수 있습니다. 자세한 내용은 추천 시스템 개요를 참조하세요.

추천자 시스템의 머신러닝 알고리즘은 일반적으로 콘텐츠 기반 필터링 및 협업 필터링 방법과 같은 두 가지 카테고리로 분류됩니다.

유형	정의	예
콘텐츠 기반 필터링	항목 간 유사성을 사용하여 사용자가 좋아하는 항목과 유사한 항목을 추천합니다.	사용자 A가 귀여운 고양이 동영상 2개를 보면 시스템에서 귀여운 동물 동영상을 해당 사용자에게 추천할 수 있습니다.
협업 필터링	쿼리와 항목의 동시 유사성을 사용하여 추천을 제공합니다.	사용자 A가 사용자 B와 유사하고 사용자 B가 동영상 1을 좋아하면 (사용자 A가 동영상 1과 유사한 동영상을 보지 않았더라도) 시스템에서 사용자 1에게 동영상 1을 추천할 수 있습니다.

행렬 분해 모델은 추천 시스템의 협업 필터링 방법으로 널리 사용됩니다. BigQuery ML은 추천 목적으로 행렬 분해 사용에 도움이 되도록 ML.RECOMMEND 함수를 지원합니다. 행렬 분해를 추천에 적용하는 방법에 대한 자세한 내용은 행렬 분해를 참조하세요.

최신 추천 엔진에서는 와이드 앤 딥 모델을 포함한 심층신경망(DNN) 모델이 널리 사용됩니다. 이는 행렬 분해 기반 협업 필터링의 확장으로 볼 수 있습니다. 쿼리 특성과 항목 특성을 통합하여 추천의 관련성을 높일 수 있습니다. 자세한 배경 정보는 심층신경망 모델을 사용한 추천, YouTube 추천을 위한 심층신경망 또는추천자 시스템을 위한 와이드 앤 딥 러닝을 참조하세요. 추천 태스크에 모든 지도 학습 모델을 사용할 수 있다는 점도 알아두면 좋은 정보입니다.

이상 감지

이상 감지는 데이터 세트의 정상적인 동작에서 벗어나는 데이터 포인트, 이벤트, 관찰을 식별하는 데이터 마이닝 단계입니다. 이상 데이터는 기술 문제와 같은 중대한 이슈 또는 소비자 행동 변화와 같은 기회를 나타낼 수 있습니다.

이상 감지에 관한 과제 중 하나는 이상치를 식별하고 정의하는 것입니다. 알려진 이상치로 라벨이 지정된 데이터를 사용하면 BigQuery ML에서 이미 지원되는 지도 머신러닝 모델 유형 중에서 선택할 수 있습니다. 알려진 이상치 유형 또는 라벨이 지정된 데이터가 없어도 비지도 머신러닝을 사용하면 이상치를 감지하는 데 도움이 될 수 있습니다. 학습 데이터가 시계열인지 여부에 따라 다음 모델에서 ML.DETECT_ANOMALIES 함수를 사용하여 학습 데이터 또는 새 입력 데이터의 이상치를 감지할 수 있습니다.

데이터 유형	모델 유형	ML.DETECT_ANOMALIES의 역할
시계열	ARIMA_PLUS	시계열에서 이상치를 감지합니다.
	ARIMA_PLUS_XREG	외부 회귀를 사용해서 시계열에서 이상치를 감지합니다.
독립적이고 동일하게 분포된 무작위 변수(IID)	k-평균	입력 데이터에서 각 클러스터 중심까지의 정규화된 거리 중에서 최단 거리를 기반으로 이상치를 감지합니다. 정규화된 거리의 정의는 ML.DETECT_ANOMALIES를 참조하세요.
	Autoencoder	평균 제곱 오차의 측면에서 재구성 손실을 기준으로 이상치를 감지합니다. 자세한 내용은 ML.RECONSTRUCTION_LOSS을 참조하세요. ML.RECONSTRUCTION_LOSS는 모든 유형의 재구성 손실을 검색할 수 있습니다.
	PCA	평균 제곱 오차의 측면에서 재구성 손실을 기준으로 이상치를 감지합니다.

온라인 예측

BigQuery ML의 기본 제공 추론 기능은 배치 예측과 같은 대규모 사용 사례에 최적화되어 있습니다. BigQuery ML은 소량 입력 데이터를 처리할 때 추론 결과를 제공하기까지 지연 시간이 짧지만, Vertex AI와 원활하게 통합하면 온라인 예측을 더 빠르게 수행할 수 있습니다.

Vertex AI 환경 내에서 BigQuery ML 모델을 관리할 수 있습니다. 이렇게 하면 Vertex AI 엔드포인트로 모델을 배포하기 전에 BigQuery ML에서 모델을 내보낼 필요가 없습니다. Vertex AI 내에서 모델을 관리하면 모든 Vertex AI MLOps 기능과 Vertex AI Feature Store와 같은 기능에 액세스할 수 있습니다.

또한 다른 모델 호스팅 플랫폼에서 사용할 수 있도록 Cloud Storage로 BigQuery ML 모델을 내보낼 수 있는 유연성이 생깁니다.

다음 단계

• 대용량 언어 모델(LLM) 및 Cloud AI API를 사용하여 텍스트를 생성하고 다른 AI 태스크를 수행하는 방법에 대한 자세한 내용은 AI 애플리케이션 개요를 참조하세요.
• 각 추론 유형에 대해 지원되는 모델 유형 및 SQL 함수에 대한 자세한 내용은 각 모델의 엔드 투 엔드 사용자 경험을 참조하세요.