BigQuery ML의 새로운 기능: 비선형 모델 유형 및 모델 내보내기

* 본 아티클의 원문은 2020년 11월 24일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud의 BigQuery 데이터 웨어하우스에 통합된 부분인 BigQuery ML은 2018년 선형 모델 학습 및 사용을 위한 SQL 인터페이스로 출시되었습니다. BigQuery에 대량의 데이터를 보유하고 있던 많은 고객이 BigQuery ML을 사용하기 시작하면서 저장된 데이터에 ML을 직접 적용하게 되어 데이터 ETL의 필요성이 사라졌습니다. 높은 설명 가능성 덕분에 많은 고객이 선형 모델을 유용하게 사용할 수 있었습니다.

하지만 많은 Kaggle 머신러닝 대회를 거치면서 XGBoost, AutoML Tables 등 일부 비선형 모델 유형이 구조화된 데이터에서 상당히 효과적이라는 사실이 밝혀졌습니다. SHAP 값을 기반으로 하는 Explainable AI의 최근 발전 또한 이러한 비선형 모델에서 예측이 생성된 이유를 고객이 잘 이해할 수 있도록 도왔습니다. 이미 Google Cloud AI Platform은 비선형 모델을 학습시킬 수 있는 기능을 제공하고 있으며 BigQuery에서도 이러한 기능을 사용할 수 있도록 Cloud AI Platform에 통합했습니다. XGBoost를 사용하는 부스티드 트리, AutoML Tables, TensorFlow를 사용하는 DNN과 같은 세 가지 새로운 유형의 회귀 및 분류 모델을 학습시키고 사용할 수 있는 기능이 추가되었습니다. BigQuery ML에서 학습된 모델은 온라인 예측을 위해 Cloud AI Platform 또는 고객의 자체 서빙 스택에 배포용으로 내보낼 수도 있습니다. 그뿐만 아니라 Google에서는 추천 시스템, 클러스터링, 시계열 예측을 포함하도록 사용 사례를 확장했습니다. 

XGBoost를 사용하는 부스티드 트리, TensorFlow를 사용하는 심층신경망(DNN), 온라인 예측을 위한 모델 내보내기의 정식 버전을 소개합니다. 아래에서 각 항목의 자세한 내용을 확인해 보세요.

XGBoost를 사용하는 부스티드 트리

XGBoost 라이브러리를 사용하여 부스티드 트리 모델을 학습시키고 사용할 수 있습니다. 트리 기반 모델은 특성의 비선형성을 잘 포착하며 XGBoost는 부스티드 트리 모델을 빌드하는 데 가장 많이 사용되는 라이브러리 중 하나입니다. 이러한 모델은 결정 트리 집합 검사를 통해 모델 이해가 가능하기 때문에 신경망처럼 복잡하고 모호하지 않으면서도 구조화된 데이터에서 매우 효과적으로 작동한다는 사실이 Kaggle 대회를 통해 드러났습니다. 이 모델은 어떤 문제에 대처하든 가장 처음으로 빌드해야 할 모델 중 하나입니다. 이 모델 유형을 사용하는 방법에 대해 알아보려면 관련 문서를 참조하세요.

TensorFlow를 사용하는 심층신경망

이 심층신경망은 완전 연결 신경망으로, TensorFlow의 DNNClassifier 및 DNNRegressor 유형입니다. DNN을 사용하면 히든 레이어가 여러 특성 상호작용과 변환을 캡처하므로 특성을 추출해야 할 필요성이 줄어듭니다. 하지만 초매개변수로 인해 성능에 큰 차이가 생기고 이를 이해하는 데 고급 데이터 과학 기술이 필요합니다. 숙련된 데이터 과학자인 경우에만 이 모델 유형을 사용하고 Google Vizier와 같은 초매개변수 조정 서비스를 활용하여 모델을 최적화하는 것이 좋습니다. 이 모델 유형을 사용하는 방법에 대해 알아보려면 관련 문서를 참조하세요.

온라인 예측을 위한 모델 내보내기

BigQuery ML에서 모델을 빌드하면 이 모델을 내보내 온라인 예측에 사용하거나 TensorFlow 또는 XGBoost 도구로 추가 수정 및 검사를 수행할 수 있습니다. 시계열 모델을 제외한 모든 모델을 내보낼 수 있습니다. 부스티드 트리를 제외한 모든 모델은 온라인 예측을 위해 배포할 수도 있고 TensorFlow 도구를 사용해 추가로 검사 또는 수정할 수도 있는 TensorFlow SavedModel로 내보내집니다. 부스티드 트리 모델은 온라인 배포와 추가 수정 또는 검사를 위해 Booster 형식으로 내보내집니다. 모델을 내보내는 방법과 내보낸 모델을 온라인 예측에 사용하는 방법을 알아보려면 관련 문서를 참조하세요.

Google은 다양한 업계에서 이러한 모델이 사용되는 일반적인 패턴(사용 사례)을 담은 메모장 모음을 마련하고 있습니다. 모든 가이드와 메모장을 확인해 보세요.