BigQuery ML은 비지도 학습을 지원합니다. k-평균 알고리즘을 적용하여 데이터를 클러스터로 그룹화할 수 있습니다. 지도 머신러닝의 핵심이 예측 분석이라면 비지도 학습의 핵심은 설명적 분석입니다. 비지도 학습은 데이터를 기반으로 의사 결정을 내릴 수 있도록 데이터를 이해하는 데 목표를 둡니다.
이 튜토리얼에서는 BigQuery ML의 k-평균 모델을 사용하여 런던 자전거 공유 공개 데이터 세트의 데이터 클러스터를 구축합니다. 런던 자전거 공유 데이터에는 2011년부터 현재까지 런던 Santander Cycles 공유 제도의 대여 횟수가 포함되어 있습니다. 데이터에는 시작 및 중지 타임스탬프, 정거장 이름, 자전거 이용 시간이 포함됩니다.
이 튜토리얼의 쿼리에서는 지리정보 분석에서 사용할 수 있는 지리 함수를 사용합니다. 지리정보 분석에 대한 자세한 내용은 지리정보 분석 소개를 참조하세요.
목표
이 튜토리얼의 목표는 다음과 같습니다.- k-평균 클러스터링 모델을 만듭니다.
- BigQuery ML의 클러스터 시각화를 기반으로 데이터에 근거한 의사 결정을 내립니다.
비용
이 튜토리얼에서는 다음을 포함하여 Google Cloud의 청구 가능한 구성요소가 사용됩니다.
- BigQuery
- BigQuery ML
BigQuery 비용에 대한 자세한 내용은 BigQuery 가격 책정 페이지를 참조하세요.
BigQuery ML 비용에 대한 자세한 내용은 BigQuery ML 가격 책정을 참조하세요.
시작하기 전에
- Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
- BigQuery는 새 프로젝트에서 자동으로 사용 설정됩니다.
기존 프로젝트에서 BigQuery를 활성화하려면 다음으로 이동합니다.
Enable the BigQuery API.
소개
데이터에는 자연적인 데이터 그룹 또는 클러스터가 포함될 수 있으며 데이터 기반 의사 결정을 위해서 이러한 그룹을 설명적으로 식별할 수 있습니다. 예를 들어 소매업체의 경우 구매 습관 또는 위치가 비슷한 자연스러운 고객 그룹을 식별해야 할 수 있습니다. 이 프로세스를 고객 세분화라고 합니다.
고객 세분화에 사용되는 데이터에는 고객이 방문한 매장, 구매한 상품, 결제한 금액 등이 포함될 수 있습니다. 모델을 만들어서 이러한 고객 캐릭터 그룹의 특성을 파악하고 이 그룹 구성원의 관심을 끌 만한 상품을 고안할 수 있습니다.
또한 이들이 구매한 상품 중에서 제품 그룹을 찾을 수도 있습니다. 이 경우 누가, 언제, 어디서 구매했는지 등의 기타 비슷한 특성을 기준으로 상품을 클러스터링할 수 있습니다. 제품 그룹의 특징을 파악하는 모델을 만들어 크로스셀(cross-sell)을 개선할 방법과 같은 정보에 기반한 의사 결정을 내릴 수 있습니다.
이 튜토리얼에서는 BigQuery ML을 사용하여 자전거 정거장 속성을 기반으로 런던 자전거 공유 데이터를 클러스터링하는 k-평균 모델을 만듭니다.
k-평균 모델을 만드는 과정은 다음과 같은 단계로 구성됩니다.
- 1단계: 모델을 저장할 데이터 세트를 만듭니다.
- 1단계에서는 모델을 저장하는 데이터 세트를 만듭니다.
- 2단계: 학습 데이터를 검사합니다.
- 다음 단계는
london_bicycles
테이블을 대상으로 쿼리를 실행하여 클러스터링 모델을 학습시키는 데 사용하는 데이터를 검사하는 것입니다. k-평균은 비지도 학습 기법이므로 모델 학습에는 라벨이 필요 없으며 데이터를 학습 데이터와 평가 데이터로 분할할 필요도 없습니다.
- 3단계: k-평균 모델을 만듭니다.
- 3단계에서는 k-평균 모델을 만듭니다. 모델을 만들 때 클러스터링 필드는
station_name
이고 정거장 속성(예: 도심에서 정거장까지의 거리)을 기준으로 데이터를 클러스터링합니다.
- 4단계:
ML.PREDICT
함수를 사용하여 정거장의 클러스터를 예측합니다. - 그런 다음
ML.PREDICT
함수를 사용하여 주어진 정거장 집합의 클러스터를 예측합니다.Kennington
문자열이 포함된 모든 정거장 이름의 클러스터를 예측합니다.
- 4단계:
- 5단계: 모델을 사용하여 데이터에 근거한 의사 결정을 내립니다.
- 마지막 단계는 모델을 사용하여 데이터에 근거한 의사 결정을 내리는 것입니다. 예를 들어 모델 결과에 따라 자전거 수용량 추가로 혜택을 볼 정거장을 파악할 수 있습니다.
1단계: 데이터 세트 만들기
ML 모델을 저장할 BigQuery 데이터 세트를 만듭니다.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트 이름을 클릭합니다.
작업 보기 > 데이터 세트 만들기를 클릭합니다.
데이터 세트 만들기 페이지에서 다음을 수행합니다.
데이터 세트 ID에
bqml_tutorial
를 입력합니다.위치 유형으로 멀티 리전을 선택한 후 EU(유럽 연합의 여러 리전)를 선택합니다.
런던 자전거 공유 공개 데이터 세트는
EU
멀티 리전에 저장됩니다. 데이터 세트도 같은 위치에 있어야 합니다.나머지 기본 설정은 그대로 두고 데이터 세트 만들기를 클릭합니다.
2단계: 학습 데이터 검사
다음으로, k-평균 모델을 학습시키는 데 사용되는 데이터를 검사합니다. 이 튜토리얼에서는 다음 속성에 따라 자전거 정거장을 클러스터링합니다.
- 대여 기간
- 일일 운행 횟수
- 도심에서의 거리
SQL
다음 GoogleSQL 쿼리는 k-평균 모델을 학습시키는 데 사용되는 데이터를 검사하는 데 사용됩니다.
#standardSQL WITH hs AS ( SELECT h.start_station_name AS station_name, IF (EXTRACT(DAYOFWEEK FROM h.start_date) = 1 OR EXTRACT(DAYOFWEEK FROM h.start_date) = 7, "weekend", "weekday") AS isweekday, h.duration, ST_DISTANCE(ST_GEOGPOINT(s.longitude, s.latitude), ST_GEOGPOINT(-0.1, 51.5))/1000 AS distance_from_city_center FROM `bigquery-public-data.london_bicycles.cycle_hire` AS h JOIN `bigquery-public-data.london_bicycles.cycle_stations` AS s ON h.start_station_id = s.id WHERE h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP) AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ), stationstats AS ( SELECT station_name, isweekday, AVG(duration) AS duration, COUNT(duration) AS num_trips, MAX(distance_from_city_center) AS distance_from_city_center FROM hs GROUP BY station_name, isweekday ) SELECT * FROM stationstats ORDER BY distance_from_city_center ASC
쿼리 세부정보
이 쿼리는 start_station_name
및 duration
을 포함한 자전거 대여에 대한 데이터를 추출하고 distance-from-city-center
를 포함한 정거장 정보를 기준으로 조인합니다. 그런 다음 평균 운행 시간과 운행 횟수를 포함하여 stationstats
의 정거장 속성을 계산하고 정거장 속성 distance_from_city_center
를 전달합니다.
이 쿼리는 WITH
절을 사용하여 서브 쿼리를 정의합니다. 이 쿼리는 ST_DISTANCE
및 ST_GEOGPOINT
지리정보 분석 함수도 사용합니다. 이러한 함수에 대한 자세한 내용은 지리 함수를 참조하세요. 지리정보 분석에 대한 자세한 내용은 지리정보 분석 소개를 참조하세요.
쿼리 실행
다음 쿼리는 학습 데이터를 컴파일하며 이 튜토리얼의 뒷부분에서 CREATE MODEL
문에서도 사용됩니다.
쿼리를 실행하려면 다음 안내를 따르세요.
- BigQuery 페이지로 이동합니다.
편집자 창에서 다음 SQL 문을 실행합니다.
WITH hs AS ( SELECT h.start_station_name AS station_name, IF (EXTRACT(DAYOFWEEK FROM h.start_date) = 1 OR EXTRACT(DAYOFWEEK FROM h.start_date) = 7, "weekend", "weekday") AS isweekday, h.duration, ST_DISTANCE(ST_GEOGPOINT(s.longitude, s.latitude), ST_GEOGPOINT(-0.1, 51.5))/1000 AS distance_from_city_center FROM `bigquery-public-data.london_bicycles.cycle_hire` AS h JOIN `bigquery-public-data.london_bicycles.cycle_stations` AS s ON h.start_station_id = s.id WHERE h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP) AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ), stationstats AS ( SELECT station_name, isweekday, AVG(duration) AS duration, COUNT(duration) AS num_trips, MAX(distance_from_city_center) AS distance_from_city_center FROM hs GROUP BY station_name, isweekday ) SELECT * FROM stationstats ORDER BY distance_from_city_center ASC
쿼리가 완료되면 쿼리 텍스트 영역 아래의 결과 탭을 클릭합니다. 결과 탭에는 모델 학습에 사용된 쿼리한 열
station_name
,duration
,num_trips
,distance_from_city_center
가 표시됩니다. 결과는 다음과 같이 표시됩니다.
BigQuery DataFrames
이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
3단계: k-평균 모델 만들기
학습 데이터를 검사했으므로 다음 단계는 데이터를 사용하여 k-평균 모델을 만드는 것입니다.
SQL
CREATE MODEL
문을 model_type=kmeans
옵션과 함께 사용하여 k-평균 모델을 만들고 학습시킬 수 있습니다.
쿼리 세부정보
CREATE MODEL
문은 사용할 클러스터 수(4개)를 지정합니다. station_name
은 특성이 아니므로 SELECT
문에서 EXCEPT
절은 station_name
열을 제외합니다. 쿼리는 station_name별로 고유한 행을 만들며, 특성만 SELECT
문에 언급됩니다.
num_clusters
옵션을 생략하면 BigQuery ML에서 학습 데이터의 총 행 수를 기준으로 적절한 기본값을 선택합니다. 초매개변수 미세 조정을 수행하여 적절한 수를 찾을 수도 있습니다. 최적의 클러스터 수를 파악하려면 다양한 num_clusters
값에 CREATE MODEL
쿼리를 실행하고 오류 측정을 찾은 후 오류 측정이 최솟값인 포인트를 선택합니다. 모델을 선택하고 평가 탭을 클릭하면 오류 측정을 구할 수 있습니다. 이 탭에 데이비스-볼딘 색인이 표시됩니다.
쿼리 실행
다음 쿼리는 학습 데이터를 검사하기 위해 사용한 쿼리에 CREATE MODEL
문을 추가하고 데이터에서 id
필드를 삭제합니다.
쿼리를 실행하고 k-평균 모델을 만들려면 다음 안내를 따르세요.
- BigQuery 페이지로 이동합니다.
편집자 창에서 다음 SQL 문을 실행합니다.
CREATE OR REPLACE MODEL `bqml_tutorial.london_station_clusters` OPTIONS(model_type='kmeans', num_clusters=4) AS WITH hs AS ( SELECT h.start_station_name AS station_name, IF (EXTRACT(DAYOFWEEK FROM h.start_date) = 1 OR EXTRACT(DAYOFWEEK FROM h.start_date) = 7, "weekend", "weekday") AS isweekday, h.duration, ST_DISTANCE(ST_GEOGPOINT(s.longitude, s.latitude), ST_GEOGPOINT(-0.1, 51.5))/1000 AS distance_from_city_center FROM `bigquery-public-data.london_bicycles.cycle_hire` AS h JOIN `bigquery-public-data.london_bicycles.cycle_stations` AS s ON h.start_station_id = s.id WHERE h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP) AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ), stationstats AS ( SELECT station_name, isweekday, AVG(duration) AS duration, COUNT(duration) AS num_trips, MAX(distance_from_city_center) AS distance_from_city_center FROM hs GROUP BY station_name, isweekday) SELECT * EXCEPT(station_name, isweekday) FROM stationstats
탐색 패널의 리소스 섹션에서 프로젝트 이름을 확장하고 bqml_tutorial을 클릭한 다음 london_station_clusters를 클릭합니다.
스키마 탭을 클릭합니다. 모델 스키마는 BigQuery ML이 클러스터링을 수행하는 데 사용한 4개의 정거장 속성을 나열합니다. 스키마는 다음과 같이 나타납니다.
- 평가 탭을 클릭합니다. 이 탭에는 k-평균 모델로 식별된 클러스터가 시각화되어 표시됩니다. 숫자 특성에서 막대 그래프는 각 중심에 가장 중요한 숫자 특성 값을 최대 10개까지 표시합니다. 드롭다운 메뉴에서 시각화할 특성을 선택할 수 있습니다.
BigQuery DataFrames
이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
4단계: ML.PREDICT
함수를 사용하여 정거장의 클러스터 예측
특정 정거장이 속한 클러스터를 식별하려면 ML.PREDICT
SQL 함수 또는 predict
BigQuery DataFrame 함수를 사용합니다.
SQL
쿼리 세부정보
이 쿼리는 REGEXP_CONTAINS
함수를 사용하여 station_name
열에서 'Kennington' 문자열이 포함된 모든 항목을 찾습니다. ML.PREDICT
함수는 이 값을 사용하여 어느 클러스터에 이러한 정거장이 포함되어 있는지 예측합니다.
쿼리 실행
다음 쿼리는 이름에 'Kennington' 문자열이 포함된 모든 정거장의 클러스터를 예측합니다.
ML.PREDICT
쿼리를 실행하려면 다음 안내를 따르세요.
- BigQuery 페이지로 이동합니다.
편집자 창에서 다음 SQL 문을 실행합니다.
WITH hs AS ( SELECT h.start_station_name AS station_name, IF (EXTRACT(DAYOFWEEK FROM h.start_date) = 1 OR EXTRACT(DAYOFWEEK FROM h.start_date) = 7, "weekend", "weekday") AS isweekday, h.duration, ST_DISTANCE(ST_GEOGPOINT(s.longitude, s.latitude), ST_GEOGPOINT(-0.1, 51.5))/1000 AS distance_from_city_center FROM `bigquery-public-data.london_bicycles.cycle_hire` AS h JOIN `bigquery-public-data.london_bicycles.cycle_stations` AS s ON h.start_station_id = s.id WHERE h.start_date BETWEEN CAST('2015-01-01 00:00:00' AS TIMESTAMP) AND CAST('2016-01-01 00:00:00' AS TIMESTAMP) ), stationstats AS ( SELECT station_name, isweekday, AVG(duration) AS duration, COUNT(duration) AS num_trips, MAX(distance_from_city_center) AS distance_from_city_center FROM hs GROUP BY station_name, isweekday ) SELECT * EXCEPT(nearest_centroids_distance) FROM ML.PREDICT( MODEL `bqml_tutorial.london_station_clusters`, ( SELECT * FROM stationstats WHERE REGEXP_CONTAINS(station_name, 'Kennington')))
쿼리가 완료되면 쿼리 텍스트 영역 아래의 결과 탭을 클릭합니다. 결과는 다음과 같이 표시됩니다.
BigQuery DataFrames
이 샘플을 사용해 보기 전에 BigQuery DataFrames를 사용하여 BigQuery 빠른 시작의 BigQuery DataFrames 설정 안내를 따르세요. 자세한 내용은 BigQuery DataFrames 참고 문서를 확인하세요.
BigQuery에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.
5단계: 모델을 사용하여 데이터에 근거한 의사 결정 내리기
평가 결과는 여러 클러스터를 해석하는 데 유용할 수 있습니다. 다음 예시에서 중심 3은 도심에 가까운 혼잡한 도시 정거장을 보여줍니다. 중심 2는 덜 혼잡하고 장기 대여용으로 사용되는 두 번째 도시 정거장을 보여줍니다. 중심 1은 대여 기간이 더 짧고 덜 혼잡한 도시 정거장을 보여줍니다. 중심 4는 운행 거리가 더 긴 교외 정거장을 보여줍니다.
이러한 결과를 바탕으로 데이터를 사용하여 정보에 근거한 의사 결정을 내릴 수 있습니다. 예를 들면 다음과 같습니다.
새로운 유형의 자물쇠를 실험해야 하는 경우를 가정해 보겠습니다. 이 실험 대상으로 어느 정거장 클러스터를 선택해야 할까요? 중심 1, 중심 2, 중심 4의 정거장은 사용량이 높은 정거장이 아니므로 논리적인 대안으로 보입니다.
일부 정거장에 경주용 자전거를 비치하려는 경우를 가정해 보겠습니다. 어느 정거장을 선택해야 할까요? 중심 4는 도심에서 멀리 떨어져 있어 운행 거리가 가장 긴 정거장 그룹입니다. 경주용 자전거를 위한 후보지로 적합할 수 있습니다.
삭제
이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.
- 만든 프로젝트를 삭제할 수 있습니다.
- 또는 프로젝트를 유지하고 데이터 세트를 삭제할 수 있습니다.
데이터 세트 삭제
프로젝트를 삭제하면 프로젝트의 데이터 세트와 테이블이 모두 삭제됩니다. 프로젝트를 다시 사용하려면 이 튜토리얼에서 만든 데이터 세트를 삭제할 수 있습니다.
필요한 경우 Google Cloud 콘솔에서 BigQuery 페이지를 엽니다.
앞서 만든 bqml_tutorial 데이터 세트를 탐색에서 선택합니다.
창의 오른쪽에 있는 데이터 세트 삭제를 클릭합니다. 이렇게 하면 데이터 세트와 모델이 삭제됩니다.
데이터 세트 삭제 대화상자에서 데이터 세트 이름(
bqml_tutorial
)을 입력하고 삭제를 클릭하여 삭제 명령어를 확인합니다.
프로젝트 삭제
프로젝트를 삭제하는 방법은 다음과 같습니다.
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
다음 단계
- BigQuery ML 개요는 BigQuery ML 소개를 참조하세요.
- 모델 만들기에 대한 자세한 내용은
CREATE MODEL
구문 페이지를 참조하세요.