에이전트 지원 분석: BigQuery 증강 분석으로 인사이트 확보
Jenny Ortiz
Senior Software Engineer, Google
Haoming Chen
Staff Software Engineer, Google
*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.
이제 BigQuery에서는 대규모의 복잡한 데이터 분석을 자동화하도록 설계된 증강 분석 테이블 값 함수(TVF) 제품군을 제공합니다. 증강 분석은 AI, ML, 통계적 방법을 결합하여 인사이트 발견과 패턴 설명을 자동화합니다. 이러한 함수를 사용하면 측정항목이 변경된 이유를 진단하고, 데이터 전반의 기본 추세와 관계를 파악하며, 비즈니스 결정의 실제 영향을 분리하여 확인할 수 있습니다.
이러한 TVF는 데이터가 저장된 위치에서 직접 실행되므로 분석 속도를 높이고 데이터를 외부 도구로 내보낼 필요성이 줄어듭니다. 또한 이러한 함수는 간결하고 구조화된 SQL 출력을 생성하므로 AI 에이전트의 스킬로 쉽게 통합할 수 있으며, 이를 통해 자동화된 대화형 데이터 조사 워크플로를 간편하게 구현할 수 있습니다.
BigQuery에 새롭게 도입되는 6가지 증강 분석 함수는 각각 특정 분석 과제를 해결하도록 설계되었습니다.
다음 섹션에서 살펴보겠지만 이러한 함수는 쉽게 연결할 수 있습니다. 감지된 시간대와 같은 한 함수의 출력을 다음 분석 단계의 파라미터로 직접 사용할 수 있습니다.
인사이트를 연결하는 단계별 예시
측정항목에 변화가 발생하여 근본 원인을 진단하고 비즈니스 성과를 측정해야 하는 경우를 생각해 보겠습니다.
진단을 위해 오스틴 자전거 공유 샘플 데이터 세트(bigquery-public-data.austin_bikeshare.bikeshare_trips)를 사용하여 ML.DETECT_CHANGE_POINTS, AI.KEY_DRIVERS, AI.CAUSAL_EFFECT를 연결해볼 수 있습니다. 이 데이터 세트에는 오스틴시의 자전거 공유 프로그램에 대한 과거 이용량 및 인구통계 데이터가 포함되어 있습니다.
1단계: 변경점 감지
ML.DETECT_CHANGE_POINTS는 시계열 데이터에서 통계적으로 유의미한 구조적 변화 또는 수준 변화를 자동으로 식별합니다. 이 예시에서는 단일 집계 측정항목의 분석을 보여주지만, 이 함수는 확장성이 뛰어나 수백만 개의 개별 시계열에서 실행할 수 있습니다.
이러한 변화를 찾기 위해 일일 기준에 따라 다음 쿼리를 실행합니다.
출력에서는 과거 데이터에서 기준이 변경된 정확한 시간 간격을 파악할 수 있습니다.
원시 일일 세션 수를 살펴보면 이러한 결과가 시간 경과에 따른 변화와 일치하는 것을 확인할 수 있습니다. 아래에서는 기간이 가장 긴 두 개의 변경점을 강조해서 보여줍니다.
2018년 2월의 변화는 오스틴 시의회가 대중교통 생태계를 혁신하기 위해 공유 전동 킥보드와 자전거를 대중교통 체계에 통합하는 '도크리스 모빌리티 파일럿 프로그램(Dockless Mobility Pilot Program)'을 통과시킨 날짜와 일치합니다.
2단계: 주요 요인 기여도 분석
2018년 2월 슬라이스를 AI.KEY_DRIVERS에 직접 입력하여 급증을 유발한 특정 요인(예: bike_type, subscriber_type 등)을 확인할 수 있습니다. AI.KEY_DRIVERS는 수백만 행의 다차원 데이터를 몇 초 만에 탐색할 수 있습니다.
변화가 발생한 이후의 슬라이스를 관심 그룹으로 정의하고, 발생하기 이전의 슬라이스를 참조 그룹으로 정의하여 비교합니다.
AI.KEY_DRIVERS는 가장 큰 영향을 미치는 측정기준 값을 분리합니다. 각 행에는 세그먼트가 포함되며, 이는 특정 측정기준 값의 조합으로 식별되는 데이터 슬라이스를 나타냅니다(예: subscriber_type = 'UT Student' 및 bike_type = 'classic').
분석 결과, 참조 기간과 관심 기간 사이에 전체 이용 건수가 374.7%(40,159건) 증가한 것으로 나타났습니다. 이러한 큰 폭의 증가는 U.T. 학생 멤버십(7,167.1% 증가)과 21st & Speedway @PCL 정류장에서 끝나는 이용 건수(20,739.1% 증가)에 압도적으로 집중되었습니다.
이는 도크리스 모빌리티 파일럿 프로그램에 대한 오스틴 자전거 공유의 대응과 일치합니다. 2월 초, 이 자전거 공유 프로그램은 텍사스 대학교와 대규모 프로모션 파트너십을 시작하여 모든 UT 학생에게 연간 멤버십을 무료로 제공했습니다.
3단계: 인과 효과
급증의 원인과 시작 시점을 파악했으니, 이제 자연적으로 예상되는 증가분과 분리하여 실제 투자수익을 파악해야 합니다. AI.CAUSAL_EFFECT는 ARIMA_PLUS 반사실을 구성하여 프로그램이 출시되지 않았을 경우의 이용량을 측정할 수 있습니다.
예측된 일별 이용 건수와 실제 이용 건수를 그래프로 나타내면 반사실과 비교하여 이용량이 얼마나 급증했는지 확인할 수 있습니다.
output_time_series => FALSE를 설정하면 증가 효과의 요약 정보를 확인할 수 있습니다.
AI.CAUSAL_EFFECT에 따르면 이 프로그램으로 인해 이용량이 자연적인 기준 예측치보다 358% 높았으며, 이에 따라 약 89,775건의 추가 이용이 발생한 것으로 추정됩니다(인과 효과 확률 99.9%).
증강 분석을 대화형 분석에 연결
대화형 분석을 사용하면 자연어로 에이전트와 데이터에 관해 채팅할 수 있습니다. 이제 대화형 분석에서 새로운 BigQuery 증강 분석 함수를 모두 사용할 수 있습니다. 이러한 TVF는 BigQuery 규모의 복잡한 분석을 몇 초 만에 실행할 수 있으므로 대화형 분석은 주어진 프롬프트를 기반으로 여러 단계로 이루어진 조사 워크플로를 조정할 수 있습니다. 아래에서 두 가지 예시를 살펴보겠습니다.
예시 1: 시카고 택시 운행
다음은 시카고 택시 운행 데이터 세트(`bigquery-public-data.chicago_taxi_trips.taxi_trips`)를 사용하는 예시입니다.
프롬프트: 운전기사가 팁을 받는 것과 가장 상관관계가 높은 측정항목이 뭐야? 그리고 기여 분석을 실행하여 위치 및 결제 방식과 같은 범주형 측정기준 중 어떤 항목이 해당 측정항목에 과도한 영향을 미치는지 알려줘.
여기서는 ML.CORRELATION을 AI.KEY_DRIVERS와 함께 사용했습니다.
신용카드 결제는 이동 거리를 늘리는 주요 긍정적 요인으로, 장거리 이동 경로와 자동화된 디지털 팁 추적의 영향으로 165만 마일이 추가되었습니다. 오헤어 국제공항(커뮤니티 지역 76)에서 출발하는 운행 역시 주요 긍정적 요인으로, 팁을 지불한 신용카드 결제 운행에서 110만 마일을 추가로 기여했습니다. 반면 현금 거래는 상당한 부정적 요인(-652.960마일)으로 나타났습니다. 이는 현금이 장거리 공항 이동보다는 주로 단거리 이동에 사용된다는 점을 보여줍니다.
예시 2: 아이오와주 주류 데이터 세트
다음은 ML.TREND와 ML.SEASONALITY를 함께 사용하여 아이오와주 주류 데이터 세트(`bigquery-public-data.iowa_liquor_sales.sales`)를 분석하는 예시입니다.
프롬프트: 판매된 병 수의 과거 추세를 찾아 줘. 그런 다음 연간 계절성 패턴을 설명해 줘.
결과를 보면 아이오와주의 주류 판매량은 장기적으로 꾸준한 성장세를 보여 2012년 130만~150만 병에서 증가한 후 최근 몇 년 동안 약 260만 병으로 안정화되었습니다. 특히 10월부터 12월, 5월부터 6월에 판매량이 늘어나는 계절성을 보이며 1월과 2월에는 판매량이 감소합니다.
이러한 TVF의 스킬은 이제 Google Skills GitHub 저장소에서 사용할 수 있습니다. BQ AI/ML 스킬은 여기에서 확인할 수 있습니다.
다음 단계 수행
-
문서:
이 연구에 의견을 제공하고 기여해 주신 Katelin Amann, Shirley Fu, Chaoyi Shen, Haiyang Qi, Zheng Zhang, Xi Cheng을 비롯한 엔지니어링 팀원 여러분께 진심으로 감사의 말씀을 전합니다.
