AI.AGG로 BigQuery의 수백만 행 데이터를 시맨틱 집계하는 방법
Pramod Niralakeri
Strategic Cloud Engineer
Shruti Malgatti
Cloud Migration Consultant, Data
*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.
BigQuery는 10년 넘게 구조화된 데이터 집계, 재무 합계 산출, 활성 사용자 수 집계, 페타바이트 규모의 과거 평균 계산 등을 단 몇 초 만에 수행하며 표준을 세우는 데 기여해 왔습니다. 하지만 현대 기업이 애플리케이션 로그, 고객 서비스 스크립트, 제품 이미지, 진단 보고서와 같은 비정형 데이터로 넘쳐나면서 심각한 격차가 발생했습니다.
그동안 관계형 SQL 엔진은 수백만 행의 텍스트와 멀티모달 데이터에서 전반적인 시맨틱 테마를 집계, 합성, 추출하는 기본 기능이 부족했습니다. BigQuery는 최근 강력한 행 수준 AI 함수(예: AI.GENERATE 및 AI.CLASSIFY)를 도입했지만, 대규모 데이터 세트를 전체적으로 분석하는 데는 대규모 언어 모델(LLM)의 컨텍스트 윈도우라는 고유한 아키텍처 과제가 따릅니다.
Gemini와 같은 고급 파운데이션 모델을 사용하더라도, 심각한 텍스트 잘림이나 치명적인 실행 실패 없이 수백만 개의 행을 단일 프롬프트에 전달할 수는 없습니다. 기존에는 이 문제를 해결하기 위해 데이터 엔지니어링팀이 복잡한 외부 맵리듀스 파이프라인을 구성하고, 비율 제한 백오프를 관리하고, 청크로 분할된 요약을 재귀적으로 결합해야 했습니다.
오늘 Google Cloud는 현재 프리뷰로 제공되는 AI.AGG를 심층 분석하게 되어 기쁩니다. AI.AGG는 BigQuery GoogleSQL에 기본적으로 임베딩된 완전 관리형 다단계 시맨틱 집계 함수입니다. AI.AGG는 시맨틱 집계를 분산된 맵리듀스 문제로 개념화하여 데이터 팀이 단일 SQL 쿼리를 사용해 수백만 행의 데이터에 대해 자연어 요청 사항을 실행할 수 있도록 지원합니다.
이 기술의 작동 방식, 혁신적인 엔터프라이즈 사용 사례, 프로덕션 배포를 위한 권장사항을 자세히 살펴보세요.


BigQuery에서 기본적으로 페타바이트 규모의 데이터를 시맨틱 인사이트로 전환합니다.
다단계 일괄 처리 아키텍처
AI.AGG는 청킹과 병렬 실행에 수반되는 방대한 엔지니어링 복잡성을 추상화합니다. AI.AGG 쿼리를 실행할 때 BigQuery 엔진은 데이터베이스 내에서 기본적으로 시퀀스를 자동으로 조정합니다.
-
행 수준 검증: 엔진은 단일 행이 최대 컨텍스트 윈도우를 초과하지 않는지 확인하는 데 도움이 됩니다(10MiB를 초과하는 페이로드에 대해 오류를 삭제하거나 반환).
-
컨텍스트 안전 일괄 처리: 엔진은 입력 행을 사용자가 선택한 Gemini 엔드포인트의 토큰 한도 내에 안전하게 들어맞도록 더 작은 배치 단위로 동적으로 그룹화합니다.
-
병렬 추론: 자연어 SQL 프롬프트가 각 배치에 병렬로 적용되어 Vertex AI를 통해 중간 시맨틱 요약을 생성합니다.
-
재귀적 합성: 마지막으로 시스템은 이러한 중간 출력을 함께 일괄 처리하고 정확히 동일한 요청 사항과 함께 LLM에 다시 전달합니다. 이 축소는 SQL
GROUP BY절당 하나의 최종 집계 문자열이 생성될 때까지 재귀적으로 반복됩니다.
AI.AGG는 서로 다른 배치에서 개념을 종합하기 위해 심층적인 추론이 필요하므로 파이프라인의 모든 단계에서 전체 가중치 LLM에 전적으로 의존합니다. 이는 증류된 CPU 프록시 모델을 활용할 수 있는 AI.CLASSIFY와 같은 행 수준 함수와 구별됩니다.
멀티모달 엔터프라이즈를 위한 설계
AI.AGG는 텍스트 및 멀티모달 입력을 모두 기본적으로 지원합니다. 분석팀은 BigQuery 객체 테이블과 OBJ.GET_ACCESS_URL 함수를 활용하여 데이터 이동이나 트랜스코딩 없이 Cloud Storage에 직접 저장된 수천 개의 이미지에서 시각적 인사이트를 집계할 수 있습니다.
데이터 엔지니어링 전문가 팁: NULL 제외 규칙
사용자는 여러 열을 평가할 때 종종 STRUCT를 함수에 전달합니다. 그러나 복합 구조 내의 단일 필드라도 NULL로 평가되면 전체 행이 NULL로 처리되고 자동으로 삭제됩니다. 데이터가 파이프라인에 안전하게 입력되는지 확인하려면 항상 null 허용 필드를 IFNULL()로 명시적으로 래핑하세요(예: IFNULL(description, 'No data provided')).
혁신적인 엔터프라이즈 사용 사례
AI.AGG의 진정한 분석 능력은 표준 SQL GROUP BY 작업과 결합할 때 발휘됩니다.
1. 대용량 시스템 로그의 진단 분석
전 세계에 분산된 마이크로서비스에서 생성되는 시스템 로그에는 명시적인 치명적 오류를 일으키지는 않지만, 메모리 스래싱이나 시스템 클록 드리프트와 같이 파악하기 어려운 미묘한 성능 저하가 숨어 있는 경우가 있습니다. DevOps팀은 AI.AGG를 사용하여 수백만 개의 로그를 시스템 구성요소별로 그룹화하고 인간이 읽을 수 있는 타겟팅된 진단 요약을 생성할 수 있습니다.
-
프롬프트 작성 팁: 이상치를 찾기 전에 구성요소의 '정상 작동'을 명시적으로 설명하도록 모델에 지시합니다. 이렇게 하면 LLM이 정상적인 로그에서 오류를 일으키는 할루시네이션 현상을 억제하는 데 도움이 됩니다.
2. '에이전트형 데이터 클라우드' 빌드
AI.AGG는 단순한 분석 보고 도구가 아니라 동적 조정 엔진입니다. 명확한 분류 없이 대량의 기존 지원 티켓 저장소를 확보했다고 가정해 보겠습니다. AI.AGG를 배포하여 원시 텍스트를 읽고, 명확한 카테고리 목록을 합성하고, 이를 엄격한 형식의 JSON 배열로 출력할 수 있습니다.
JSON_VALUE_ARRAY를 통해 이 배열의 압축을 해제하고 이러한 동적 라벨을 AI.CLASSIFY와 같은 행 수준 분류기에 직접 피드하면 SQL에서 기본적으로 엔드 투 엔드 자율 데이터 라벨링 파이프라인을 조정할 수 있으므로 외부 Python 스크립트의 필요성이 줄어듭니다.
프롬프트 엔지니어링이 곧 데이터 엔지니어링
생성 모델을 고도로 결정론적인 SQL 파이프라인에 통합할 때 표준 대화형 프롬프트는 실패하는 경우가 많습니다. 프로그래매틱 SQL 출력을 위한 프롬프트 작성은 엄격한 엔지니어링이 요구되는 분야입니다.
-
명시적 출력 계약: 프롬프트를 API 계약으로 취급합니다. 다음과 같은 명령어를 추가합니다. "정확히 하나의 유효한 JSON 문자열 배열을 반환해 줘. 마크다운 코드 블록이나 대화형 텍스트는 포함하지 말 것."
-
컨텍스트 구분자: 명시적 라벨(예:
'- Description: ')을 포함한 문자열 연결을 사용하여 LLM의 기준점을 잡아 데이터가 밀집된 배치 내에서 필드 간 섞이지 않도록 합니다. -
실패 상태 설계: 모델이 누락된 정보를 추측하는 대신 엄격하게 null 값을 반환하도록 명시적으로 지시하여, 다운스트림에서 스키마 할루시네이션이 발생하는 것을 방지합니다.
-
퓨샷 예시 앵커링: 프롬프트 내에 예상되는 구조를 문자 그대로의 예시로 제공하여 모델의 어텐션 메커니즘이 해당 구조를 강력하게 그라운딩하도록 합니다.
거버넌스, 비용 관리, 가드레일
시맨틱 워크로드를 프로덕션으로 전환하려면 운영 감독이 필요합니다. 재귀적 일괄 처리 아키텍처로 인해 Gemini로 전송되는 총 토큰은 소스 데이터의 토큰 수보다 많습니다. 비용을 줄이려면 엄격한 WHERE 및 LIMIT 사전 필터링을 적용하세요.
대규모 정적 데이터 세트를 교차 참조하는 워크플로의 경우 BigQuery는 Gemini 컨텍스트 캐싱을 지원하여 입력 토큰 비용과 실행 지연 시간을 줄일 수 있습니다. AI.COUNT_TOKENS 유틸리티를 사용하여 실행 전에 쿼리 비용을 추정합니다.
관리자는 AI.AGG가 BigQuery의 거버넌스 프레임워크 내에서 엄격하게 작동하며 VPC 서비스 제어(VPC-SC)를 지원하여 데이터 무단 반출을 방지한다는 사실을 확인하며 운영할 수 있습니다. 또한 일괄 처리 중에 일시적인 오류가 발생하더라도, 함수가 단계적으로 성능을 저하시켜 전체 쿼리를 중단시키는 대신 거부된 행만 건너뜁니다.
프리뷰 가드레일 관련 유의 사항:
-
SQL 그룹당 최종 출력 문자열은 그룹당 10,000개 토큰으로 엄격하게 제한됩니다. 모델에 간결한 출력을 요청하세요.
-
개별 페이로드 행은 10MiB 이하여야 합니다.
-
멀티모달 배열을 처리할 때 자동으로 건너뛰는 것을 방지하려면 이미지 애셋을 행당 10개 미만으로 제한합니다.
최적의 안정성을 위해 쿼리당 최대 2,000만 개의 행을 처리하고 최대 1,000개의 고유한 SQL 그룹을 출력하는 것이 좋습니다.
AI.AGG의 실제 구현
먼저 시작하는 데 도움이 되도록 AI.AGG를 사용하여 기존 SQL 측정항목과 함께 인사이트를 종합하는 방법의 예시를 살펴보겠습니다.
거시적 수준의 주제 탐색
특정 인기 저자가 말하는 내용을 요약하여 수천 개의 댓글을 간결한 내러티브로 변환합니다.


DevOps를 위한 자율 진단 보고(로그 분석)
표준 HTTP 오류 코드를 계산하는 대신 AI.AGG를 사용하여 수천 개의 원시 스택 트레이스와 로그 메시지를 읽고 마이크로서비스 이름별로 그룹화하여 시스템 장애의 정성적 근본 원인을 찾습니다.
데이터 웨어하우스의 새로운 시대
Google Cloud는 AI.AGG를 통해 페타바이트 규모의 시맨틱 분석에 대한 액세스를 범용화하고 있습니다. Google Cloud는 BigQuery 관계형 엔진의 결정론적 그룹화 기능과 Vertex AI Gemini의 거시적 추론 기능을 결합함으로써 엔터프라이즈 데이터 웨어하우스를 과거 측정항목을 다루는 수동적인 저장소에서 심층적이고 통합적인 인텔리전스를 구현할 수 있는 능동적인 시맨틱 런타임으로 전환하고 있습니다.
엔터프라이즈 데이터의 시맨틱 가치를 활용할 준비가 되셨나요? Google Cloud 콘솔로 이동하여 BigQuery 문서를 살펴보고 지금 바로 첫 번째 시맨틱 집계를 실행해 보세요.


