BigQuery의 새로운 소식: 에이전틱 시대를 가속화하다

에이전틱(Agentic) 시대에 성공하려면 데이터 전략의 대대적인 전환이 필요합니다. 즉, 인간 중심의 워크로드에서 에이전트 우선의 워크로드로, 수동적인 지능에서 능동적인 실행으로, 그리고 단순한 원시 데이터에서 에이전트가 정확하게 추론할 수 있는 시맨틱 지식으로 진화해야 합니다.

지난 10여 년간 BigQuery는 지속적인 혁신을 통해 수만 개의 조직이 확장 가능한 데이터 및 AI 기반을 구축하고 기술적 변곡점을 헤쳐 나갈 수 있도록 지원해 왔습니다. BigQuery는 이제 자율형 '데이터 투 AI(Data-to-AI)' 플랫폼으로 진화했습니다. Gemini를 통한 데이터 처리량은 30배 이상, 비정형 데이터를 처리하는 AI 함수는 25배, 그리고 모델 컨텍스트 프로토콜(MCP)을 활용한 에이전트 구축 도구는 20배나 성장했습니다.

Definity와 같은 고객들은 고객 경험을 개선하고 백오피스 운영 효율을 높이며, 데이터 팀의 생산성을 증대시키기 위해 데이터 플랫폼을 구축하고 있습니다.

"우리는 Google Cloud에 데이터 플랫폼을 구축하고 10개월 만에 모든 핵심 보험 데이터를 수집했습니다. 이는 업계 평균 소요 시간의 절반 수준입니다. 대량의 데이터를 매우 빠르게 처리하는 BigQuery의 기술은 실무자와 엔지니어들에게 고급 도구를 제공하며, AI와 ML이 내장된 플랫폼을 선사했습니다. 우리는 매우 짧은 기간 내에 사용자 수를 두 배로 늘렸습니다." — Tatjana Lalkovic, Definity CTO

오늘 우리는 업계 선도적인 가성비와 엔터프라이즈급 안정성을 바탕으로 레이크하우스, 내장형 AI 처리 및 추론, 그리고 에이전틱 경험 전반에 걸친 BigQuery의 새로운 기능들을 발표합니다.

개방형 멀티 클라우드 레이크하우스(Open, Cross-cloud Lakehouse)

기업의 데이터는 종종 여러 애플리케이션, 다양한 클라우드 환경 및 온프레미스에 흩어져 있습니다. 초기 레이크하우스 솔루션이 데이터 중복을 줄여주었다면, 에이전틱 시대에는 네이티브 멀티모달, 멀티 클라우드 및 AI 지원이 가능한 기반이 필요합니다. 우리의 접근 방식은 Apache Iceberg의 상호 운용성과 Google의 차별화된 인프라를 결합하여 다음과 같은 새로운 기능을 제공합니다.

• 레이크하우스 내 관리형 Iceberg 테이블 (정식 출시, 기존 BigLake): 자동 테이블 관리, Iceberg 파티셔닝, 멀티 테이블 트랜잭션, 변경 데이터 캡처(CDC), 강화된 벡터화 및 이력 기반 최적화를 포함한 고급 BigQuery 기능과 Iceberg의 개방성을 결합합니다.

• Iceberg REST 카탈로그 (프리뷰): BigQuery, Spark, 기타 오픈 소스 및 서드파티 엔진 간의 Iceberg 테이블 읽기/쓰기 상호 운용성을 지원하므로, 복잡하게 엔진 간의 장단점을 타협할 필요가 없습니다.

• 멀티 클라우드 레이크하우스 (프리뷰): AWS와 Azure를 시작으로 BigQuery AI 및 분석 기능을 다른 클라우드로 확장합니다. Iceberg REST 카탈로그와 같은 개방형 표준, Cross-Cloud Interconnect를 통한 고대역폭 네트워크, 투명한 캐싱 기술을 사용하여 네이티브 웨어하우스와 대등한 성능 및 TCO를 구현하며 기업을 위한 진정한 멀티 클라우드 환경을 제공합니다.

• 카탈로그 제휴 (프리뷰): AWS Glue, Databricks, SAP, Salesforce, Snowflake 및 Confluent Tableflow(올해 말 출시 예정) 전반에서 데이터를 쉽게 검색, 분석하고 제로 카피(Zero-copy) 방식으로 공유할 수 있습니다.

• 실시간 데이터 복제: Spanner, AlloyDB 및 Cloud SQL의 데이터를 BigQuery 테이블(정식 출시) 및 Iceberg(프리뷰)로 즉시 복제할 수 있도록 하여, 원시 데이터와 운영 실행 사이의 간극을 메워줍니다.

최신 레이크하우스 혁신 기술에 대한 자세한 내용은 이 블로그를 참조하세요.

엔터프라이즈 에이전트를 위한 그래프 기반 추론

AI가 진정으로 복잡하고 여러 단계(multi-hop)를 거치는 운영상의 문제를 해결하려면, 비즈니스 로직이 데이터 플랫폼 계층까지 깊숙이 확장되어야 합니다. 이 계층에서 로직을 정의하면 데이터 수집부터 소비까지 모든 정의가 일관되게 유지되고 거버넌스 하에 관리될 수 있습니다. BigQuery Graph (프리뷰)는 이러한 맥락을 활성화하는 토대를 제공하여, 데이터 실무자가 데이터 플랫폼 내에서 엔터티(객체), 관계 및 비즈니스 로직을 직접 매핑할 수 있게 합니다. 이를 통해 AI 에이전트는 거버넌스가 확보된 현실 데이터에 기반을 두고, 일관된 정확도로 복잡한 과제를 대규모로 해결할 수 있습니다.

오늘 우리는 AI 추론 능력을 강화하기 위한 새로운 그래프 기능을 발표합니다.

• BigQuery Graph 내 메저(Measures) 네이티브 지원 (프리뷰): 분석 지표와 관계를 거버넌스가 적용된 단일 엔터티로 통합할 수 있습니다. 이는 데이터를 멀티 홉 구조 추론을 위한 '비즈니스 지도'로 변환하여, 에이전트가 단순한 검색을 넘어 비즈니스 이벤트의 파급 효과를 추적할 수 있도록 돕습니다.

• BigQuery 대화형 분석(Conversational Analytics)의 그래프 지원 (프리뷰): 대화형 분석 에이전트가 가공되지 않은 테이블 대신 확정적인 '비즈니스 지도'를 탐색하게 함으로써 더 높은 정확도로 답변을 제공합니다. 그래프는 이중 추론을 가능하게 합니다. 즉, 에이전트는 메저를 사용하여 정확한 KPI를 즉시 계산하는 동시에, 복잡한 관계를 탐색하여 수치 뒤에 숨겨진 '이유'를 찾아낼 수 있습니다.

• BigQuery Graph와 Looker 통합 (프리뷰): 그래프를 Looker 뷰로 노출함으로써 BigQuery에서 정의한 메저를 전체 데이터 스택에서 재사용할 수 있습니다. 또한 소스 제어 및 검증 기능이 포함된 Looker를 사용하여 BigQuery Graph를 정의할 수도 있습니다. 이러한 상호 운용성은 '이탈률(Churn Rate)'과 같은 지표가 대시보드와 AI 에이전트 모두에서 동일하게 유지되도록 보장합니다.

• BigQuery Studio의 시각적 모델링 경험 (프리뷰): 에이전틱 컨텍스트(Agentic context)의 동력이 되는 엔터티, 관계 및 비즈니스 로직을 쉽게 구축하고 관리할 수 있는 직관적인 인터페이스를 제공합니다.

구조화 및 비정형 데이터의 가치를 깨우는 네이티브 AI 처리

데이터는 더 이상 행과 열에만 갇혀 있지 않습니다. 에이전트에게는 데이터 복사나 이동 없이도 정형 데이터와 비정형 데이터를 대규모로 처리할 수 있는 플랫폼이 필요합니다. BigQuery AI는 170개 이상의 파운데이션 모델에 대한 내장 액세스를 제공하여 예측 머신러닝 작업(예측, 이상 탐지, 추천 등)과 생성형 AI 작업(이미지 및 텍스트에서의 엔터티 추출, 콘텐츠 생성, 데이터 강화 등)을 쉽게 수행할 수 있게 해줍니다. BigQuery AI의 새로운 기능은 다음과 같습니다.

• AI.PARSE_DOCUMENT (프리뷰): 단일 SQL 함수로 광학 문자 인식(OCR), 레이아웃 분석, 청킹(Chunking)을 자동화하여 복잡한 문서 처리 워크플로를 단순화합니다.

• TabularFM 모델 (프리뷰): 광범위한 피처 선택, 튜닝, 학습 또는 모델 관리 없이도 고품질의 회귀 및 분류 기능을 BigQuery에 제공합니다.

• ObjectRef (정식 출시): SQL과 Python을 사용하여 정형 데이터와 함께 비정형 데이터를 처리할 수 있습니다. 이는 지식 카탈로그(Knowledge Catalog)에서 풍부한 멀티모달 컨텍스트를 직접 구축하기 위한 토대를 마련합니다.

• SQL 우선 AI 공동 처리 관리형 함수용 최적화 모드 (프리뷰): AI.CLASSIFY 및 AI.IF와 같은 함수를 위해 즉석에서 작업별 모델을 학습시켜, 행별(row-by-row) 생성형 AI 처리와 비교해 토큰 소비를 230배 절감합니다.

• BigQuery 네이티브 Gemma 임베딩 (프리뷰): 표준 CPU에서 대규모로 고품질 임베딩을 생성할 수 있습니다.

• 자율 임베딩 생성 (정식 출시): 비정형 데이터를 위한 파이프라인을 완전히 자동으로 관리하며, 새로운 데이터가 수집될 때마다 벡터 인덱스를 동기화 상태로 유지합니다.

• BigQuery 하이브리드 검색 (프리뷰): 시맨틱 검색과 전체 텍스트 검색을 단일 함수로 통합하여 검색을 일원화하고, RAG(검색 증강 생성) 및 복잡한 탐색에서 탁월한 정밀도를 제공합니다.

• Python UDF (정식 출시): 완전 관리형 Python 스칼라 함수로 데이터를 강화, 변환 또는 정제할 수 있습니다. 자체 코드나 라이브러리를 가져올 수 있으며, 서버리스 및 스케일 아웃 실행을 통해 수백만 행까지 자동 확장됩니다. 이 기능은 향후 몇 주에 걸쳐 단계적으로 출시될 예정입니다.

• Connected Sheets: BigQuery의 규모를 익숙한 Google Sheets 인터페이스로 가져오며, 이제 TimesFM 모델을 통한 예측(정식 출시) 및 이상 탐지(프리뷰)를 지원합니다.

• 지구 통계 분석(Geospatial analytics) 데이터 세트 (프리뷰): 인프라 자산이나 도로 관리 인사이트와 같은 위치 정보 데이터를 BigQuery에서 직접 액세스할 수 있습니다. 복잡한 수동 데이터 전처리 없이 기업 데이터와 결합하여 더 깊이 있는 분석이 가능합니다.

에이전틱 경험(Agentic experiences)

AI는 지루하고 시간이 많이 걸리는 작업들을 대신 처리함으로써, 숙련된 데이터 팀이 영향력이 큰 전략적 이니셔티브에 집중할 수 있도록 돕습니다. 우리는 Google의 기초 연구, 우수한 모델, 그리고 특화된 도구들을 BigQuery에 직접 통합하여 데이터 라이프사이클의 모든 단계에서 자동화와 지원을 제공함으로써 이 분야를 선도하고 있습니다. BigQuery의 새로운 에이전틱 경험은 다음과 같습니다.

• BigQuery 대화형 분석 (정식 출시): 팀원들이 자연어를 사용하여 복잡한 데이터 세트를 쿼리할 수 있게 해줍니다. 구조화된 데이터와 비정형 데이터 전전반에 걸친 예측 분석 및 추론과 같은 고급 기능을 지원하는 동시에, 인사이트를 얻기 위한 안전하고 투명한 경로를 제공합니다. BigQuery Studio 외에도, BigQuery 대화형 분석 에이전트를 Data Studio(프리뷰), Gemini Enterprise(프리뷰)에 게시하여 활용하거나 커스텀 애플리케이션을 위한 API(정식 출시)를 통해 사용할 수 있습니다.

• BigQuery 에이전트 분석(Agent Analytics)은 ADK(정식 출시) 및 LangGraph(프리뷰) 프레임워크용 플러그인을 제공하여, 에이전트 활동을 BigQuery에 기록하고 이를 트러블슈팅, 최적화 및 에이전트 평가를 위해 분석할 수 있도록 지원합니다.

• BigQuery Studio에 새로운 생산성 도구들이 추가되었습니다. 리소스 검색 및 트러블슈팅을 위한 문맥 인식 어시스턴트(Contextually aware assistant, 프리뷰), SQL과 데이터프레임을 혼합할 수 있는 SQL Cells (정식 출시), 노트북 내에서 직접 시각화 자료를 만드는 Visualization Cells (정식 출시) 등이 포함됩니다. Files Explorer (정식 출시)를 통해 개발자는 코드 자산을 폴더별로 정리, 공유 및 관리할 수 있습니다. 또한, BigQuery 노트북에 Git 통합 및 워크플로(프리뷰)를 도입하여 GitHub, GitLab, Bitbucket 및 Azure DevOps 전반에 걸쳐 데이터 과학 워크플로를 위한 완벽한 소스 코드 관리(SCM) 범위를 제공합니다.

• 데이터 과학 에이전트 (정식 출시)는 BigQuery 노트북 내에서 단순히 목표를 평이한 영어로 서술하는 것만으로도 BigQuery ML, 데이터프레임 또는 Spark를 사용하여 데이터를 로드, 정제 및 시각화하는 계획을 자동으로 실행합니다.

• 데이터 엔지니어링 에이전트 (정식 출시)는 BigQuery 내 데이터 파이프라인의 개발, 관리, 마이그레이션 및 트러블슈팅을 돕습니다. 사용자의 지침(Instruction)과 지식 카탈로그(Knowledge Catalog) 통합을 통해 커스텀 컨텍스트를 활용하며, BigQuery 파이프라인 및 Dataform에서 사용할 수 있습니다.

• Colab Data Apps (프리뷰)는 노트북 분석 결과물을 비즈니스 팀이 Data Studio에서 액세스할 수 있는 공유 가능한 완전 관리형 대화형 Python 애플리케이션으로 변환함으로써 분석과 실행 사이의 간극을 메워줍니다.

• BigQuery 원격 MCP 서버 (정식 출시) 및 BigQuery ADK 툴셋 (정식 출시)은 에이전트를 위한 수동 데이터베이스 커넥터의 필요성을 줄여줍니다.

• Google Cloud 데이터 에이전트 키트 (프리뷰)는 이식 가능한 기술 스위트, 모델 컨텍스트 프로토콜(MCP) 도구, 환경별 확장 프로그램 및 네이티브 플러그인을 제공합니다. VS Code, Gemini CLI, Codex, Claude Code 등 사용자가 구축 중인 환경에 직접 찾아가는 데이터 에이전트 키트는 IDE, 노트북 또는 터미널을 네이티브 데이터 환경으로 변환합니다. 이를 통해 사용자의 환경은 광범위한 데이터 워크플로를 오케스트레이션하고, BigQuery, dbt, Apache Spark 또는 Apache Airflow와 같은 최적의 프레임워크를 자동으로 선택하며 프로덕션 환경에 바로 적용 가능한 코드를 생성할 수 있습니다.

타의 추종을 불허하는 성능과 규모

현대의 분석 워크로드는 갈수록 예측 불가능해지고 분산되고 있습니다. 우리는 환경 내에서 데이터가 증가하더라도 비용과 운영 오버헤드는 늘어나지 않도록 BigQuery 핵심 엔진을 강화하는 데 지속적으로 투자하고 있습니다.

• 유동적 확장 (Fluid scaling, 정식 출시): 비용과 성능 사이의 타협이 필요 없는 프리미어 자동 확장 모델을 통해 변동성이 큰 워크로드를 효율적으로 실행할 수 있습니다. BigQuery의 유동적 확장은 진정한 초 단위 과금을 가능케 하여 최대 34%의 비용 절감 효과를 제공합니다.

• 고급 런타임, 소규모 쿼리 및 이력 기반 최적화 (정식 출시): 코드나 스키마 변경 없이 네이티브 및 Iceberg 워크로드를 가속화합니다. BigQuery는 전년 대비 쿼리 속도를 35% 향상시키는 동시에 쿼리 처리 비용을 40% 절감했습니다.

• 새로운 워크로드 관리 기능: 예약 그룹 (Reservation groups, 정식 출시), 유연한 동적 할당(프리뷰), 프로젝트 수준 슬롯 및 동시성 제어 (프리뷰) 등이 포함되며, 이를 통해 상세한 비용 할당과 가격 대비 성능 제어가 가능합니다. 이 모든 과정은 선언적 규칙 기반 워크로드 관리(프리뷰)를 통해 단순화되었습니다.

• 강화된 관측성(Observability, 정식 출시) 및 교차 라우팅(Intersection routing, 프리뷰)은 미션 크리티컬한 워크로드를 위해 유연한 재해 복구 역량을 제공합니다. 즉각적인 트러블슈팅을 위한 에이전트 기반 관측성(Agent-powered observability, 프리뷰)은 운영을 더욱 단순화하며, 에이전트 대응 보안 센터(Agent-ready security center, 프리뷰)는 통합된 세밀한 액세스 제어 경험을 제공합니다.

BigQuery 데이터 마이그레이션 혜택을 활용하여 여러분의 데이터 및 AI 여정을 지금 시작해 보세요. 여러분이 데이터를 통해 만들어갈 혁신적인 이야기들을 기대하겠습니다.