BigQuery 그래프 정식 버전 출시: 에이전트 시대를 위한 지식 기반

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

엔터프라이즈 데이터에서 중요한 질문 중 상당수는 개별 행에 관한 것이 아니라 데이터가 서로 어떻게 연결되는지에 관한 것입니다. 두 계정이 어떻게 연결되는지, 결제가 어떤 경로를 거쳤는지, AI 에이전트의 답변이 어떤 컨텍스트에 기반하는지 등이 이에 해당합니다. 그래프는 바로 이러한 문제를 해결하기 위해 만들어졌습니다. 과거에는 이러한 인사이트를 얻으려면 데이터를 독립형 그래프 데이터베이스로 추출해야 했기 때문에 사일로와 운영 오버헤드가 발생했습니다. 이러한 장벽을 제거하기 위해 Google Cloud는 데이터 웨어하우스에 직접 네이티브 그래프 기능을 도입했습니다. 오늘 Google은 BigQuery 그래프의 정식 버전을 발표합니다.

Google Cloud는 그래프 분석과 관계형 분석을 통합하기 위해 BigQuery 그래프를 프리뷰 버전으로 처음 선보였습니다. ISO 표준 Graph Query Language(GQL)는 SQL과 함께 사용되고, 순회는 기본적으로 실행되며, ETL은 필요하지 않습니다. BigQuery를 기반으로 빌드된 BigQuery 그래프는 BigQuery의 기능을 그대로 사용하고 이를 더욱 확장합니다. 수직 확장 데이터베이스의 메모리 병목 현상 없이 페타바이트 규모까지 도달하고, 기존 행 및 열 수준 보안에서 실행되며, 동일한 쿼리에서 BigQuery ML 및 AI 함수를 호출합니다. 하나의 엔진으로 대규모 그래프 분석과 AI 에이전트를 위한 연결된 컨텍스트라는 두 가지 작업을 수행합니다.

"BigQuery 그래프는 위협 감지 파이프라인의 판도를 바꾸어 놓았으며, 이를 통해 단순하고 사일로화된 알림을 넘어설 수 있었습니다. 보안 신호 데이터를 속성 그래프로 모델링함으로써 이전에는 컴퓨팅 성능의 한계로 인해 불가능했던 복잡한 멀티홉 순회를 몇 초 만에 수행할 수 있게 되었습니다. 이러한 그래프 중심 접근 방식은 이상치를 일관된 공격 스토리로 자동 클러스터링하며, Gemini 모델의 원활한 통합과 결합되어 실행 가능한 위협 내러티브를 생성하는 데 도움이 됩니다. 앞으로 네이티브 BigQuery 그래프 알고리즘을 통합하여 워크플로를 더욱 간소화할 수 있기를 기대합니다." - Pete Rubio, Thales Cybersecurity Products 글로벌 엔지니어링 부문 부사장

프리뷰 이후 다양한 업계의 데이터팀이 분석 및 에이전트 워크플로에 BigQuery 그래프를 도입했습니다.

• 위협 및 사기 감지: 보안 및 금융 기관은 이벤트 로그 전반의 신호를 상호 연관시켜 멀티홉 공격 경로, 사기 네트워크, 의심스러운 거래 루프를 찾아냅니다.

• 공급망 디지털 트윈: 제조 및 물류 조직은 공급업체, 부품, 유통 경로 전반의 종속성을 매핑하여 중단 상황을 시뮬레이션하고 주문 처리를 최적화합니다.

• ID 확인 및 Customer 360: 광고 기술 및 소매 플랫폼은 여러 채널에 분산된 사용자 식별자와 행동 터치 포인트를 연결하여 통합 고객 프로필을 구축합니다.

• 지식 그래프 및 AI 에이전트 그라운딩: 엔터프라이즈 AI팀은 비정형 문서에서 정형 지식 그래프를 빌드하여 Gemini 모델과 GraphRAG 워크플로를 그라운딩하기 위한 도메인 컨텍스트를 제공합니다. 

• 네트워크 계보 및 인프라 관리: 통신 및 엔터프라이즈 IT팀은 멀티홉 경로 전반에서 복잡한 네트워크 토폴로지, 서비스 종속성, 데이터 계보를 추적합니다.

BigQuery 그래프의 새로운 기능

정식 버전 출시는 단순히 안정성 측면에서 중요한 이정표를 달성했다는 의미를 넘어섭니다. 관련 작업은 크게 두 가지 방향으로 진행되었습니다. 하나는 그래프 엔진 자체를 더 빠르고 광범위하게 만드는 것이고, 다른 하나는 이를 중심으로 에이전트 생태계를 구축하는 것이었습니다. 이를 통해 에이전트는 그래프를 빌드하고, 그래프와 채팅하고, 감사 가능한 메모리를 그래프에 유지할 수 있습니다. 다음 기능 중 일부는 현재 정식 버전으로 제공되고 있으며, 일부는 프리뷰로 제공되거나 앞으로 몇 주에 걸쳐 순차적으로 출시될 예정입니다.

더 빠르고 광범위한 그래프 엔진

“광고 업계는 수십 년 동안 개별 이벤트를 최적화하는 데 집중해 왔습니다. 하지만 에이전트 시대에는 이벤트 간의 관계를 최적화하게 될 것입니다. Yahoo에서는 BigQuery 그래프를 통해 AI 에이전트에 캠페인, 잠재고객, 노출, 결과를 아우르는 연결된 컨텍스트를 제공합니다. 별도의 그래프 엔진이나 데이터 이동 없이 수익 창출 데이터가 이미 저장된 바로 그곳에서 표준 GQL을 사용해 이러한 데이터를 탐색할 수 있습니다. 에이전트는 단순히 그래프를 읽는 데 그치지 않고, 그래프를 기반으로 추론하고 그 결론을 새로운 관계로 다시 작성합니다. 이것이 바로 수익 창출이 자동화를 넘어 신뢰할 수 있는 자율 시스템으로 발전하는 방식입니다.” - Mikul Bhatt, Yahoo 수익 창출 플랫폼 엔지니어링 부문 이사

경계 없는 그래프 레이크하우스

에이전트의 성능은 추론에 활용할 수 있는 컨텍스트에 따라 달라지며, 이러한 컨텍스트는 한곳에 있는 경우는 드뭅니다. 경계 없는 레이크하우스를 사용하면 하나의 BigQuery 그래프가 네이티브 BigQuery 테이블은 물론, Databricks Unity Catalog, AWS Glue 또는 Snowflake를 통해 다른 클라우드에 있는 개방형 Iceberg 테이블까지 아우를 수 있습니다. 데이터를 복사하거나 ETL 파이프라인을 빌드하지 않고도 데이터가 있는 위치에서 그대로 순회할 수 있습니다.

고객 지원 담당자가 "이 고객의 주문 지연과 관련된 제품을 공급하는 업체는 어디이며, 어디에 기반을 두고 있나요?"라는 질문에 답해야 한다고 가정해 보겠습니다. 고객 데이터는 Google Cloud의 Iceberg 레이크하우스에 있고, 제품 및 공급업체 레코드는 AWS의 Databricks 카탈로그에 있습니다. 에이전트는 요청이 있을 때마다 소스를 끼워 맞추는 대신, 이미 소스가 연결되어 있는 하나의 가상 지식 그래프를 순회하여 이동하지 않은 데이터를 탐색합니다.

다음 DDL 문은 두 클라우드 환경에서 노드 및 에지 테이블을 직접 매핑하여 이 가상 그래프를 정의하는 방법을 보여줍니다.

이를 통해 에이전트는 한 번의 순회에서 두 클라우드에 걸쳐 조합하여 그라운딩된 멀티홉 답변을 얻습니다.

더 빠르고 표현력이 향상된 GQL

BigQuery 그래프는 연결에 관한 질문을 처리하기 위해 빌드되었습니다. 두 계정이 어떻게 연결되어 있는지, 결제가 어떤 경로를 거쳤는지, 플래그가 지정된 항목에서 몇 홉 이내에 어떤 항목이 있는지 등을 파악할 수 있습니다. 이러한 질문은 SQL 조인으로 표현하기 까다로우며, 바로 이 부분에서 그래프 엔진의 진가가 발휘됩니다. 정식 버전에서는 실행 속도가 더 빨라지고 작성하기가 더 쉬워졌습니다.

• 더 빠른 실행. 정식 버전에서는 비순환 및 무방향 순회를 위한 경로 탐색 기능을 최적화했습니다. 공개 벤치마크에 따르면 GQL은 프리뷰 이후 2배 더 빨라지고 무방향 순회는 100배 더 빨라졌으며, ACYCLIC 및 TRAIL 경로 모드에서 더 빠르고 리소스 효율적인 순환 감지를 제공합니다. 쿼리 지연 시간이 단축되어 에이전트의 답변을 그라운딩하는 주변 및 경로 조회를 빈번한 대화형 액세스 환경에서도 빠르게 처리할 수 있습니다.

• 표현력이 향상된 쿼리. 새로운 CALL 문 과 확장된 서브 쿼리 지원을 통해 결과의 각 항목에 대해 그래프 서브 쿼리를 실행하거나 재사용 가능한 이름이 지정된 함수를 호출할 수 있습니다. 따라서 복잡한 질문을 하나의 방대한 패턴이 아닌 여러 부분으로 나눌 수 있습니다. 분석가가 작성하는 동일한 함수를 에이전트가 도구로 호출하는 구성요소로 활용할 수도 있습니다.

에이전트 시대를 위한 설계

“기업에는 인력 데이터가 풍부하지만 직원이 무엇을 할 수 있고 어디에 적합한지에 대한 공통된 이해는 매우 부족합니다. BigQuery 그래프를 사용하면 이렇게 흩어져 있는 정보를 재사용 가능한 속성 그래프로 변환하고 사람, 역할, 역량, 근거 전반의 연결 관계를 대규모로 탐색할 수 있습니다. 따라서 의사 결정을 내릴 때마다 인력 컨텍스트를 새로 만드는 대신, 동일하게 연결된 인력 컨텍스트를 수천 건의 의사 결정에 활용할 수 있습니다. 덕분에 AI는 업무를 어떻게 처리해야 하는지에 대한 훨씬 더 어려운 질문에 답할 수 있는 탄탄한 기반을 갖추게 됩니다.”  - Heiko Roth, Workerbee 설립자 겸 CEO

그래프와 대화하기

그래프를 탐색하기 위해 GQL을 작성할 필요는 없습니다. BigQuery 대화형 분석을 사용하면 자연어로 직접 그래프와 대화할 수 있습니다. 대화형 분석은 스키마의 관계를 읽어 질문을 SQL 또는 GQL로 변환하고 경로 기반 답변의 순회를 시각화합니다. 에이전트는 설명 및 동의어와 같은 그래프 메타데이터를 활용하여 결과를 그라운딩합니다. 그래프를 그래프답게 만드는 이러한 관계는 자유 형식의 자연어 쿼리를 방해하는 모호성과 할루시네이션을 줄이는 데 특히 효과적입니다. 또한 MCP 서버를 통해 Gemini Enterprise를 BigQuery Graph에 연결하거나 대화형 데이터 에이전트를 직접 게시할 수도 있습니다.

에이전트로 그래프 빌드

테이블을 노드와 에지로 모델링한 다음 이에 대해 GQL을 작성하는 그래프 구축 작업은 이미 사용 중인 데이터 에이전트에 맡길 수 있습니다. Google Cloud는 BigQuery 그래프 전문 지식을 에이전트 스킬로 패키징하여 에이전트가 그래프를 능숙하게 다룰 수 있도록 했습니다. 여기에는 GQL 패턴 일치, 그래프와 SQL의 혼합, Google Cloud의 권장사항을 따르는 스키마 설계가 포함됩니다. 이러한 기능은 Google Cloud Data Agent Kit 확장 프로그램을 통해 Antigravity, Visual Studio Code, Claude Code, Codex 등 선호하는 에이전트형 코딩 도구에서 즉시 사용할 수 있습니다.

이 스킬은 단순히 조언하는 데 그치지 않고 직접 작성하는 방법도 학습하고 있으며, 이 기능은 곧 출시될 예정입니다. 데이터 세트, 모델 문서 또는 ER 다이어그램을 지정하면 노드와 에지를 제안한 다음, 그래프를 빌드하기 전에 데이터와 대조하여 각각의 관계를 검증하고 일치율을 보여줍니다. 예를 들어 한 관계는 98%, 다른 관계는 56%가 일치하는 식입니다. 따라서 처음부터 신뢰할 수 있는 그래프를 얻을 수 있습니다.

에이전트에 감사 가능한 메모리 제공

에이전트를 그라운딩하는 것은 작업의 절반에 불과하며, 나머지 절반은 에이전트가 수행한 작업을 기억하는 것입니다. 에이전트의 역할이 조언에서 직접 행동하는 것으로 발전함에 따라 모든 결정은 사후에 설명할 수 있어야 합니다. 어떤 옵션이 선택되었는지, 어떤 정책이 적용되었는지, 어떤 대안이 거부되었는지 등을 파악할 수 있어야 합니다. BigQuery Agent Analytics의 컨텍스트 그래프를 사용하면 에이전트가 수행하는 각 작업을 캡처하여 컨텍스트 그래프로 구성할 수 있습니다. 컨텍스트 그래프는 에이전트의 추론에 대한 유형화되고 쿼리 가능한 trace로, BigQuery 그래프에 바로 저장됩니다. trace 자체가 그래프이므로 '에이전트가 왜 이런 행동을 했을까?'라는 질문에 한 번의 순회로 답을 찾을 수 있으며, 이러한 의사 결정에 다시 연결한 결과는 다음 의사 결정을 개선하는 데이터가 됩니다.

지금 BigQuery 그래프 시작하기

BigQuery 그래프는 그래프 분석을 실행하고 여러 클라우드에서 데이터에 AI 에이전트를 그라운딩합니다. 시작하려면 개요 및 데이터 모델을 확인하여 GQL, 노드 테이블, 에지 테이블이 어떻게 연동되는지 알아본 다음 팀의 일반적인 패턴에 적용해 보세요. 사기 감지 Codelab에서 의심스러운 자금 이동과 합성 ID를 추적하고, ID 확인 Codelab에서 파편화된 이메일, 기기, 쿠키 정보를 하나의 고객으로 연결할 수 있습니다. 또한 공급망을 디지털 트윈으로 모델링하여 공급망에 문제가 발생했을 때 숨겨진 종속성을 쿼리할 수도 있습니다.

그런 다음 에이전트로 확장합니다. 에이전트 컨텍스트 그래프 Codelab은 원시 이벤트 로그를 그래프로 변환하여 자율 에이전트가 실제로 수행한 작업을 감사, 설명, 추적합니다. 즉, 신뢰할 수 있는 시스템을 뒷받침하는 연결된 메모리를 구축할 수 있습니다. 워크로드가 실시간 운영 트랜잭션과 대규모 분석을 모두 포괄하는 경우 통합 그래프 솔루션을 살펴보고 Spanner Graph와 BigQuery 그래프가 어떻게 함께 작동하는지 확인해 보세요. 더 자세히 알아볼 준비가 되었다면 eBook에서 전체 여정을 살펴볼 수 있습니다.