데이터와 AI 간 워크플로를 가속화하는 공동 분석 작업공간인 BigQuery Studio 출시

*본 아티클의 원문은 2023년 8월 31일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터와 AI를 보다 효과적으로 사용하는 조직은 경쟁사보다 수익성이 높고 다양한 비즈니스 측정항목에서 성과를 개선할 수 있습니다. 최근 연구에 따르면 이미 81%의 조직이 지난 2년 동안 데이터 및 분석에 대한 투자를 늘렸습니다. 그러나 데이터에서 비즈니스 가치를 최대한 창출하는 데 고전하는 조직 또한 여전히 적지 않습니다. 40%가 넘는 조직이 이질적인 분석 도구와 데이터 소스, 낮은 데이터 품질을 해결해야 할 가장 문제로 꼽았습니다.

Google Cloud은 조직을 위한 지능적이고 개방적이며 안전한 통합형 데이터 및 AI 클라우드를 제공하는 제품으로서 독보적 위상을 자랑합니다. 전 세계 다양한 업종에 속한 수천 곳의 고객들이 Dataproc, Dataflow, BigQuery, BigLake, Vertex AI를 사용하여 데이터와 AI 간 워크플로를 처리하고 있습니다. 오늘은 BigQuery Studio가 출시된다는 반가운 소식을 전해 드립니다. Google Cloud 데이터 분석 제품군을 위한 통합형 공동 작업공간인 BigQuery Studio는 데이터 수집과 준비부터 분석, 탐색, 시각화, 심지어 ML 학습 및 추론에 이르기까지 데이터와 AI 간 워크플로 가속화를 지원합니다. 데이터 실무자에게는 다음과 같은 이점을 제공합니다.

• SQL, Python, Spark, 자연어를 BigQuery 내에서 직접 사용하고 해당 코드 애셋을 Vertex AI를 비롯한 여러 제품의 특수 워크플로에 손쉽게 활용
• CI/CD, 버전 기록, 소스 제어 등 소프트웨어 개발 권장사항을 데이터 애셋까지 확장하여 공동작업 개선 
• BigQuery 내에서 데이터 경로, 프로파일링, 품질 전반에 일관된 보안 정책을 즉각 시행하고 유용한 거버넌스 정보 도출

모든 데이터팀을 위한 단일 인터페이스

서로 이질적인 도구는 일관되지 않은 환경을 조성하여 분석 전문가가 여러 커넥터를 사용해 데이터를 수집하고, 코딩 언어를 오가며, 데이터 애셋을 시스템 간에 전송해야 하는 불필요한 오버로드를 야기합니다. 이는 조직이 데이터 및 AI 투자에서 가치를 창출하기까지의 기간이 길어지는 데 큰 영향을 미칩니다. 

BigQuery Studio는 특화된 단일 플랫폼에서 엔드 투 엔드 분석 환경을 제공하여 이러한 문제를 해결합니다. BigQuery Studio는 SQL 및 노트북 인터페이스(Colab Enterprise 기반, 현재 미리보기 버전)를 비롯한 통합형 작업공간을 제공하여 데이터 엔지니어, 데이터 분석가, 데이터 과학자가 각자 선호하는 코딩 언어를 사용해 데이터 수집, 파이프라인 생성, 예측 분석 등의 엔드 투 엔드 작업을 수행할 수 있습니다.

예를 들어 데이터 과학자와 같은 분석 사용자가 친숙한 Colab 노트북 환경에서 Python을 사용하여 페타바이트 규모의 데이터 분석 및 탐색을 BigQuery 내에서 직접 수행할 수 있게 됩니다. BigQuery Studio의 노트북 환경은 데이터 세트 및 스키마 탐색, 데이터 세트 및 열 자동 완성, 데이터 쿼리 및 변환을 지원합니다. 또한 Vertex AI에서 동일한 Colab Enterprise 노트북에 액세스하여 모델 학습, 맞춤설정, 배포, MLOps와 같은 ML 워크플로를 처리할 수 있습니다.

그뿐만 아니라 BigQuery Studio는 Apache Parquet, Delta Lake, Apache Iceberg를 기본적으로 지원하는 BigLake를 활용하여 Google Cloud, AWS, Azure와 같은 클라우드 환경 전반에서 형식에 관계없이 정형, 반정형, 비정형 데이터를 처리할 수 있는 통일된 제어 창을 제공합니다. 

업계를 선도하는 전자상거래 플랫폼 Shopify는 BigQuery Studio가 어떻게 기존 BigQuery 환경을 보완하는지 직접 경험했습니다. 

"Shopify는 데이터 과학 및 엔지니어링 트렌드에 뒤쳐지지 않기 위해 다방면의 기술을 보유한 팀을 구성하는 데 투자했습니다. BigQuery Studio를 초기 테스트할 때 간소화된 환경에서 다양한 사용자를 위한 다채로운 도구를 연결하는 Google의 기능이 만족스러웠습니다. BigQuery에 기대하는 확장성을 저해하는 일 없이 팀 전반에서 장애 요소를 줄일 수 있는 기회가 될 것입니다." - 잭 로버츠, Shopify 데이터 엔지니어링 관리자

생산성 및 공동작업 극대화

BigQuery Studio는 CI/CD, 버전 기록, 소스 제어 등의 소프트웨어 개발 권장사항을 SQL 스크립트, Python 스크립트, 노트북, SQL 파이프라인과 같은 분석 애셋까지 확장하므로 데이터 실무자 간의 공동작업이 향상됩니다. 또한 사용자가 선호하는 외부 코드 저장소에 안전하게 연결하여 코드를 상시 동기화할 수 있습니다.

BigQuery Studio는 사람 간 공동작업을 지원할 뿐만 아니라 AI 기반 공동작업자를 제공하여 문맥에 맞는 채팅과 코드를 지원합니다. BigQuery의 Duet AI는 각 사용자와 데이터 간의 문맥을 파악하고, 이에 기반하여 SQL 및 Python용 함수와 코드 블록을 자동으로 추천합니다. 또한 새로운 채팅 인터페이스는 자연어를 사용하는 데이터 실무자에게 특정 작업 수행에 맞춤화된 지침을 실시간으로 제공하여 시행착오 가능성을 낮추고 문서를 검색하여 모래밭에서 바늘 찾기가 가능합니다.

통합 보안 및 거버넌스

BigQuery Studio는 사용자의 데이터 이해, 품질 문제 파악, 문제 진단을 지원하여 조직이 신뢰할 수 있는 데이터에서 신뢰할 수 있는 정보를 얻을 수 있도록 합니다. 데이터 실무자는 데이터 계보 추적, 데이터 프로파일링, 데이터 품질 제약조건 적용을 통해 정확도 높고 신뢰할 수 있는 고품질 데이터를 보장할 수 있습니다. Google Cloud는 올해 중으로 BigQuery Studio를 통해 데이터 세트 요약이나 심층적인 분석 도출 방법에 관한 권장사항 같은 맞춤형 메타데이터 정보를 제공할 예정입니다. 

그뿐만 아니라 BigQuery Studio를 사용하면 관리자가 데이터 애셋에 일관된 보안 정책을 시행할 수 있습니다. 워크플로 개선을 위해 BigQuery 외부에서 데이터를 복사, 이동, 공유할 필요가 줄어들기 때문입니다. 정책이 BigQuery와 Vertex AI의 통합 사용자 인증 정보 관리를 통해 시행되어 추가적인 외부 연결이나 서비스 계정을 관리하지 않아도 세분화된 보안을 구현할 수 있습니다. 예를 들어 BigQuery에서 간단한 SQL을 사용하면 데이터 분석가가 Vertex AI의 이미지, 동영상, 텍스트, 언어 번역용 기반 모델을 통해 BigQuery 데이터에 대한 감정 분석과 항목 인식 같은 작업을 수행할 수 있으므로 서드 파티 서비스와 데이터를 공유할 필요가 없습니다.

BigQuery Studio 고객 사례

"Hurb의 데이터 및 분석팀은 데이터 엔지니어링과 데이터 과학 분야에서 선도적인 위치를 유지하기 위해 끊임없이 노력하고 있습니다. BigQuery Studio를 처음 무료 체험하는 동안 Google이 다양한 도구를 간소한 단일 환경에 원활하게 통합하는 역량에 깊은 감명을 받았습니다. 이러한 융합 덕분에 장애 요소가 줄었을 뿐만 아니라 팀의 효율성이 크게 개선되어 BigQuery의 효과를 직접 확인할 수 있었습니다." - 비니시우스 두스 산투스 멜루, Hurb 데이터 엔지니어

"얼리 어답터로서 BigQuery Studio를 사용하며 인상적이었던 부분은 장애 요소를 최소화할 뿐만 아니라 강력한 데이터 보호와 중앙 집중화를 보장한다는 점이었습니다. Pandas DataFrames에 대한 지원이 강화되면 프로세스가 더욱 간소화되어 팀이 여유 시간을 확보함으로써 공동작업을 진행하고 경쟁력을 계속 유지할 것으로 기대됩니다." - Aritzia 분석 엔지니어링 부문 전무이사

"L’Oréal의 데이터팀은 BigQuery의 Duet AI 덕분에 데이터를 더욱 간편하게 탐색하고, 이해하고, 사용하게 되어 혁신에 박차를 가할 수 있었습니다. Duet AI를 사용하면 데이터를 빠르게 쿼리하여 필요한 정보를 도출하고 보다 효과적인 비즈니스 관련 의사 결정을 내릴 수 있습니다. 계속해서 Duet AI를 통해 더 큰 혁신을 이루고 비즈니스 목표를 달성할 수 있게 되어 기쁩니다." - 앙투안 카스텍스, L’Oréal 데이터 플랫폼 설계자

시작하기

현재 BigQuery Studio는 고객들에게 미리보기 버전으로 제공됩니다. 자세히 알아보려면 문서를 확인하고, 지금 가입하여 시작하세요.