BigQuery ObjectRef 정식 버전 출시: SQL만으로 대화형 분석을 위한 멀티모달 데이터 플랫폼 빌드

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

데이터 과학, 데이터 엔지니어링, 머신러닝팀의 경우 이미지, 동영상, 오디오, 문서와 같은 비정형 데이터의 가치를 활용하려면 정형 데이터와 비정형 데이터, 분석 및 AI/ML 사용 사례를 위한 사일로화된 데이터 파이프라인을 관리해야 했습니다. 파일이 Cloud Storage에 남아 있는 경우에도 추론을 실행하려면 팀에서 외부 머신러닝 워크로드를 조정해야 하며, 이러한 정형 추론 출력을 분석을 위해 데이터 웨어하우스에 다시 연결하는 복잡하고 취약한 과제에 직면하게 됩니다. 이러한 사후 데이터 결합 방식은 상당한 운영 오버헤드와 데이터베이스 불일치를 초래합니다.

BigQuery의 ObjectRef 및 멀티모달 데이터 분석 기능이 정식 버전(GA)으로 출시됨에 따라, BigQuery는 포괄적인 멀티모달 에이전트형 데이터 플랫폼으로서의 입지를 굳히게 되었습니다.

ObjectRef를 사용하면 BigQuery가 Cloud Storage와 분석 엔진 간의 격차를 기본적으로 해소합니다. 비정형 데이터를 기존 관계형 열과 함께 기본 ObjectRef 열로 직접 표현할 수 있습니다. 이를 통해 대화형 분석을 사용하여 단일 SQL 쿼리 또는 자연어 쿼리로 Gemini 모델에 멀티모달, 다중 열 입력을 직접 전달할 수 있으므로 독립형 모델 API에 비해 엄청난 이점을 얻을 수 있습니다. BigQuery AI, BigQuery의 대화형 분석, Gemini Enterprise와 ObjectRef를 통합하면 Cloud Storage 파일을 풍부하고 정형화된 데이터베이스 컨텍스트, 메타데이터, 타임스탬프, 커스텀 에이전트 요청 사항과 쉽게 결합할 수 있습니다.

이제 BigQuery의 핵심 강점(완전 서버리스 컴퓨팅, 낮은 총소유비용, 기본 제공되는 대규모 추론)을 활용하여 별도의 컴퓨팅 클러스터 없이도 강력한 비정형-정형, 비정형-비정형, 완전한 멀티모달-멀티모달 파이프라인을 빌드, 실행, 제어할 수 있습니다. 특히 중요한 점은 동일한 행에 ObjectRef를 저장함으로써, 추출된 특성 및 주석을 비정형 객체 자체와 직접 결합할 수 있다는 것입니다. 이 결합된 데이터를 대화형 분석 및 AI 에이전트에 직접 활용하면, 비정형 파일을 단순히 정형 형식으로 변환할 때 흔히 발생하는 데이터의 미묘한 뉘앙스와 컨텍스트의 손실을 방지할 수 있습니다. 고객은 이미 이 접근 방식을 사용하여 멀티모달 벡터 검색을 위한 임베딩을 생성하고, 생성형 AI를 사용하여 대규모 분류를 수행하며, 방대한 문서 및 미디어 아카이브에서 정확한 데이터 및 특성 추출 작업을 실행하고 있습니다. 이 모든 작업은 표준 SQL을 통해 이루어집니다.

비정형 데이터에 구조를 부여하는 ObjectRef

ObjectRef는 BigQuery 외부의 객체를 가리키는 사전 정의된 기본 제공 STRUCT 데이터 유형입니다.

BigQuery는 이러한 포인터를 기존 열과 함께 표준 BigQuery 테이블에 기본적으로 저장함으로써 비정형 파일을 일급 데이터 시민으로 취급합니다. 또한 이 아키텍처는 독립적인 데이터 수명 주기를 지원하므로, GCS 데이터와 BigQuery 테이블이 서로의 시스템에 있는 기본 데이터에 영향을 주지 않고 독립적으로 변경될 수 있습니다.

이 접근 방식은 다음과 같은 강력한 이점을 제공하여 여러 데이터 페르소나를 지원합니다.

• 제로 카피 아키텍처: 대용량 미디어 파일을 Cloud Storage에 안전하게 보관하고 BigQuery에서 즉시 쿼리하여 데이터 중력 특성을 고려하고 비용이 많이 드는 데이터 중복을 방지합니다.
• SQL 및 Python 상호 운용성: 표준 SQL 또는 BigQuery DataFrames를 사용하여 비정형 데이터를 쿼리할 수 있습니다. 중요한 점은 ObjectRef를 BigQuery Python UDF에 전달할 수 있으므로 OpenCV와 같은 오픈소스 Python 라이브러리를 데이터로 직접 가져와 데이터를 이동하지 않고도 커스텀 로직을 실행할 수 있다는 것입니다.
• 독립적인 수명 주기 및 버전 관리: ObjectRef는 특정 GCS 세대 번호를 추적하여 재현 가능한 추론을 보장합니다. 기본 GCS 파일이 변경되더라도 쿼리는 행이 작성되었을 때 존재했던 파일의 정확한 버전을 계속 참조할 수 있습니다.
• 통합 거버넌스: BigQuery의 기존 보안 정책과 IAM 제어 기능을 활용하여 정형 열과 관련 비정형 파일 모두에 대한 액세스를 안전하게 보호하고 감사하고 공유할 수 있습니다.

SQL로 충실도 높은 ETL 만들기

ObjectRef를 프리뷰로 출시한 이후 사용자들 사이에서 강력하고 매우 효과적인 패턴이 등장했습니다. 바로 SQL만으로 충실도 높은 ETL 파이프라인을 빌드하는 것입니다.

아래 다이어그램은 BigQuery AI로 비정형 데이터를 처리하고 AI 에이전트로 멀티모달 데이터를 추가로 쿼리하기 위해 ObjectRef를 가져오는 4가지 방법을 보여줍니다.

팀은 BigQuery의 서버리스 아키텍처를 활용하여 AI/ML을 데이터 환경에 직접 통합함으로써 데이터 이동과 추론을 처리하기 위한 별도의 컴퓨팅 클러스터를 운영할 필요가 없어졌습니다. GCS의 비정형 데이터를 표준 BigQuery 열로 관리하면 사용자가 멱등성 파이프라인 빌드, 재현성 보장, 원활한 백필 실행과 같은 핵심 데이터 엔지니어링 권장사항을 이미지, 동영상, 오디오, 문서에 직접 적용할 수 있습니다.

탄탄하게 준비된 데이터를 바탕으로, 이제 팀은 BigQuery 내에서 Gemini를 활용해 충실도 높은 ETL을 실행할 수 있습니다. 특성을 추출하고 비정형 데이터에 주석을 추가하는 동시에 원래 ObjectRef를 동일한 행에 고정하여 이중 레이어 분석을 지원합니다. 정형 출력 데이터는 신속한 필터링, 보고서 작성, BI 대시보드 운영에 활용되며, 이와 연결된 비정형 객체는 심층적이고 컨텍스트가 풍부한 추론을 위해 언제든 활용할 수 있습니다. 예를 들어 고객 통화 녹음 보관 파일에서 감정 점수와 주제 태그를 추출하여 BI 대시보드(정형 레이어)에서 위험 계정을 빠르게 표시할 수 있습니다. 동시에 에스컬레이션 프로세스를 평가하는 대화형 분석 에이전트는 원본 오디오 파일로 원활하게 폴백하여 발신자와 고객 서비스 담당자 간의 상호작용을 분석할 수 있으므로, 비정형 데이터를 정형 데이터로 변환하는 ETL 파이프라인에서 일반적으로 발생하는 중요한 뉘앙스의 손실을 방지할 수 있습니다.

업계 리더의 검증된 사용 사례

“Snap은 커뮤니티의 안전을 최우선 과제로 삼고 있으며, 사용자가 커뮤니티 가이드를 위반하는 콘텐츠에 노출되지 않도록 최선을 다하고 있습니다. 공개 게시물의 샘플을 정기적으로 검토하고 있으며, BigQuery AI와 함께 ObjectRef를 활용하여 단순 무작위 샘플링에서 사후 계층화 샘플링으로 전환했습니다. 이러한 전환을 통해 사람의 검토 프로세스의 효율성이 향상되었으며, 확보된 역량을 새롭게 확장된 워크플로에 재투자하여 잠재적으로 유해한 콘텐츠를 감지하고 해결하는 능력을 더욱 강화할 수 있었습니다.” - Carlos Ortiz, Snap 데이터 과학자

프리뷰 단계에서 이미 다양한 핵심 워크로드에 도입되어 활용되고 있습니다. 고객은 이러한 실험적 파이프라인을 프로덕션으로 성공적으로 전환하여 비정형 데이터를 실행 가능하고 정형화된 인사이트로 변환하고 있습니다.

• 콘텐츠 검토: 온라인 플랫폼은 BigQuery를 활용하여 멀티미디어 애셋을 표준 원격 분석 데이터와 단일 파이프라인에 통합함으로써 검토 및 안전 관리 성과를 근본적으로 개선합니다.

• 선제적 위협 감지: 엔터프라이즈 보안팀은 BigQuery를 사용하여 시각적 및 구조적 웹 구성요소를 네트워크 로그와 함께 분석함으로써 선제적 위협 식별을 크게 개선합니다.

• 인벤토리 규정 준수: 온라인 소매업체는 방대한 이미지 저장소에서 텍스트와 컨텍스트를 직접 추출하여 규제 또는 브랜드 규정 준수 위반 사항을 대규모로 자동 신고합니다.

• 고객 경험: 서비스 지향 기업은 BigQuery AI를 활용해 지원 담당자와 고객 간의 오디오 상호작용을 분석함으로써 고객 감정을 평가하고 서비스 품질을 개선합니다.

정식 버전의 새로운 기능

Google은 정식 버전 출시를 위해 개발자 환경을 간소화하고 다양한 고객 사용 사례를 지원하는 데 중점을 두었습니다.

• 유연해진 인증 방식:

  • 정식 버전에서는 ObjectRefs에 대한 최종 사용자 인증 정보(EUC) 지원 기능이 추가되었습니다. 이제 사용자는 개인 IAM ID를 직접 사용하여 임시 분석에 필요한 비정형 데이터를 빠르게 쿼리하고 탐색할 수 있습니다.

  • 프리뷰 버전에서는 비정형 파일을 쿼리하기 위해 ObjectRef용 BigQuery 연결을 명시적으로 설정해야 했습니다. 이러한 연결 방식은 여전히 완전히 지원되며 안정적인 서비스 계정 기반 프로덕션 파이프라인을 위한 권장사항이기도 하지만, 추가 설정이 필요하다는 점을 충분히 인지하고 있습니다.

• Cloud Storage 메타데이터에 대한 통합 지원: 비정형 데이터의 메타데이터는 Google Cloud의 다양한 위치에 존재하며, 이제 ObjectRef가 이 모든 위치를 지원합니다.

  • 이미 테이블에 있는 경우: 메타데이터가 현재 BigQuery 객체 테이블, Cloud Storage Insights 데이터 세트에 있든, 아니면 단순히 표준 BigQuery 테이블 내에 원시 문자열 URI로 있든 상관없이 ObjectRef를 원활하게 생성하고 관리하여 기본 데이터를 분석할 수 있습니다.

  • 테이블에 없는 경우: 새로운 OBJ.LIST 함수는 Cloud Storage 경로에서 직접 파일을 나열하고 각 파일에 대해 ObjectRef 를 반환하므로 테이블을 먼저 만들 필요가 없습니다.

• 비교 분석을 위한 배열 지원: 배열에 포함된 ObjectRef를 처리하기 위한 기본 지원 기능이 추가되었습니다. 이를 통해 여러 문서를 서로 비교하거나, 이미지 시퀀스를 분석하거나, 단일 시맨틱 호출에서 항목을 일괄 처리하는 등 완전히 새로운 유형의 워크로드를 처리할 수 있습니다.

실제 사례 보기: 엔드 투 엔드 멀티모달 분석

이러한 정식 버전 업데이트의 강력한 기능을 확인해 보실 수 있도록, 간소화된 SQL 연산자를 사용하여 실제 멀티모달 파이프라인을 빌드하는 방법을 살펴보겠습니다.

1. 충실도 높은 ETL: 콜 센터 오디오 분석

고객 서비스 통화 기록을 분석하려면 오디오 파일을 전문 스크립트 작성 및 자연어 처리 클러스터로 이동해야 했습니다. ObjectRef를 사용하면 오디오 파일을 파싱하여 정형화된 비즈니스 인텔리전스를 추출하고, 이를 표준 관계형 열로 직접 추가할 수 있습니다.

정식 버전으로 제공되는 OBJ.MAKE_REF() 함수를 사용하여 원시 문자열 URI에서 오디오 형식을 자동으로 감지하고, 잘 알려진 사용 사례에 BigQuery의 관리형 AI 함수를 사용합니다. 예를 들어 AI.CLASSIFY()를 사용하여 고객 통화 유형을 분류할 수 있습니다. 기본적으로 BigQuery는 토큰 소비량을 줄이기 위해 AI 함수용 최적화 모드를 사용합니다.

이 테이블은 BigQuery 대화형 분석 에이전트를 위한 멀티모달 데이터 소스로 활용될 수 있습니다. 에이전트는 추가 정보가 필요할 때 BigQuery AI 함수를 사용하여 자연어 쿼리를 SQL로 변환하여 오디오 파일을 분석합니다.

BigQuery의 '에이전트(Agents)' 탭으로 이동하여 대화형 분석 에이전트를 생성하고, 멀티모달 테이블을 소스로 선택하세요.

지금 바로 분석 시작하기

BigQuery ObjectRef가 이제 모든 BigQuery 버전 및 주문형 가격 등급에서 정식 버전으로 제공됩니다.

Cloud Storage 파일에서 머신러닝 추론을 수행하기 위해 복잡하고 파편화된 인프라를 관리하고 계신다면 이제 하나로 통합할 때입니다. 스토리지에 AI를 직접 적용하세요. 기존 데이터 엔지니어링 관행을 활용하여 BigQuery 내에서 직접 강력하고 확장 가능하며 안전한 멀티모달 분석 파이프라인을 빌드해 보세요.

ObjectRef 및 멀티모달 분석을 시작하려면 다음 리소스를 확인하세요.

• 실무형 튜토리얼을 통해 합성 데이터를 사용하여 이미지 캡션을 생성하고 제품 카테고리를 할당하는 방법을 알아보세요.
• Cloud Next에서 비정형 데이터와 정형 데이터 통합, LLM을 사용한 텍스트 생성 및 벡터 검색 수행에 관한 라이브 데모를 시청해 보세요.