BigQuery와 Anthropic의 Claude: 데이터 기반 인사이트를 위한 강력한 조합

* 본 아티클의 원문은 2024년 9월 5일 Google Cloud 블로그(영문)에 게재되었습니다.

세계에서 가장 생산적이고 혁신적인 조직들은 신뢰할 수 있는 자사 비즈니스 데이터를 바탕으로 의사 결정을 내리고 운영 효율성과 인사이트를 확보하며 성장을 도모합니다. 생성형 AI가 등장하면서 풍부한 정보를 토대로 전례 없는 경쟁 우위를 점할 수 있는 가능성이 열렸습니다. 

Google Cloud는 앞장서서 Google의 생성형 AI 지원 데이터 플랫폼인 BigQuery 자체에 생성형 AI 기능을 통합했습니다. 조직들은 BigQuery 플랫폼에서 Vertex AI로 Gemini 1.5 Pro를 사용하는 등 이미 생성형 AI 모델을 활용하고 있습니다. 오늘 Google Cloud의 개방형 플랫폼이 BigQuery의 새로운 통합 프리뷰로 확장됩니다. BigQuery가 Vertex AI 기반 Anthropic의 Claude 모델과 통합되면서 Claude 모델의 강력한 인텔리전스 기능을 BigQuery에 있는 데이터에 사용할 수 있게 되었습니다.

이제 조직은 BigQuery ML(BQML)을 통해 고급 생성형 AI 기능을 제공하는 Anthropic의 Claude 모델을 이용할 수 있습니다. BQML은 BigQuery 내 데이터에 머신러닝을 적용하는 과정을 간소화하므로 분석가와 SQL 사용자의 접근성이 좋습니다. 이번 통합으로 데이터에서 바로 텍스트 생성, 요약, 번역 등의 작업을 수행할 수 있게 되었습니다. 

강력한 사용 사례

조직에서 BigQuery와 Anthropic Claude 모델의 통합을 활용하면 데이터 기반 의사 결정을 재정립하고 다음과 같은 다양한 작업의 생산성을 높일 수 있습니다.

1. 보안 강화를 위한 로그 데이터 분석: 보안팀은 BigQuery에서 로그 데이터를 효율적으로 분석하고 복잡한 기술 정보를 읽을 수 있는 명확한 형식으로 변환하여 적절한 대응 전략을 수립할 수 있습니다.

2. 마케팅 최적화: 이제 마케팅팀은 BigQuery에 저장된 사용자 및 제품 데이터를 활용해 타겟팅된 데이터 기반 캠페인을 대규모로 생성하여 참여도와 ROI를 높일 수 있습니다.

3. 문서 요약: 조직에서 Google Cloud Storage에 저장된 내부 문서를 자동으로 요약해 정보 관리를 간소화하여 시간과 리소스를 절약할 수 있습니다.

4. 콘텐츠 현지화: 글로벌 조직에서 BigQuery에 저장된 텍스트 콘텐츠를 빠르게 번역하여 언어 장벽 없이 원활하게 소통할 수 있습니다.

BigQuery의 Claude 모델 사용 사례를 몇 가지 더 살펴보겠습니다.

로그 요약 및 추천

조직은 일반적으로 사용 편의성, 확장성, 로그 분석에 도움이 되는 검색 및 벡터 색인과 같은 고급 기능을 위해 오류 로그 데이터를 BigQuery에 저장합니다. BigQuery 데이터를 Vertex AI에서 Claude 모델과 결합하면 이러한 사용 사례를 더욱 강화할 수 있습니다. 예를 들어 조직에서 로그 항목을 효율적으로 요약하고 추천 수정사항을 생성하여 문제 식별 및 해결 프로세스를 간소화할 수 있습니다. 

그 방법을 살펴보겠습니다.

완성된 결과를 확인하실 수 있습니다. SQL과 Claude의 AI 기능만 사용해 간결한 로그 요약과 추천 솔루션을 생성해 봤습니다.

미술관 작품 설명 번역

BigQuery 테이블에 저장된 대한민국 예술 작품의 작품명을 영어로 번역하는 또 다른 사례를 살펴보겠습니다. Claude는 이러한 작업을 효과적으로 처리합니다.

BigQuery에서 Claude 시작하기 

BigQuery에서 Claude를 시작하려면 문서를 따라 진행하거나 샘플 노트북을 BigQuery Studio로 직접 가져와 실무형 실습 둘러보기를 참조하세요.

고급 Python 지원과 구성 유연성이 더 필요한 사용자를 위해 추가적인 2가지 통합 방법도 제공합니다.

1. BigQuery Studio에서 사용하는 Python (정식 버전): 데이터 과학자와 Python 개발자는 BigQuery UI에서 노트북을 활용하여 Python을 사용해 BigQuery 데이터를 Claude 모델에 직접 연결할 수 있습니다. 빠른 시작 가이드 및 예시 코드는 BigQuery DataFrames를 사용하는 샘플 노트북을 참고하세요.

2. BigQuery 원격 함수(정식 버전): 이 방법은 높은 유연성과 모든 Claude 모델에 대한 액세스를 제공하여 코딩 작업이 많은 사용자에게 적합합니다. 샘플 GitHub 저장소를 살펴보고 시작하세요. BigQuery DataFrames를 활용해 원격 함수를 자동으로 만들고 Claude에서 추론을 수행하는 이 샘플 노트북을 사용해 볼 수도 있습니다.

BigQuery와 Anthropic Claude의 통합으로 생성형 AI를 범용화하고 모든 규모의 기업이 데이터의 잠재력을 최대한 활용하는 데 큰 진전을 이루고 있습니다. 이 통합을 살펴보고 데이터 분석 워크플로를 어떻게 혁신할 수 있는지 확인하세요.