AI 기반 쿼리 및 인사이트를 통해 Cloud Storage 사용 현황 파악하기

* 본 아티클의 원문은 2024년 10월 2일 Google Cloud 블로그(영문)에 게재되었습니다. 

Google Cloud Storage는 단순성과 경제성, 무한대에 가까운 확장성 덕분에 클라우드 배포를 위한 핵심 솔루션으로 많은 고객의 선택을 받고 있습니다. 그러나 수많은 프로젝트에서 수백 명의 개발자가 협업하여 수백만에서 수십억 개의 객체를 관리하는 작업은 상당히 복잡할 수 있으며, 분석팀이 데이터를 수동으로 분석하여 인사이트를 얻어야 하는 경우도 많습니다. 2024년 초 Google Cloud는 Cloud Storage를 위한 강력하고 새로운 스토리지 인사이트 생성 기능의 실험 버전을 소개한 바 있습니다. 가장 규모가 크고 성능이 뛰어난 AI 모델인 Gemini를 활용한 스토리지 인사이트 생성 기능을 사용하면 질문을 통해 Cloud Storage 환경에 대한 유용한 인사이트를 발견할 수 있습니다. 

스토리지 인사이트 생성 기능의 이점 

• 수동 데이터 분석 과정을 없애고 신속하게 답을 얻을 수 있습니다.

• 잠재적인 보안 및 규정 준수 위험을 사전에 발견할 수 있습니다.

• 비용 절감 기회를 파악하여 스토리지 비용을 최적화할 수 있습니다.

Google Cloud는 객체 메타데이터를 쿼리하고 대규모 언어 모델(LLM)을 사용하여 특정 환경에 맞는 스토리지 인사이트를 생성하는 최초의 하이퍼스케일 클라우드 제공업체입니다. Cloud Storage 객체 메타데이터에서 직접 생성된 이러한 AI 기반 인사이트는 수십억 개에 달하는 객체 규모에서도 새로운 차원의 제어와 이해를 가능하게 합니다. 이 블로그 게시물은 스토리지 인사이트 생성을 시작하는 방법을 제시하고, AI 어시스턴스가 스토리지 운영에 어떤 도움이 되는지 안내합니다. 

Gemini로 스토리지 인사이트 생성

먼저 여러 Google Cloud 프로젝트와 BigQuery 연결 데이터 세트의 리전에 걸쳐 모든 객체 및 버킷 메타데이터를 수집하고 중앙화하는 새로운 기능인 Storage Insights 데이터 세트를 설정해야 합니다. 각 데이터 세트는 24시간마다 새로고침되며 최대 90일의 과거 데이터를 보관할 수 있습니다. 데이터 세트를 설정하는 동안 Gemini 옵션으로 인사이트 생성을 선택해야 합니다.

초기 설정이 끝나면 데이터 세트에 대한 간단한 요약이 포함된 고급 사용자 환경에 액세스할 수 있게 됩니다. 

시작할 때 활용할 수 있도록 미리 선별하여 검증된 응답이 있는 프롬프트 조합이 제공됩니다. 이 프롬프트는 고객들이 가장 자주 묻는 질문을 바탕으로 선별되었습니다. 맞춤 프롬프트를 작성하기 위한 출발점으로 삼기에도 아주 좋습니다.

선별된 프롬프트 중 하나를 선택하면 검증된 응답이 표시됩니다. 응답은 차트로도 제공되어 복잡한 데이터를 명확한 시각적 표현으로 변환할 수 있으며, 이를 통해 주요 정보를 쉽게 이해하고 분석하며 팀끼리 공유할 수 있습니다.

또한 멀티턴 채팅을 사용하여 인사이트를 더 자세히 살펴보고 나만의 대화형 분석을 실행할 수 있습니다. 아래 예시는 수백만 개의 객체에 대한 메타데이터를 조합하여 자연어 프롬프트에 응답하는 것을 보여줍니다. 모든 응답에는 기본 쿼리가 함께 표시되며 클릭 한 번으로 BigQuery로 이동하여 쿼리를 편집하거나 수정할 수 있습니다.

신뢰성, 정확성, 안전성

생성형 AI의 강력한 기능에도 불구하고 가끔 할루시네이션이 발생할 수 있습니다. 따라서 Google Cloud는 생성된 답변을 평가하는 데 도움이 되는 여러 가지 정보 지표를 함께 제공해 드립니다. 모든 응답에는 간편한 검증을 위해 SQL 쿼리가 포함되며, 선별된 프롬프트에는 '높은 정확성' 태그가 표시되고, 데이터 최신 상태에 대한 유용한 정보가 제공됩니다. 좋아요/싫어요 아이콘을 사용하여 응답에 대한 의견을 공유할 수도 있습니다.

Google Cloud는 자연어를 적절한 SQL 쿼리로 변환하고, 데이터 세트를 쿼리하고, 응답을 요약하는 데 AI 모델을 사용합니다. 고객의 객체와 버킷 메타데이터는 전적으로 고객에게 귀속되며 Google Cloud의 AI 모델 학습에 사용되지 않습니다. 고객이 의견 옵션을 통해 공유하도록 선택하지 않는 한 고객의 프롬프트는 저장되지 않습니다. 데이터 세트에는 선택한 프로젝트를 기반으로 한 객체 및 버킷 메타데이터만 포함되며 객체 콘텐츠에는 액세스할 수 없습니다. 아울러 Google Cloud는 Google의 책임감 있는 AI 접근 방식을 통해 모델의 답변을 검증하고 콘텐츠의 안전성을 높입니다. 

더 단순하고 쉬운 스토리지 관리

새로운 기능과 더불어 Cloud Storage는 규모에 맞게 스토리지를 더욱 쉽고 효율적으로 관리할 수 있는 종합적인 관리 기능을 제공합니다. Cloud Storage 고객이라면 지금 바로 Google Cloud 계정팀에 문의하여 Gemini를 통해 인사이트 생성을 시작해 보세요. 자세한 내용은 Google Cloud Next 2024의 ‘Managing Google Cloud Storage at Scale with Gemini(Gemini로 규모에 맞게 Cloud Storage 관리하기)’ 세션 녹화 동영상을 참조하세요.