콘텐츠로 이동하기
데이터 분석

BigQuery에서 상위 25개 Google 검색어 제공

2021년 12월 8일
https://storage.googleapis.com/gweb-cloudblog-publish/images/trends.max-2600x2600.jpg
Antonio Lobato

Software Engineering Manager

Maggy Hu

Product Management Lead, Analytics Hub

* 본 아티클의 원문은 2021년 6월 29일 Google Cloud 블로그(영문)에 게재되었습니다.   

오늘은 Google 트렌드에서 사용 가능한 새로운 공개 데이터 세트 미리보기를 소개하겠습니다. 최초로 Google 소유 검색 데이터를 Google Cloud 데이터 세트에 도입하여 BigQuery 또는 자주 사용하는 비즈니스 인텔리전스 도구를 통해 편리하게 분석할 수 있도록 지원합니다. 

Google 트렌드는 10년 넘게 Google 검색 데이터 샘플을 제공했습니다. 개인 정보 보호를 최우선으로 하며 업계를 선도해 나가기 위해 데이터는 게시되기 전에 익명처리, 색인 생성, 정규화하여 집계됩니다. 기존에는 Google 트렌드 웹사이트에서만 Google 트렌드 데이터에 액세스할 수 있었으며, 유용한 분석 정보를 추가로 얻기 위해 기본 대시보드 데이터를 내보내려면 수동 처리 과정이 필요했습니다. 이제 Google에서는 안전한 비공개 방식으로 BigQuery와 직접적인 상호작용을 제공하고 허용하여 데이터 세트에 대한 액세스를 간소화합니다. 

이러한 BigQuery 데이터 세트는 Analytics Hub에서도 곧 제공될 예정이며, 사용자는 Google 검색을 통해 미국 전역에서 도시 수준에 이르기까지 특정 주제나 검색어에 대한 관심을 측정할 수 있습니다. 마케팅 담당자, 임원은 물론 운영 관리자도 이제 사람들이 무엇을 검색하는지 간편하게 질문하여 분석에 필요한 정보를 얻을 수 있습니다. 예를 들어, 엔드 캡 디스플레이가 현지 잠재고객과 관련성이 높은지 확인하고자 하는 소매업 판매자의 경우 사람들이 해당 시장 지역에서 검색하는 내용에서 아이디어를 얻어 어떤 품목을 배치할지 파악할 수 있습니다. 또는 제품 R&D 이니셔티브 담당자라면 사람들이 검색하는 내용을 기반으로 기존 제품에 도입할 만한 새로운 기능이 무엇인지 알고자 할 수 있습니다. 인기 있고 관련성 높은 항목이 팀의 새로운 제품 라인 출시에 영감을 제공할 수도 있습니다. 이러한 데이터 세트에 포함된 검색어는 담당자가 주목해야 할 사항이 무엇인지 알려주는 지표가 될 수 있습니다.
https://storage.googleapis.com/gweb-cloudblog-publish/images/Announcing_Google_Trends_dataset.max-1000x1000.jpg

“Google 검색 트렌드 데이터는 WPP 대행사 데이터 팀에서 항상 중요한 도구였습니다. WPP는 데이터 다양성이 매우 강력한 능력이라고 믿습니다. 따라서 BigQuery 내에서 새롭게 제공되는 트렌드 데이터 세트를 사용할 수 있게 된 것과 더불어 Analytics Hub 출시 소식에 큰 기대를 걸고 있습니다. 세계 최고 수준의 창의성은 데이터 통계를 바탕으로 하며 사람들의 검색 대상에서 영향을 받기 때문에 Analytics Hub를 통해 얻을 수 있는 운영 효율성과 트렌드 데이터를 통해 얻을 수 있는 정보는 획기적이라고 할 수 있습니다.”

—다이 메이즈, WPP 데이터 및 AI 글로벌 책임자

Google 트렌드 데이터 세트의 작동 방식

Google은 '전 세계의 정보를 정리하여 누구나 유용하게 이용할 수 있도록 제공'한다는 목표에 충실하기 위해 이러한 데이터의 일부를 안전한 비공개 보안 방식으로 공유하고 있습니다. 초기 미리보기에서는 Google 클라우드 데이터 세트를 통해 인기 있는 검색어를 제공합니다. 데이터 세트는 Google Cloud Marketplace에서 액세스할 수 있는 BigQuery 데이터 세트에서 미국의 상위 25개 스토리와 25개 인기 급상승 검색어를 표시합니다. 

https://storage.googleapis.com/gweb-cloudblog-publish/images/Trends_Dataset_in_GCP_Marketplace.max-1400x1400.jpg
Google Cloud Marketplace에서 Google 트렌드 데이터 세트 제공

주요 스토리는 미국 전역에서 하루 동안 가장 많이 검색된 주제를 보여주는 반면 인기 급상승 검색어는 지난 하루 동안 인기가 급상승한 검색어를 보여줍니다. 각 검색어는 Nielsen의 Designated Market Area®(DMA)에 따라 주별로 분류되며 5년 간격으로 검색 내역이 백필되어 보강됩니다.

새로운 상위 검색어와 인기 급상승 검색어는 매일 생성되기 때문에 데이터가 해당 테이블의 새 파티션에 삽입됩니다. 각 주요 스토리와 인기 급상승 검색어 세트는 30일의 유효기간에 도달할 때까지 정적으로 유지됩니다(예: 각 테이블 파티션의 TTL(수명)은 30일입니다). 데이터 세트 목록에 있는 각 테이블의 스키마에 대해 자세히 알아보세요.   

Google 트렌드 데이터 세트 시작하기

Google 트렌드 데이터 세트에 저장된 상위 검색어와 인기 급상승 검색어의 경우 사용자는 BigQuery의 무료 등급을 통해 매달 최대 1TB의 쿼리와 매달 최대 10GB의 스토리지에 무료로 액세스할 수 있습니다. 이 기준점을 초과하는 SQL 쿼리에는 일반 BigQuery 가격 책정이 적용됩니다. 또한 사용자는 BigQuery 샌드박스를 활용하여 샌드박스 한도 및 BigQuery 무료 등급 기준점에 따라 Google Cloud 계정을 생성하거나 신용카드 정보를 제공할 필요 없이 BigQuery에 액세스할 수 있습니다. 

이러한 공개 데이터 세트 테이블을 탐색하려면 BigQuery SQL UI에서 상위 25개 테이블과 25개 인기 급상승 테이블을 쿼리하면 됩니다. 스캔 및 처리되는 데이터를 최소화하려면 쿼리에 파티션 필터를 활용합니다.

로드 중...

가장 인기 있는 검색 트렌드를 인기 급상승 트렌드와 비교하고 오버레이하려면 해당 테이블을 refresh_date 및 week에 대해 조인합니다(특정 refresh_date에 대한 모든 DMA에 동일한 인기 급상승 세트가 존재하기 때문에 여기에서는 조인에서 DMA를 제외할 수 있습니다).

로드 중...

BigQuery UI 외부에서 Looker, 데이터 스튜디오와 같은 친숙한 BI 도구나 파트너 생태계 솔루션을 통해 이 데이터 세트와 상호작용할 수도 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/3_Google_Trends_Top_25_Search_terms.max-1700x1700.jpg

Google 클라우드 데이터 세트의 미래

이는 조직이 분석 이니셔티브를 개선하기 위해 Google의 자사 데이터에 더욱 쉽게 액세스할 수 있도록 하는 여정의 시작에 불과합니다. 향후 블로그 게시물에서 Google 트렌드 데이터의 참조 패턴과 사용 사례, Google Cloud 데이터 세트를 통해 제공되는 제품 로드맵과 기타 데이터 세트 솔루션에 대한 업데이트를 기대해 주시기 바랍니다. 그동안 자체 프로젝트에서 새로운 Google 트렌드 데이터 세트를 살펴보거나, BigQuery를 처음 사용하는 경우 BigQuery 샌드박스를 사용하여 프로젝트를 가동해 보시기 바랍니다.

게시 위치