분석을 강화하는 데 가장 많이 사용되는 공개 데이터 세트

  * 본 아티클의 원문은 2020년 12월 18일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud 공개 데이터 세트는 벼 게놈부터 과거 허리케인 데이터에 이르기까지 다양한 데이터를 탐색하고 유용한 정보를 얻을 기회를 제공합니다. 공개 데이터 세트 프로그램에서 200여 개 데이터 세트의 20PB 넘는 데이터를 사용하면 비용, 설정 작업이나 오버헤드 없이 빅데이터와 데이터 분석을 탐색할 수 있습니다. 한 달에 최대 1TB를 무료로 탐색할 수 있으며 결제 계정이 없더라도 BigQuery 샌드박스 사용을 시작할 수 있습니다. 교통 관리 개선을 위해 위치 데이터를 추가하거나 미 국립해양대기청(NOAA)의 기후 데이터를 예측 모델에 추가하는 등으로 공개 데이터를 자체 데이터에 조인하면 유용한 정보를 즉시 얻을 수 있습니다. 소매업체는 인구통계를 시장 분석에 사용할 수 있습니다. 예를 들어 소매업체의 분석가는 인구조사 구역, 우편번호, 카운티의 경계 도형을 사용해 사용자를 매핑할 수 있습니다.

데이터 세트를 사용하면 데이터 포인트를 탐색하고 레이어링하는 데 도움이 되며 기업 고객이 훨씬 더 간편하게 데이터 분석을 수행할 수 있습니다. 유틸리티 데이터 세트를 사용하면 처음부터 만들 필요 없이 유효하고 정제된 데이터 세트로 시작할 수 있습니다.

Legacy SQL 쿼리 또는 표준 SQL 쿼리를 사용해 BigQuery와 Cloud Storage에서 Google Cloud의 공개 데이터 세트에 액세스할 수 있습니다. 아울러 연구자들은 BigQuery ML을 사용해 추가 비용 없이 바로 BigQuery 내에서 이 데이터로 고급 머신러닝 모델을 학습시킬 수 있습니다. BigQuery GIS는 지리정보 데이터를 수집, 처리, 분석하는 편리한 기능을 기본으로 제공하므로 데이터 분석에 위치 구성요소가 필요한 경우에 사용할 수 있습니다.

일반적으로 많이 사용되는 데이터 세트와 활용 사례를 살펴보겠습니다. 

의료 및 연구 데이터에 대한 액세스 확대: 올해 코로나19 공개 데이터 세트는 코로나바이러스를 파악하고 퇴치할 방법을 모색하는 연구자에게 매우 중요한 역할을 했습니다. 2020년 3월에 코로나19 대유행이 시작되자 Google은 초기 무료 공개 데이터 세트 집합을 발표해 연구자, 데이터 과학자, 분석가가 코로나바이러스와 싸울 수 있도록 도왔습니다. 여기에는 코로나19 오픈 데이터의 데이터 세트, 세계은행의 글로벌 의료 데이터, OpenStreetMap 데이터가 포함됩니다. 2021년 9월 15일까지 코로나19 데이터 세트에 무료로 액세스하고 쿼리할 수 있습니다. 또한 Looker 고객은 Marketplace에서 커뮤니티 이동성 데이터 블록이 포함된 코로나19 블록을 설치할 수 있으며 선별된 탐색 환경과 의도에 맞는 대시보드를 사용해 공개 데이터 세트의 분석 속도를 높일 수 있습니다. 누구나 여기에서 대시보드와 탐색 환경에 액세스할 수 있습니다. Looker Demographic 데이터 블록은 미국 지역사회 조사의 인구통계 정보를 포함합니다.

모두에게 코로나19 데이터를 제공할 수 있는 적절한 도구 빌드: 또한 Google Cloud와 파트너사 SADA는 2020년 초에 협력을 통해 여러 데이터 세트를 통합하여 코로나19 대유행의 현장 정보를 확인할 수 있는 오픈 데이터 플랫폼인 국가 대응 포털을 제작했습니다. 오클라호마주 보건부와 주지사실은 확진자 수를 모니터링하고 주민에게 최신 정보를 제공하기 위해 코로나19 공개 데이터 세트와 Looker 데이터 블록을 사용해 주 웹사이트에 대시보드를 빌드했습니다.

자연에 대한 이해를 높이기 위해 날씨, 기후, GIS 데이터 세트 활용: 날씨와 기후는 많은 사람들이 탐색하는 데이터 세트입니다. BigQuery에서는 컬럼비아대학교의 라몬트-도허티 지구 관측소와 Pangeo 프로젝트의 공동작업을 통해 제공되는 기후 시뮬레이션 데이터를 탐색할 수 있습니다. 또한 세계 기후 연구 프로그램은 접합 대순환 모델 6(CMIP6) 데이터 보관 파일을 공개했습니다. 이 데이터 세트는 지속적으로 업데이트되며 완료 시 데이터 양이 20PB에 육박할 전망입니다. 다른 기후 관련 데이터 세트로는 NOAA의 번개 및 허리케인 관련 데이터 세트와 Looker의 기후 데이터 블록 등이 있으며, Looker의 데이터 세트에는 1920년부터 현재까지 미국에서 우편번호 수준으로 집계된 일별 일기 예보가 포함됩니다. 

기온과 같은 데이터 특성을 사용하여 산불을 모니터링하기 위해 GlideFinder에서 플랫폼을 구축하여 위성 데이터를 수집한 방법을 알아보세요. 전 세계의 일별 기온 데이터를 Colab 메모장으로 분석하는 방법도 확인할 수 있습니다. Looker에서 사용자는 날씨 블록을 활용해 날씨 데이터를 분석하고 이를 다시 자체 데이터 소스에 조인해 기후가 사용자의 비즈니스에 어떤 영향을 미치는지에 대한 전반적인 모습을 파악할 수 있습니다.

식량 안보를 지키기 위한 게놈 데이터 사용: Google의 벼 게놈 데이터 세트는 Rice 3K 데이터 세트에서 파생되며 유전 변이, 개체군 구조, 아시아에서 재배되는 3,000종이 넘는 벼 게놈을 분석합니다. Google 연구원들은 유전적 강화 속도를 높여 벼 수확량을 증대하여 식량 안보를 지킨다는 목표로 DeepVariant를 사용해 이 데이터 세트를 재분석했습니다.

블록체인 데이터 세트를 사용해 암호화폐 이해하기: Google의 공개 데이터 세트 프로그램에는 암호화폐 블록체인 데이터 세트 집합이 포함되어 있어 이 현대적인 개념을 더 잘 이해할 수 있습니다. 이 데이터 세트는 비트코인과 이더리움 등 여러 블록체인의 거래 내역으로 구성됩니다. 또한 멀티 체인 메타 분석과 기존 재무 기록 처리 시스템과의 통합을 가능하게 하는 쿼리 집합과 뷰를 확인할 수 있습니다. 

공개 데이터 세트 사용

분석가와 연구자가 다양한 원인과 주제를 깊이 이해하기 위해 공개 데이터를 사용하는 각종 방법을 언제든 Google에 알려주시기 바랍니다. 2020년에는 Google의 코로나 관련 데이터 세트와 기타 공중 보건 데이터 세트를 포함해 데이터가 코로나19에 대응하기 위한 노력에 어떤 도움이 되었는지에 대한 흥미롭고 희망적인 이야기를 들을 수 있었습니다. Google Cloud는 공개 데이터 세트와 더불어 고성능 컴퓨팅 등 기타 기술 리소스를 제공해 코로나19 학술 연구를 지원할 수 있었습니다. 

중요한 사실은 이러한 데이터 세트의 콘텐츠가 철저하게 교육 및 연구 목적으로만 공개된다는 점입니다. Google은 코로나19 공개 데이터 세트의 일부로 PHI 또는 개인 식별 정보 데이터를 추가하거나 관리하지 않습니다. Google은 데이터가 널리 인정받는 환자 개인정보 보호 및 데이터 보안 정책에 따라 처리되도록 하는 관행과 정책을 갖추고 있습니다.

BigQuery에서 공개 데이터 세트로 어떤 작업을 수행하려고 하나요? 시작하려면 BigQuery 샌드박스를 자세히 살펴보세요. 데이터 세트에 관한 아이디어가 있나요? 요청 추적기에 추가하세요.

자세히 알아보기: 

• 지리정보 데이터 탐색을 시작하려면 BigQuery GIS 초보자 가이드를 참조하세요.
• Looker의 블록을 탐색하고 데모를 요청해 자세히 알아보세요.
• 여러 산업으로 구성된 AI 실무자팀이 코로나 대응을 위해 데이터 사용을 확대한 방법을 알아보세요.
• 최신 Kaggle 대회에 참여해 실력을 테스트해 보세요.