데이터 분석

NOAA와 Google Cloud: 클라우드 기반 데이터 세트 개방

2021년 4월 1일

https://storage.googleapis.com/gweb-cloudblog-publish/images/GoogleBlog_Valentine1.max-2600x2600.jpg

Adrienne Simonson

Business Director, NOAA Big Data Program

Jonathan O'Neil

Director, NOAA Big Data Program

* 본 아티클의 원문은 2021년 2월 13일 Google Cloud 블로그(영문)에 게재되었습니다.

밸런타인데이를 앞두고 미국 해양대기청(NOAA)이 누구나 환경 데이터에 액세스할 수 있도록 데이터를 모두에게 개방합니다. 클라우드는 환경 데이터를 그 어느 때보다도 광범위하게 보급하려는 NOAA의 목표에 완벽하게 부합하는 서비스입니다.

2019년 Google Cloud 공개 데이터 세트 프로그램 및 NOAA 빅데이터 프로그램의 일환으로 NOAA와 Google은 계약을 체결했습니다. 10년간 유지될 수 있는 이 계약에 따라 NOAA는 Google과의 파트너십을 지속하고 NOAA만의 고품질 환경 정보에 대한 신속하고, 개방적이며, 공정하고, 유용한 공개 액세스를 제공하기 위한 노력을 확대할 수 있게 되었습니다.

모두를 위한 데이터 분석 및 액세스 민주화

NOAA는 환경 정보의 보고를 보유한 기관으로, 해양에서 태양에 이르는 모든 과학 데이터를 수집하고 배포합니다. NOAA는 기후, 날씨, 해양, 해안의 변화를 이해하고 예측하여 생태계와 천연 자원을 보존하고 관리하기 위해 노력하고 있습니다. 하지만 다른 여러 연방 기관과 마찬가지로 데이터 검색 가능성을 증진하고 신기술을 도입하는데 어려움을 겪고 있습니다. 자력으로는 보유하고 있는 방대한 양의 데이터를 사람들이 원하는 속도로 공유하기 어려운 것이 현실입니다.

Google과 같은 클라우드 서비스 제공업체와 파트너십을 맺고 Google Cloud 등의 클라우드 플랫폼으로 마이그레이션하면서 연방 데이터 액세스 서비스 사용으로 인한 비용 또는 위험 증가 없이 사용자가 NOAA 데이터 세트에 액세스할 수 있게 되었습니다. 또한 데이터 분석과 접근성을 향상시키는 BigQuery와 Google Cloud Storage 같은 다른 강력한 처리 기술도 활용할 수 있습니다.

Google Cloud와 다른 클라우드 기반 플랫폼은 NOAA 데이터를 무료로 개방하는 동시에 미국 정부의 전반적인 의제에 발맞춘다는 목표를 달성하는 데 도움이 되고 있습니다. 2019년 1월에 법제화된 증거 기반 정책 결정에 관한 법률(Foundations for Evidence-Based Policy Making Act)에서는 일반적으로 미국 정부 데이터를 대중이 사용할 수 있도록 개방할 것을 요구합니다. Google Cloud와 같은 클라우드 서비스 제공업체와의 협력은 NOAA가 데이터 액세스를 민주화하여 공평한 경쟁의 장을 마련하는 데 도움이 됩니다. 클라우드에서는 모두에게 동일한 액세스 권한이 부여되며 선택된 소수가 아닌 다수가 데이터를 활용할 수 있습니다.

NOAA와 Google Cloud가 맺은 파트너십과 같은 데이터 보급 공공-민간 파트너십의 또 다른 중요한 이점은 경제를 활성화하고 혁신을 촉진할 수 있다는 것입니다. 과거에는 사업가가 민간 기상 산업 같은 시장에 진출할 때 진입 장벽이 매우 높았습니다. 자체 시스템과 인프라를 구축하고 유지해야 했기 때문에 적절한 리소스와 연결성을 갖춘 대규모 조직만 시장에 진입할 수 있었습니다.

지금은 Google Cloud에서 NOAA 데이터에 액세스할 때 노트북과 Google 계정만 있으면 됩니다. 장기 유지보수에 대한 부담 없이 Google Cloud에서 자체 HPC 클러스터를 가동하고, 자체 모델을 실행하며, 마켓에 선보일 수 있습니다. 그 결과 중소기업이 NOAA 데이터를 활용하여 이전에는 활동할 수 없었던 영역에서 비즈니스를 운영할 수 있게 되었습니다.

혁신의 핵심인 공공-민간 데이터 파트너십

NOAA의 데이터 세트는 공공-민간 데이터 파트너십의 이점을 입증한 여러 혁신적인 사용 사례에 사용되었습니다. 지금까지 진행된 관련 프로젝트를 몇 가지 소개합니다.

혹등고래 음향 탐지

NOAA의 Pacific Islands Fisheries Science Center에서 15년 넘게 녹음한 수중 오디오를 사용해 Google은 혹등고래 울음소리를 식별하는 알고리즘의 개발을 도왔습니다. 예전에는 헤드폰을 착용한 인력이 하루 종일 수동 음향 모니터링을 통해 고래를 식별했지만 오디오 이벤트 분석을 사용하면서 이러한 작업이 자동화되어 보존 목표의 달성을 수십 년 앞당기는 결과를 얻었습니다. 이제 연구원들은 혹등고래의 존재를 자동으로 식별하는 새로운 기술을 이용하여 선박의 항로와 기타 근해 활동 등 고래에 미치는 인위적 영향을 완화할 수 있습니다. NOAA 산하 National Centers for Environmental Information에서는 다년간의 음향 데이터를 모은 전체 컬렉션을 보관 파일로 만들어 현재 Google Cloud에 공개 데이터 세트로 호스팅하고 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/images/humpback_whale.max-1200x1200.jpg

혹등고래(학명: Megaptera novaeangliae)와 고래 울음소리의 스펙트로그램: 데이터 세트에 포함된 오디오 이벤트 중 하나로, X축은 시간을 나타내며 Y축은 주파수를 나타냅니다.

기상 예측을 통한 화재 감지

생명 보호는 NOAA의 가장 중요한 사명 중 하나입니다. 클라우드와 기타 고급 기술은 사람들에게 정보를 제공하고 안전을 지켜주는 새로운 잠재적 인명구조 기능의 개발을 주도하고 있습니다. NOAA의 GOES-16 위성과 GOES-17 위성은 화재 감지, 위치 식별, 거의 실시간에 가까운 이동 경로 추적에 도움이 되는 중요한 데이터 세트를 제공합니다. 최근 Google에서는 NOAA 데이터와 Google Earth Engine의 데이터 분석 기능을 결합함으로써 새로운 산불 경계도를 도입하여 진행 중인 산불이 영향을 미치는 지역에 대한 심층적인 정보를 제공하고 있습니다.

https://storage.googleapis.com/gweb-cloudblog-publish/original_images/digital_polygon_to_represent_the_approximate_wildfire_impact_area.gif

Google은 NOAA GOES 위성의 데이터와 Google Earth Engine을 사용하여 Google 검색 및 Google 지도에 산불의 대략적인 영향권을 디지털 다각형으로 표시합니다.

Google Cloud 공개 데이터 세트에 포함된 데이터 세트를 비롯하여 NOAA의 데이터 세트를 살펴보고 실험해 보세요 이미 NOAA의 공개 데이터 세트를 사용 중이라면 의견을 들려 주세요. 어떤 데이터를 어떻게 사용하고 있나요? 가장 많이 사용할 것으로 예상하는 데이터는 무엇인가요?

게시 위치