Arsitektur analisis geospasial

Last reviewed 2024-03-25 UTC

Dokumen ini membantu Anda memahami kemampuan geospasial Google Cloud dan cara menggunakan kemampuan tersebut di aplikasi analisis geospasial Anda. Dokumen ini ditujukan bagi para profesional sistem informasi geografis (GIS), data scientist, dan developer aplikasi yang ingin mempelajari cara menggunakan produk dan layanan yang tersedia di Google Cloud untuk memberikan insight geospasial kepada para pemangku kepentingan bisnis.

Ringkasan

Google Cloud menyediakan serangkaian kemampuan analisis geospasial dan machine learning yang komprehensif yang dapat membantu Anda mengembangkan insight untuk lebih memahami dunia, lingkungan, dan bisnis Anda. Insight geospasial yang Anda dapatkan dari kemampuan Google Cloud ini dapat membantu membuat keputusan bisnis yang lebih akurat dan berkelanjutan tanpa kompleksitas dan biaya untuk mengelola infrastruktur GIS tradisional.

Kasus penggunaan analisis geospasial

Banyak keputusan bisnis penting yang berkisar pada data lokasi. Insight yang diperoleh dari analisis geospasial dapat diterapkan di sejumlah industri, bisnis, dan pasar, seperti yang dijelaskan dalam contoh berikut:

Mengevaluasi risiko lingkungan. Pahami risiko yang ditimbulkan oleh kondisi lingkungan dengan memprediksi bencana alam seperti banjir dan kebakaran hutan, yang dapat membantu Anda mengantisipasi risiko dan merencanakan penanganannya dengan lebih efektif.
Mengoptimalkan pemilihan situs. Gabungkan metrik situs eksklusif dengan data yang tersedia secara publik, seperti pola traffic dan mobilitas geografis, lalu gunakan analisis geospasial untuk menemukan lokasi optimal bisnis Anda dan memprediksi hasil keuangan.
Merencanakan logistik dan transportasi. Mengelola operasi armada dengan lebih baik seperti logistik kilometer terakhir, menganalisis data dari kendaraan otonom, mengelola kereta api presisi, dan meningkatkan perencanaan mobilitas dengan menyertakan data geospasial ke dalam pengambilan keputusan bisnis.
Memahami dan meningkatkan kesehatan dan hasil tanah. Menganalisis jutaan ha lahan untuk memahami karakteristik tanah dan membantu petani menganalisis interaksi antara variabel yang memengaruhi produksi tanaman.
Mengelola pembangunan berkelanjutan. Memetakan kondisi ekonomi, lingkungan, dan sosial untuk menentukan area fokus perlindungan dan pelestarian lingkungan.

Elemen penyusun cloud geospasial

Arsitektur analisis geospasial Anda dapat terdiri dari satu atau beberapa komponen cloud geospasial, bergantung pada kasus penggunaan dan persyaratan Anda. Setiap komponen menyediakan kemampuan yang berbeda, dan komponen ini bekerja sama untuk membentuk arsitektur analisis cloud geospasial yang terpadu dan skalabel.

Data adalah bahan mentah untuk memberikan insight geospasial. Data geospasial yang berkualitas tersedia dari sejumlah sumber publik dan eksklusif. Sumber data publik mencakup set data publik BigQuery, katalog Earth Engine, dan Survei Geologi Amerika Serikat (USGS). Sumber data eksklusif mencakup sistem internal seperti SAP dan Oracle, serta alat GIS internal seperti Esri ArcGIS Server, Carto, dan QGIS. Anda dapat menggabungkan data dari beberapa sistem bisnis, seperti pengelolaan inventaris, analisis pemasaran, dan logistik supply chain, lalu menggabungkan data tersebut dengan data sumber geospasial dan mengirimkan hasilnya ke data warehouse geospasial Anda.

Bergantung pada jenis data dan tujuan sumber, Anda mungkin dapat memuat sumber data geospasial langsung ke data warehouse analisis. Misalnya, BigQuery memiliki dukungan bawaan untuk memuat file GeoJSON yang dibatasi baris baru, dan Earth Engine memiliki katalog data terintegrasi dengan koleksi komprehensif set data yang siap untuk analisis. Anda dapat memuat data lain dalam format lain melalui pipeline data geospasial yang melakukan praproses data geospasial dan memuatnya ke dalam data warehouse perusahaan di Google Cloud. Anda dapat membuat pipeline data siap produksi menggunakan Dataflow. Atau, Anda dapat menggunakan solusi partner seperti ETL Spasial FME.

Data warehouse perusahaan adalah inti dari platform analisis geospasial Anda. Setelah data geospasial dimuat ke data warehouse, Anda dapat mulai membangun insight dan aplikasi geospasial menggunakan beberapa kemampuan berikut:

Kemampuan machine learning yang tersedia di BigQuery ML dan Vertex AI.
Alat pelaporan dan intelijen bisnis seperti BigQuery GeoViz, Looker Studio, dan Looker.
Layanan API yang tersedia di Google Cloud seperti Apigee.
Kemampuan analisis dan kueri geospasial yang tersedia di BigQuery.
Fungsi geografi SQL di BigQuery, yang memungkinkan Anda menjalankan kueri dan komputasi geospasial.
Kemampuan machine learning yang terintegrasi dalam Earth Engine.

Arsitektur Anda kemudian berfungsi sebagai sistem tunggal yang dapat Anda gunakan untuk menyimpan, memproses, dan mengelola data dalam skala besar. Arsitektur ini juga memungkinkan Anda membuat dan men-deploy solusi analisis lanjutan yang dapat menghasilkan insight yang tidak sesuai pada sistem yang tidak menyertakan fitur ini.

Jenis data, format, dan sistem koordinat geospasial

Untuk menggabungkan data geospasial ke dalam data warehouse seperti BigQuery, Anda harus memahami format data geospasial yang kemungkinan akan Anda temui di sistem internal dan dari sumber publik.

Jenis data

Jenis data geospasial dibagi menjadi dua kategori: vektor dan raster.

Data vektor terdiri dari verteks dan segmen garis, seperti yang ditunjukkan pada diagram berikut.

Contoh image vektor (titik, linestring, poligon, multipoligon, dan koleksi).

Contoh data vektor meliputi batas persil, hak jalan milik publik (jalan), dan lokasi aset. Karena data vektor dapat disimpan dalam format tabel (baris dan kolom), database geospasial seperti BigQuery dan PostGIS di Cloud SQL unggul dalam penyimpanan, pengindeksan, dan menganalisis data vektor.

Data raster terdiri dari petak-petak piksel. Contoh data raster mencakup pengukuran atmosfer dan citra satelit, seperti yang ditunjukkan pada contoh berikut.

Contoh image raster yang menampilkan foto udara area geografis.

Earth Engine dirancang untuk penyimpanan berskala planet dan analisis data raster. Earth Engine mencakup kemampuan untuk memvektorkan raster, yang dapat membantu Anda mengklasifikasikan wilayah dan memahami pola dalam data raster. Misalnya, dengan menganalisis data raster atmosfer dari waktu ke waktu, Anda dapat mengekstrak vektor yang mewakili arus angin yang berlaku. Anda dapat memuat setiap piksel raster ke BigQuery menggunakan proses yang disebut poligonisasi, yang mengonversi setiap piksel secara langsung menjadi bentuk vektor.

Aplikasi cloud geospasial sering kali menggabungkan kedua jenis data untuk menghasilkan insight holistik yang memanfaatkan kekuatan sumber data dari setiap kategori. Misalnya, aplikasi real estate yang membantu mengidentifikasi lokasi pengembangan baru dapat menggabungkan data vektor seperti batas bidang dengan data raster seperti data elevasi untuk meminimalkan risiko banjir dan biaya asuransi.

Format data

Tabel berikut mencantumkan format data geospasial populer dan cara penggunaannya di platform analisis Anda.

Format sumber data	Deskripsi	Contoh
Shapefile	Format data vektor yang dikembangkan oleh Esri. Hal ini memungkinkan Anda menyimpan lokasi geometris dan mengaitkan atribut.	Geometri jalur sensus, jejak bangunan
WKT	Format data vektor yang dapat dibaca manusia yang dipublikasikan oleh OGC. Dukungan untuk format ini di-build ke dalam BigQuery.	Representasi geometri dalam file CSV
WKB	Setara biner yang hemat penyimpanan dari WKT. Dukungan untuk format ini di-build ke dalam BigQuery.	Representasi geometri dalam file CSV dan database
KML	Format vektor yang kompatibel dengan XML digunakan oleh Google Earth dan alat desktop lainnya. Format ini dipublikasikan oleh OGC.	Bentuk bangunan 3D, jalan, fitur tanah
Geojson	Format data vektor terbuka yang didasarkan pada JSON.	Fitur di browser web dan aplikasi seluler
GeoTIFF	Format data raster yang banyak digunakan. Format ini memungkinkan Anda memetakan piksel dalam image TIFF ke koordinat geografis.	Model elevasi digital, Landsat

Sistem referensi koordinat

Semua data geospasial, terlepas dari jenis dan formatnya, menyertakan sistem referensi koordinat yang memungkinkan alat analisis geospasial seperti BigQuery dan Earth Engine mengaitkan koordinat dengan lokasi fisik di permukaan bumi. Ada dua jenis dasar sistem referensi koordinat: geodesi dan planar.

Data geodesi memperhitungkan kelengkungan bumi, dan menggunakan sistem koordinat berdasarkan koordinat geografis (bujur dan lintang). Bentuk geodesi biasanya disebut sebagai geografis. Sistem referensi koordinat WGS 84 yang digunakan oleh BigQuery adalah sistem koordinat geodesi.

Data planar didasarkan pada proyeksi peta seperti Mercator yang memetakan koordinat geografis ke bidang dua dimensi. Untuk memuat data planar ke BigQuery, Anda perlu memproyeksikan ulang data planar ke dalam sistem koordinat WGS 84. Anda dapat melakukan proyeksi ulang ini secara manual menggunakan alat GTFS yang sudah ada, atau dengan menggunakan pipeline data cloud geospasial (lihat bagian berikutnya).

Pertimbangan untuk membangun pipeline data cloud geospasial

Seperti yang telah disebutkan, Anda dapat memuat beberapa data geospasial langsung ke BigQuery dan Earth Engine, bergantung pada jenis data. Dengan BigQuery, Anda dapat memuat data vektor dalam format file WKT, WKB, dan GeoJSON jika data tersebut menggunakan sistem referensi WGS 84. Earth Engine terintegrasi langsung dengan data yang tersedia di katalog Earth Engine dan mendukung pemuatan image raster secara langsung dalam format file GeoTIFF.

Anda mungkin menemukan data geospasial yang disimpan dalam format lain dan tidak dapat dimuat langsung ke BigQuery. Atau, data mungkin berada dalam sistem referensi koordinat yang harus Anda proyek ulang terlebih dahulu ke dalam sistem referensi WGS 84. Demikian pula, Anda mungkin menemukan data yang perlu diproses sebelumnya, disederhanakan, dan diperbaiki untuk menemukan error.

Anda dapat memuat data geospasial yang telah diproses sebelumnya ke BigQuery dengan mem-build pipeline data geospasial menggunakan Dataflow. Dataflow adalah layanan analisis terkelola yang mendukung streaming dan batch processing data dalam skala besar.

Anda dapat menggunakan library Python geobeam yang memperluas Apache Beam dan menambahkan kemampuan pemrosesan geospasial ke Dataflow. Dengan library ini, Anda dapat membaca data geospasial dari berbagai sumber. Library ini juga membantu Anda memproses dan mengubah data, serta memuatnya ke BigQuery untuk digunakan sebagai data warehouse cloud geospasial Anda. Library geobeam adalah open source, sehingga Anda dapat memodifikasi dan memperluasnya untuk mendukung format tambahan dan tugas prapemrosesan.

Dengan Dataflow dan library geobeam, Anda dapat menyerap dan menganalisis data geospasial dalam jumlah besar secara paralel. Library geobeam berfungsi dengan menerapkan konektor I/O kustom. Library geobeam menyertakan GDAL, PROJ, dan library terkait lainnya untuk mempermudah pemrosesan data geospasial. Misalnya, geobeam secara otomatis memproyeksikan ulang semua geometri input ke sistem koordinat WGS84 yang digunakan oleh BigQuery untuk menyimpan, mengelompokkan, dan memproses data spasial.

Library geobeam mengikuti pola desain Apache Beam, sehingga pipeline spasial Anda berfungsi mirip dengan pipeline nonspasial. Perbedaannya adalah Anda menggunakan class FileBasedSource kustom geobeam untuk membaca dari file sumber spasial. Anda juga dapat menggunakan fungsi transformasi geobeam bawaan untuk memproses data spasial dan menerapkan fungsi Anda sendiri.

Contoh berikut menunjukkan cara membuat pipeline yang membaca file raster, melakukan poligonisasi raster, memproyeksikan ulang ke WGS 84, dan menulis poligon ke BigQuery.

with beam.Pipeline(options=pipeline_options) as p:
  (p
   | beam.io.Read(GeotiffSource(known_args.gcs_url))
   | 'MakeValid' >> beam.Map(geobeam.fn.make_valid)
   | 'FilterInvalid' >> beam.Filter(geobeam.fn.filter_invalid)
   | 'FormatRecords' >> beam.Map(geobeam.fn.format_record,
       known_args.band_column, known_args.band_type)
   | 'WriteToBigQuery' >> beam.io.WriteToBigQuery('DATASET.TABLE'))

Analisis data geospasial di BigQuery

Setelah data berada di BigQuery, Anda dapat mengubah, menganalisis, dan membuat model data. Misalnya, Anda dapat membuat kueri elevasi rata-rata perlahan denganmenghitung titik pertemuan dari geografi tersebut dan menggabungkan tabel menggunakan SQL standar. BigQuery menawarkan banyak fungsi yang memungkinkan Anda membuat nilai geografi baru, menghitung pengukuran geografis, menjelajahi hubungan antara dua geografi, dan lainnya. Anda dapat melakukan pengindeksan geospasial hierarkis dengan sel petak S2 menggunakan fungsi BigQuery S2. Selain itu, Anda dapat menggunakan fitur machine learning dari BigQuery ML untuk mengidentifikasi pola dalam data, seperti membuat model machine learning k-means untuk mengelompokkan data geospasial.

Visualisasi, laporan, dan deployment geospasial

Google Cloud menyediakan beberapa opsi untuk memvisualisasikan dan melaporkan insight dan data spasial Anda guna mengirimkannya ke pengguna dan aplikasi. Metode yang Anda gunakan untuk mewakili insight spasial bergantung pada persyaratan dan tujuan bisnis Anda. Tidak semua insight spasial ditampilkan secara grafis. Banyak insight sebaiknya dikirimkan melalui layanan API seperti Apigee, atau dengan menyimpannya ke dalam database aplikasi seperti Firestore sehingga insight dapat mendukung fitur di aplikasi yang menghadap pengguna.

Saat menguji dan membuat prototipe analisis geospasial, Anda dapat menggunakan BigQuery GeoViz sebagai cara untuk memvalidasi kueri dan menghasilkan output visual dari BigQuery. Untuk pelaporan business intelligence, Anda dapat menggunakan Looker Studio atau Looker untuk terhubung ke BigQuery dan menggabungkan visualisasi geospasial Anda dengan berbagai jenis laporan lainnya untuk menyajikan tampilan terpadu dari insight yang Anda butuhkan.

Anda juga dapat mem-build aplikasi yang memungkinkan pengguna berinteraksi dengan insight dan data geospasial, serta memasukkan insight tersebut ke dalam aplikasi bisnis Anda. Misalnya, dengan menggunakan Google Maps Platform Anda dapat menggabungkan analisis geospasial, machine learning, dan data dari API Maps ke dalam satu aplikasi berbasis peta. Dengan menggunakan library open source seperti deck.gl, Anda dapat menyertakan visualisasi dan animasi berperforma tinggi untuk memberi tahu peta cerita berbasis data dan merepresentasikan data Anda dengan lebih baik.

Google juga memiliki ekosistem penawaran partner yang andal dan terus berkembang, yang dapat membantu Anda memaksimalkan insight geospasial Anda. Carto, NGIS, Climate Engine, dan yang lainnya masing-masing memiliki kemampuan dan penawaran khusus yang dapat Anda sesuaikan dengan industri dan bisnis Anda.

Arsitektur referensi

Diagram berikut menunjukkan arsitektur referensi yang menggambarkan cara komponen cloud geospasial berinteraksi. Arsitektur ini memiliki dua komponen utama: pipeline data geospasial dan platform analisis geospasial.

Arsitektur yang menampilkan aliran dari sumber data (Earth Engine atau Cloud Storage) melalui pipeline berdasarkan Dataflow dan menempatkan hasilnya di BigQuery.

Seperti yang ditunjukkan pada diagram, data sumber geospasial dimuat ke Cloud Storage dan Earth Engine. Dari salah satu produk ini, data dapat dimuat melalui pipeline Dataflow menggunakan geobeam untuk melakukan operasi prapemrosesan umum, seperti validasi fitur dan proyeksi ulang geometri. Dataflow menulis output pipeline ke BigQuery. Saat berada di BigQuery, data dapat dianalisis di tempat menggunakan analisis BigQuery dan machine learning, atau dapat diakses oleh layanan lain seperti Looker Studio, Looker, Vertex AI, dan Apigee.