Architettura di analisi geospaziali

Last reviewed 2024-03-25 UTC

Questo documento ti aiuta a comprendere le funzionalità geospaziali di Google Cloud e come puoi utilizzare queste funzionalità nelle tue applicazioni di analisi geospaziale. Questo documento è destinato a professionisti dei sistemi di informazione geografica (GIS), data scientist e sviluppatori di applicazioni che vogliono imparare a utilizzare Prodotti e servizi disponibili in Google Cloud per fornire insight geospaziali agli stakeholder aziendali.

Panoramica

Google Cloud offre una suite completa di funzionalità di analisi geospaziale e di machine learning che possono aiutarti a sviluppare approfondimenti per comprendere meglio il mondo, il tuo ambiente e la tua attività. Insight geospaziali offerti da queste funzionalità di Google Cloud possono aiutarti a ottenere decisioni aziendali accurate e sostenibili senza la complessità e le spese della gestione delle infrastrutture GIS tradizionali.

Casi d'uso dell'analisi geospaziale

Molte decisioni aziendali critiche ruotano attorno ai dati sulla posizione. Informazioni raccolte dell'analisi geospaziale sono applicabili in numerosi settori, di attività commerciali e mercati, come descritto nei seguenti esempi:

  • Valutazione del rischio ambientale. Comprendi i rischi derivanti dalle condizioni ambientali prevedendo disastri naturali come inondazioni e incendi, per riuscire a prevedere e pianificare il rischio in modo più efficace.
  • Ottimizzazione della selezione dei siti. Combina le metriche del sito proprietario con dati disponibili pubblicamente come modelli di traffico e mobilità geografica. poi utilizzare l'analisi geospaziale per trovare le posizioni ottimali per il tuo business e per prevedere i risultati finanziari.
  • Pianificare la logistica e i trasporti. Gestire meglio le operazioni del parco risorse come la logistica dell'ultimo miglio, analizzare i dati di veicoli autonomi, gestire la ferrovia di precisione e migliorare la pianificazione della mobilità incorporando i dati geospaziali nel processo decisionale aziendale.
  • Comprendere e migliorare la salute e la resa del suolo. Analizza milioni di dollari di ettari di terreno per comprendere le caratteristiche del suolo e aiutare gli agricoltori analizzare le interazioni tra le variabili che influiscono sulla produzione agricola.
  • Gestione dello sviluppo sostenibile. Mappa le condizioni economiche, ambientali e sociali per determinare le aree di interesse per la protezione e la tutela dell'ambiente.

Componenti di base per il cloud geospaziale

L'architettura di analisi geospaziale può essere costituita da uno o più componenti cloud geospaziali, a seconda del caso d'uso e dei requisiti. Ogni componente offre funzionalità diverse e questi componenti lavorano insieme per formare un'architettura di analisi cloud geospaziale unificata e scalabile.

I dati sono la materia prima per fornire informazioni geospaziali. Dati geospaziali di qualità sono disponibili da una serie di fonti pubbliche e proprietarie. Le fonti di dati pubblici includono i set di dati pubblici di BigQuery, il catalogo Earth Engine e il United States Geological Survey (USGS). Le origini dati di proprietà includono sistemi interni come SAP e Oracle, e strumenti GIS interni come Esri ArcGIS Server Carto e QGIS. È possibile aggregare i dati di più sistemi aziendali, ad esempio: gestione dell'inventario, analisi di marketing, logistica della catena di fornitura e infine per combinare questi dati con quelli di origine geospaziali e inviare i risultati al di un data warehouse geospaziale.

A seconda del tipo di dati e della destinazione di un'origine, potresti essere in grado di caricare le origini dati geospaziali direttamente nel tuo data warehouse di analisi. Ad esempio, BigQuery offre il supporto integrato per il caricamento di file GeoJSON delimitati da una nuova riga, mentre Earth Engine dispone di un catalogo di dati integrato con una raccolta completa di set di dati pronti per l'analisi. Puoi caricare altri dati in altri formati tramite una pipeline di dati geospaziali che pre-elabora i dati geospaziali e li carica nel data warehouse aziendale in Google Cloud. Puoi creare pipeline di dati pronte per la produzione utilizzando Dataflow. In alternativa, puoi utilizzare una soluzione di partner come FME Spatial ETL.

Il data warehouse aziendale è il fulcro delle tue analisi geospaziali completamente gestita. Dopo aver caricato i dati geospaziali nel data warehouse, puoi iniziare a creare applicazioni e approfondimenti geospaziali utilizzando alcune delle seguenti funzionalità:

La tua architettura funge quindi da singolo sistema da usare per archiviare, elaborare e gestire i dati su larga scala. L'architettura ti consente inoltre di creare e implementare soluzioni di analisi avanzata che possono produrre approfondimenti non possibili su sistemi che non includono queste funzionalità.

Tipi di dati, formati e sistemi di coordinate geospaziali

Per aggregare i dati geospaziali in un data warehouse, in BigQuery, devi conoscere i formati dei dati geospaziali che probabilmente incontrerai nei sistemi interni e da fonti pubbliche.

Tipi di dati

I tipi di dati geospaziali si suddividono in due categorie: vettoriali e raster.

I dati vettoriali sono composti da vertici e segmenti di linea, come mostrato nel seguente diagramma.

Esempi di immagini vettoriali (punti, linee, poligoni, poligoni multi e raccolte).

Esempi di dati vettoriali includono i confini catastali e il diritto di passaggio pubblico (strade) e posizioni delle risorse. Poiché i dati vettoriali possono essere archiviati in (riga e colonna), database geospaziali come BigQuery e PostGIS in Cloud SQL eccelle nell'archiviazione, l'indicizzazione e l'analisi dei dati vettoriali.

I dati raster sono composti da griglie di pixel. Esempi di dati raster includono misurazioni atmosferiche e immagini satellitari, come mostrato di seguito esempi.

Esempi di immagini raster che mostrano foto aeree di aree geografiche.

Earth Engine è progettato per l'archiviazione e l'analisi su scala planetaria di immagini raster e i dati di Google Cloud. Earth Engine include la possibilità di vettorizzare i raster, che può aiutarti a classificare le regioni e comprendere i pattern nei dati raster. Ad esempio, analizzando i dati raster atmosferici nel tempo, puoi estrarre vettori che rappresentano le correnti di vento prevalenti. Puoi caricare ogni singolo pixel del raster in BigQuery utilizzando un processo chiamato poligonizzazione, che converte ogni pixel direttamente in una forma vettoriale.

Le applicazioni cloud geospaziali spesso combinano entrambi i tipi di dati per produrre insight olistici che sfruttano i punti di forza delle origini dati da ogni categoria. Ad esempio, un'applicazione immobiliare che aiuta a identificare nuovi siti di sviluppo potrebbe combinare dati vettoriali come i confini dei lotti con dati raster come quelli di elevazione per ridurre al minimo il rischio di inondazioni e i costi assicurativi.

Formati dei dati

La tabella seguente elenca i formati di dati geospaziali più diffusi e i modi in cui possono essere utilizzati nella tua piattaforma di analisi.

Formato dell'origine dati Descrizione Esempi
Shapefile Un formato di dati vettoriali sviluppato da Esri. Consente di vengono memorizzate posizioni geometriche e attributi associati. Geometrie dei lotti del censimento, impronte degli edifici
WKT Un formato di dati vettoriali leggibile che viene pubblicato da OGC. Il supporto di questo formato è integrato in BigQuery. Rappresentazione di geometrie nei file CSV
WKB Un equivalente binario efficiente di archiviazione di WKT. Il supporto di questo formato è integrato in BigQuery. Rappresentazione delle geometrie in file CSV e database
KML Un formato vettoriale compatibile con XML utilizzato da Google Earth e da altri computer i nostri strumenti. Il formato è pubblicato da OGC. Forme, strade, elementi del terreno in 3D
Geojson Un formato di dati vettoriali aperti basato su JSON. Funzionalità in browser web e applicazioni mobile
GeoTIFF Un formato di dati raster ampiamente utilizzato. Questo formato ti consente di mappare i pixel in un file TIFF immagine alle coordinate geografiche. Modelli digitali dell'elevazione, Landsat

Sistemi di riferimento di coordinate

Tutti i dati geospaziali, indipendentemente dal tipo e dal formato, includono una sistema di riferimento delle coordinate che consente a strumenti di analisi geospaziale come BigQuery e Earth Il motore associa le coordinate a una posizione fisica sulla superficie terrestre. Esistono due tipi di sistemi di riferimento di coordinate di base: geodetici e piani.

I dati geodetici tengono conto della curvatura della Terra e utilizzano un sistema di coordinate basato su coordinate geografiche (longitudine e latitudine). Le forme geodetiche sono comunemente chiamate aree geografiche. La WGS84 di riferimento utilizzato da BigQuery è un sistema geodetica sistema di coordinate di rete.

I dati planari si basano su una proiezione mappa come Mercatore che mappa le coordinate geografiche a un piano bidimensionale. Per caricare i dati planari in BigQuery, devi eseguire la riproiezione dei dati planari nel sistema di coordinate WGS 84. Puoi eseguire questa riproiezione manualmente utilizzando il modello strumenti GIS o utilizzando una pipeline di dati cloud geospaziali (vedi la ).

Considerazioni per la creazione di una pipeline di dati cloud geospaziale

Come già detto, puoi caricare alcuni dati geospaziali direttamente BigQuery e Earth Engine, a seconda del tipo di dati. BigQuery ti consente di caricare dati vettoriali nei formati file WKT, WKB e GeoJSON se i dati utilizza il sistema di riferimento WGS 84. Earth Engine si integra direttamente con i dati disponibili nel catalogo Earth Engine e supporta il caricamento diretto delle immagini raster nel formato file GeoTIFF.

Potresti trovare dati geospaziali archiviati in altri formati e che non possono essere caricati direttamente in BigQuery. Oppure i dati potrebbero essere in un di coordinamento del sistema di riferimento che devi prima riproiettare in WGS 84 sistema di riferimento. Analogamente, potresti incontrare dati che devono pre-elaborate, semplificate e corrette per gli errori.

Puoi caricare dati geospaziali pre-elaborati in BigQuery creando pipeline di dati geospaziali Dataflow. Dataflow è un servizio di analisi gestito che supporta i flussi di dati e l'elaborazione batch dei dati su larga scala.

Puoi utilizzare la libreria Python geobeam che estende Apache Beam e aggiunge funzionalità di elaborazione geospaziale a Dataflow. La libreria ti consente di leggere da una varietà di origini. La libreria ti aiuta anche a elaborare e trasformare e caricarli in BigQuery per utilizzarli come dati geospaziali data warehouse su cloud. La libreria geobeam è open source, quindi puoi modificarla ed estenderlo per supportare formati aggiuntivi e attività di pre-elaborazione.

Utilizzando Dataflow e la libreria geobeam, puoi importare e analizzare in parallelo enormi quantità di dati geospaziali. La libreria geobeam funziona implementando connettori I/O personalizzati. La libreria geobeam include GDAL, PROJ, e altre librerie correlate per semplificare l'elaborazione dei dati geospaziali. Per Ad esempio, geobeam riproietta automaticamente tutte le geometrie di input Sistema di coordinate WGS84 utilizzato da BigQuery per archiviare, raggruppare ed elaborare i dati spaziali.

La libreria geobeam segue i pattern di progettazione di Apache Beam, pertanto le pipeline spaziali funzionano in modo simile alle pipeline non spaziali. La differenza è che utilizzi le classi personalizzate geobeam FileBasedSource per leggere dai file di origine spaziali. Puoi anche utilizzare le geobeam funzioni di trasformazione incorporate per elaborare i dati spaziali e implementare le tue funzioni.

L'esempio seguente mostra come creare una pipeline che legge un raster file, poligonizza il raster, la esegue di nuovo in WGS 84 e scrive i poligoni in BigQuery.

with beam.Pipeline(options=pipeline_options) as p:
  (p
   | beam.io.Read(GeotiffSource(known_args.gcs_url))
   | 'MakeValid' >> beam.Map(geobeam.fn.make_valid)
   | 'FilterInvalid' >> beam.Filter(geobeam.fn.filter_invalid)
   | 'FormatRecords' >> beam.Map(geobeam.fn.format_record,
       known_args.band_column, known_args.band_type)
   | 'WriteToBigQuery' >> beam.io.WriteToBigQuery('DATASET.TABLE'))

Analisi dei dati geospaziali in BigQuery

Quando i dati sono in BigQuery, puoi trasformare, analizzare e modellare i dati. Ad esempio, puoi eseguire query sull'elevazione media di un lotto di terreno calcolando l'intersezione di queste aree geografiche e unendo le tabelle utilizzando SQL standard. BigQuery offre molte funzioni che ti consentono di creare nuovi valori geografici, calcolare le misurazioni aree geografiche, esplora la relazione tra due aree geografiche e altro ancora. Puoi eseguire l'indicizzazione geospaziale gerarchica con celle della griglia S2 utilizzando Funzioni di BigQuery S2. Inoltre, puoi utilizzare le funzionalità di machine learning di BigQuery ML per identificare schemi nei dati, ad esempio creare un modello di machine learning k-means per raggruppare i dati geospaziali.

Visualizzazione, report e implementazione geospaziali

Google Cloud offre diverse opzioni per visualizzare e segnalare i tuoi e insight spaziali per renderli disponibili a utenti e applicazioni. I metodi che utilizzi per rappresentare le informazioni spaziali dipendono dai requisiti e dagli scopi della tua attività. Non tutti gli insight spaziali sono rappresentati graficamente. Molti approfondimenti sono meglio forniti tramite un servizio API come Apigee, o salvandoli in un database delle applicazioni come Firestore in modo che possano potenziare le funzionalità delle applicazioni rivolte agli utenti.

Durante il test e la prototipazione delle analisi geospaziali, puoi utilizzare BigQuery GeoViz per convalidare le query e generare un output visivo da BigQuery. Per il reporting di business intelligence, è possibile utilizzare Looker Studio o Looker per connetterti a BigQuery e combinare le tue visualizzazioni geospaziali con un'ampia gamma di altri tipi di report al fine di presentare una visione unificata gli insight di cui hai bisogno.

Puoi anche creare applicazioni che consentono agli utenti di interagire con siti geospaziali e integrare dati e approfondimenti e incorporare queste informazioni nella tua attività diverse applicazioni. Ad esempio, utilizzando la proprietà Google Maps Platform puoi combinare analisi geospaziali, machine learning e dati provenienti API di Google Maps in un'unica applicazione basata su mappe. Utilizzando librerie open source come deck.gl, puoi includere visualizzazioni e animazioni ad alte prestazioni per raccontare storie basate su mappe e rappresentare meglio i tuoi dati.

Google dispone inoltre di un ecosistema solido e in crescita di offerte dei partner che possono aiutarti a sfruttare al meglio le informazioni geospaziali. Cartoon NGIS Climate Engine, e altri hanno ciascuno capacità e offerte specializzate che personalizzarle per il tuo settore e la tua attività.

Architettura di riferimento

Il seguente diagramma mostra un'architettura di riferimento che illustra il modo in cui interagiscono tra loro. L'architettura ha due componenti chiave: la pipeline di dati geospaziali e la piattaforma di analisi geospaziale.

Architettura che mostra il flusso da un'origine dati (Earth Engine o Cloud Storage) attraverso una pipeline basata su Dataflow e inserisce i risultati in BigQuery.

Come mostra il diagramma, i dati di origine geospaziali vengono caricati in Cloud Storage e Earth Engine. Da entrambi i prodotti, i dati possono essere caricati tramite una pipeline Dataflow utilizzando geobeam per eseguire operazioni di preelaborazione comuni come la convalida delle funzionalità e la re-proiezione della geometria. Dataflow: scritture l'output della pipeline in BigQuery. Quando i dati si trovano BigQuery, può essere analizzato sul posto utilizzando analisi di BigQuery e machine learning oppure è accessibile da altri servizi come Looker Studio, Looker, Vertex AI e Apigee.

Passaggi successivi