Architettura di analisi geospaziali

Last reviewed 2024-03-25 UTC

Questo documento ti aiuta a comprendere le funzionalità geospaziali di Google Cloud e come puoi utilizzarle nelle tue applicazioni di analisi geospaziale. Questo documento è destinato a professionisti, data scientist e sviluppatori di applicazioni che vogliono imparare a utilizzare i prodotti e i servizi disponibili in Google Cloud per fornire insight geospaziali agli stakeholder aziendali.

Panoramica

Google Cloud offre una suite completa di funzionalità di analisi geospaziale e machine learning che possono aiutarti a sviluppare insight per comprendere meglio il mondo, il tuo ambiente e la tua attività. Gli insight geospaziali che ottieni da queste funzionalità di Google Cloud possono aiutarti a prendere decisioni aziendali più accurate e sostenibili senza la complessità e i costi della gestione di un'infrastruttura GIS tradizionale.

Casi d'uso dell'analisi geospaziale

Molte decisioni aziendali fondamentali riguardano i dati sulla posizione. Le informazioni raccolte dalle analisi geospaziali sono applicabili a numerosi settori, aziende e mercati, come descritto nei seguenti esempi:

  • Valutazione del rischio ambientale. Comprendi i rischi derivanti dalle condizioni ambientali prevedendo disastri naturali come inondazioni e incendi boschivi, che possono aiutarti ad anticipare i rischi e a pianificarli in modo più efficace.
  • Ottimizzazione della selezione dei siti. Combina le metriche del sito di proprietà con i dati disponibili pubblicamente come i modelli di traffico e la mobilità geografica, poi utilizza l'analisi geospaziale per trovare le località ottimali per la tua attività e prevedere i risultati finanziari.
  • Pianificare la logistica e i trasporti. Gestisci meglio le operazioni della flotta, come la logistica dell'ultimo miglio, analizzare i dati di veicoli autonomi, gestire la ferrovia di precisione e migliorare la pianificazione della mobilità incorporando i dati geospaziali nel processo decisionale aziendale.
  • Comprendere e migliorare la salute e la resa del suolo. Analizza milioni di acri di terreno per comprenderne le caratteristiche e aiutare gli agricoltori ad analizzare le interazioni tra le variabili che influenzano la produzione agricola.
  • Gestione dello sviluppo sostenibile. Mappa le condizioni economiche, ambientali e sociali per determinare le aree di interesse per la protezione e la salvaguardia dell'ambiente.

Componenti di base per il cloud geospaziale

L'architettura di analisi geospaziale può essere composta da uno o più componenti cloud geospaziali, a seconda del caso d'uso e dei requisiti. Ogni componente offre funzionalità diverse che funzionano insieme per formare un'architettura di analisi cloud geospaziale unificata e scalabile.

I dati sono la materia prima per fornire informazioni geospaziali. I dati geospaziali di qualità sono disponibili da diverse fonti pubbliche e di proprietà. Le origini di dati pubbliche includono i set di dati pubblici di BigQuery, il catalogo di Earth Engine e lo Stati Uniti Geological Survey (USGS). Le origini dati proprietarie includono sistemi interni come SAP e Oracle e strumenti GIS interni come Esri ArcGIS Server, Carto e QGIS. Puoi aggregare i dati di più sistemi aziendali, tra cui gestione dell'inventario, analisi di marketing e logistica della catena di fornitura, per poi combinare i dati con i dati di origine geospaziali e inviare i risultati al data warehouse geospaziale.

A seconda del tipo di dati e della destinazione di un'origine, potresti essere in grado di caricare le origini dati geospaziali direttamente nel data warehouse di analisi. Ad esempio, BigQuery dispone di supporto integrato per il caricamento di file GeoJSON delimitati da nuove righe e Earth Engine dispone di un catalogo dati integrato con una raccolta completa di set di dati pronti per l'analisi. Puoi caricare altri dati in altri formati tramite una pipeline di dati geospaziali che pre-elabora i dati geospaziali e li carica nel tuo data warehouse aziendale in Google Cloud. Puoi creare pipeline di dati pronte per la produzione utilizzando Dataflow. In alternativa, puoi utilizzare una soluzione partner come ETL spaziale FME.

Il data warehouse aziendale è il nucleo della tua piattaforma di analisi geospaziale. Dopo che i dati geospaziali sono stati caricati nel data warehouse, puoi iniziare a creare applicazioni e insight geospaziali utilizzando alcune delle seguenti funzionalità:

L'architettura funge quindi da singolo sistema che puoi utilizzare per archiviare, elaborare e gestire i dati su larga scala. L'architettura consente inoltre di creare ed eseguire il deployment di soluzioni di analisi avanzate in grado di produrre insight non applicabili su sistemi che non includono queste funzionalità.

Tipi di dati geospaziali, formati e sistemi di coordinate

Per aggregare i dati geospaziali in un data warehouse come BigQuery, devi comprendere i formati dei dati geospaziali che potresti incontrare nei sistemi interni e da fonti pubbliche.

Tipi di dati

I tipi di dati geospaziali rientrano in due categorie: vettoriali e raster.

I dati vettoriali sono composti da vertici e segmenti di linee, come mostrato nel diagramma seguente.

Esempi di immagini vettoriali (punto, linestring, poligono, multipoligoni e raccolte).

Esempi di dati vettoriali includono confini catastali, diritti di precedenza pubblici (strade) e posizioni delle risorse. Poiché i dati vettoriali possono essere archiviati in formato tabulare (riga e colonne), i database geospaziali come BigQuery e PostGIS in Cloud SQL sono eccellenti nell'archiviazione, nell'indicizzazione e nell'analisi dei dati vettoriali.

I dati raster sono composti da griglie di pixel. Esempi di dati raster includono misurazioni atmosferiche e immagini satellitari, come mostrato negli esempi che seguono.

Esempi di immagini raster che mostrano foto aeree di aree geografiche.

Earth Engine è progettato per l'archiviazione e l'analisi su scala planetaria dei dati raster. Earth Engine include la funzionalità di vettorizzazione dei raster, che può aiutarti a classificare le regioni e a comprendere i pattern nei dati raster. Ad esempio, analizzando i dati raster atmosferici nel tempo, è possibile estrarre i vettori che rappresentano le correnti dei venti prevalenti. Puoi caricare ogni singolo pixel raster in BigQuery utilizzando un processo chiamato poligonale, che converte direttamente ogni pixel in una forma vettoriale.

Le applicazioni cloud geospaziali spesso combinano entrambi i tipi di dati per generare insight olistici che sfruttano i punti di forza delle origini dati di ogni categoria. Ad esempio, un'applicazione immobiliare che consente di identificare nuovi siti di sviluppo potrebbe combinare dati vettoriali, come i confini catastali, con dati raster come i dati di altitudine per ridurre al minimo il rischio di inondazione e i costi assicurativi.

Formati dei dati

La seguente tabella elenca i formati più diffusi di dati geospaziali e i modi in cui possono essere utilizzati nella tua piattaforma di analisi.

Formato dell'origine dati Descrizione Esempi
Formato di forma Un formato di dati vettoriali sviluppato da Esri. Consente di memorizzare posizioni geometriche e associare attributi. Geometria delle sezioni del censimento, impronte di edifici
Lavoro di gruppo Un formato di dati vettoriali leggibile pubblicato da OGC. Il supporto per questo formato è integrato in BigQuery. Rappresentazione di geometrie nei file CSV
KB Un equivalente binario efficiente dello spazio di archiviazione di WKT. Il supporto per questo formato è integrato in BigQuery. Rappresentazione di geometrie in file CSV e database
KML Un formato vettoriale compatibile con XML utilizzato da Google Earth e da altri strumenti desktop. Il formato è pubblicato da OGC. Forme di edifici 3D, strade, elementi del terreno
Dati geografici Un formato di dati vettoriali aperto basato su JSON. Funzionalità nei browser web e nelle applicazioni mobile
GeoTIFF Un formato di dati raster ampiamente utilizzato. Questo formato consente di mappare i pixel di un'immagine TIFF a coordinate geografiche. Modelli di altitudine digitali, Landsat

Coordina i sistemi di riferimento

Tutti i dati geospaziali, indipendentemente dal tipo e dal formato, includono un sistema di riferimento coordinate che consente agli strumenti di analisi geospaziale come BigQuery e Earth Engine di associare le coordinate a una posizione fisica sulla superficie terrestre. Esistono due tipi di base di sistemi di riferimento di coordinate: geodetici e planari.

I dati geodetici prendono in considerazione la curvatura della Terra e utilizzano un sistema di coordinate basato su coordinate geografiche (longitudine e latitudine). Le forme geodetiche sono comunemente chiamate aree geografiche. Il sistema di riferimento di coordinate WGS 84 utilizzato da BigQuery è un sistema di coordinate geodetiche.

I dati planari sono basati su una proiezione cartografica come Mercator che mappa le coordinate geografiche su un piano bidimensionale. Per caricare dati planari in BigQuery, devi riproiettare i dati planari nel sistema di coordinate WGS 84. Puoi eseguire questa riproiezione manualmente utilizzando i tuoi strumenti GIS esistenti o una pipeline di dati cloud geospaziali (consulta la sezione successiva).

Considerazioni sulla creazione di una pipeline di dati cloud geospaziale

Come indicato, puoi caricare alcuni dati geospaziali direttamente in BigQuery ed Earth Engine, a seconda del tipo di dati. BigQuery ti consente di caricare dati vettoriali nei formati file WKT, WKB e GeoJSON se i dati utilizzano il sistema di riferimento WGS84. Earth Engine si integra direttamente con i dati disponibili nel catalogo di Earth Engine e supporta il caricamento diretto delle immagini raster nel formato file GeoTIFF.

Potresti rilevare dati geospaziali archiviati in altri formati e che non possono essere caricati direttamente in BigQuery. Oppure i dati potrebbero essere in un sistema di riferimento di coordinate che devi prima riproiettare nel sistema di riferimento WGS84. Analogamente, potresti trovare dati che devono essere pre-elaborati, semplificati e corretti per evitare errori.

Puoi caricare in BigQuery dati geospaziali pre-elaborati creando pipeline di dati geospaziali utilizzando Dataflow. Dataflow è un servizio di analisi gestito che supporta l'elaborazione in modalità flusso e batch dei dati su larga scala.

Puoi utilizzare la libreria Python geobeam che estende Apache Beam e aggiunge funzionalità di elaborazione geospaziale a Dataflow. che consente di leggere i dati geospaziali da varie fonti. che consente inoltre di elaborare e trasformare i dati e caricarli in BigQuery per utilizzarli come data warehouse geospaziale su cloud. La libreria geobeam è open source, quindi puoi modificarla ed estenderla per supportare formati e attività di pre-elaborazione aggiuntivi.

Con Dataflow e la libreria geobeam, puoi importare e analizzare enormi quantità di dati geospaziali in parallelo. La libreria geobeam funziona implementando connettori I/O personalizzati. La libreria geobeam include GDAL, PROJ e altre librerie correlate per semplificare l'elaborazione dei dati geospaziali. Ad esempio, geobeam riproietta automaticamente tutte le geometrie di input nel sistema di coordinate WGS84 utilizzato da BigQuery per archiviare, clusterare ed elaborare i dati spaziali.

La libreria geobeam segue i pattern di progettazione Apache Beam, pertanto le tue pipeline spaziali funzionano in modo simile a quelle non spaziali. La differenza è che utilizzi le classi FileBasedSource personalizzate geobeam per leggere dai file di origine spaziali. Puoi anche utilizzare le geobeam funzioni di trasformazione integrate per elaborare i dati spaziali e implementare funzioni personalizzate.

L'esempio seguente mostra come creare una pipeline che legge un file raster, poligonalizza il raster, lo riproietti in WGS 84 e scrive i poligoni in BigQuery.

with beam.Pipeline(options=pipeline_options) as p:
  (p
   | beam.io.Read(GeotiffSource(known_args.gcs_url))
   | 'MakeValid' >> beam.Map(geobeam.fn.make_valid)
   | 'FilterInvalid' >> beam.Filter(geobeam.fn.filter_invalid)
   | 'FormatRecords' >> beam.Map(geobeam.fn.format_record,
       known_args.band_column, known_args.band_type)
   | 'WriteToBigQuery' >> beam.io.WriteToBigQuery('DATASET.TABLE'))

Analisi dei dati geospaziali in BigQuery

Quando i dati sono in BigQuery, puoi trasformare, analizzare e modellare i dati. Ad esempio, puoi eseguire query sull'elevazione media di un lotto calcolando l'intersezione di queste aree geografiche e unendo le tabelle utilizzando SQL standard. BigQuery offre molte funzioni che ti consentono di creare nuovi valori geografici, calcolare le misurazioni delle aree geografiche, esplorare la relazione tra due aree geografiche e altro ancora. Puoi eseguire l'indicizzazione geospaziale gerarchica con celle della griglia S2 utilizzando le funzioni di BigQuery S2. Inoltre, puoi utilizzare le funzionalità di machine learning di BigQuery ML per identificare pattern nei dati, ad esempio creazione di un modello di machine learning K-means per eseguire il clustering dei dati geospaziali.

Visualizzazione, report e implementazione dei dati geospaziali

Google Cloud offre varie opzioni per visualizzare e creare report su dati spaziali e insight per renderli disponibili a utenti e applicazioni. I metodi che utilizzi per rappresentare gli insight spaziali dipendono dai requisiti e dagli obiettivi della tua attività. Non tutte le informazioni spaziali sono rappresentate graficamente. Molti insight vengono forniti al meglio tramite un servizio API come Apigee o salvandoli in un database di applicazioni come Firestore, in modo che gli insight possano potenziare le funzionalità delle applicazioni rivolte agli utenti.

Durante il test e la prototipazione delle analisi geospaziali, puoi utilizzare BigQuery GeoViz per convalidare le query e generare un output visivo da BigQuery. Per i report di business intelligence, puoi utilizzare Looker Studio o Looker per connetterti a BigQuery e combinare le visualizzazioni geospaziali con un'ampia gamma di altri tipi di report al fine di offrire una visualizzazione unificata degli approfondimenti di cui hai bisogno.

Puoi anche creare applicazioni che consentano agli utenti di interagire con insight e dati geospaziali e incorporare questi insight nelle tue applicazioni aziendali. Ad esempio, utilizzando Google Maps Platform, puoi combinare analisi geospaziali, machine learning e dati dell'API di Google Maps in una singola applicazione basata su mappe. Utilizzando librerie open source come deck.gl, puoi includere visualizzazioni e animazioni ad alte prestazioni per raccontare storie basate sulle mappe e rappresentare meglio i tuoi dati.

Google dispone inoltre di un ecosistema solido e in continua crescita di offerte di partner che possono aiutarti a ottenere il massimo dalle tue informazioni geospaziali. Carto, NGIS, Climate Engine e altri ancora hanno funzionalità e offerte specializzate che puoi personalizzare in base al tuo settore e alla tua attività.

Architettura di riferimento

Il seguente diagramma mostra un'architettura di riferimento che illustra l'interazione dei componenti del cloud geospaziale. L'architettura ha due componenti chiave: la pipeline di dati geospaziali e la piattaforma di analisi geospaziale.

Architettura che mostra il flusso da un'origine dati (Earth Engine o Cloud Storage) attraverso una pipeline basata su Dataflow e inserendo i risultati in BigQuery.

Come mostrato nel diagramma, i dati di origine geospaziali vengono caricati in Cloud Storage ed Earth Engine. Da uno di questi prodotti, i dati possono essere caricati tramite una pipeline Dataflow utilizzando geobeam per eseguire le operazioni di pre-elaborazione più comuni, come la convalida delle caratteristiche e la riproiezione della geometria. Dataflow scrive l'output della pipeline in BigQuery. Quando i dati si trovano in BigQuery, possono essere analizzati in loco utilizzando l'analisi e il machine learning di BigQuery oppure sono accessibili da altri servizi come Looker Studio, Looker, Vertex AI e Apigee.

Passaggi successivi