BigQuery への地理空間データの読み込みを FME でより簡単に

※この投稿は米国時間 2020 年 3 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

現在利用可能なすべての地理データを使用できるようにするため、Google Cloud の BigQuery データ ウェアハウスでは地理空間のデータ型と関数に対する優れたサポートを提供しています。この独自の機能により、地理空間データの大規模な処理と分析が行えます。地理空間機能を使用するお客様のワークフローの促進に向け、Google Cloud は FME のメーカーである Safe Software 社とパートナーシップを締結しました。

FME は世界中の空間データをサポートできるように設計されたデータ統合プラットフォームです。FME 2020.0 は、450 を超える地理形式やアプリケーションからデータを取り込み、それらを BigQuery テーブルとして具体化する機能を備えています。

無数にある地理空間ファイルとデータ形式のいずれかを取り込んで変換し、そのデータを BigQuery に保管する必要がある場合などに FME は最適です。FME は一般的なデータ統合の問題に対処できるように設計されています。ビジュアル インターフェースを使用して、データの抽出、変換、読み込み、統合、検証、共有を行うワークフローを構築できます。さらに、イベントベースのワークフローを構築して、データ統合タスクの自動化、通知サービスの作成、リアルタイム処理も行うことができます。

FME を使用した BigQuery GIS への接続

GIS には何百種類ものファイル形式や投影があります。それらのデータをデータ ウェアハウスに読み込むには、データ型とその投影をデータ ウェアハウスのネイティブな投影に変換する必要があります。その場合、BigQuery GIS では WGS84 座標系を使用します。スケーラブルなワークフロー: FME でデータ統合ワークフローを構築する場合、1 個から数百個のファイルを一度に取り込んで変換し、それらすべてを FME 内の BigQuery テーブルに直接読み込むことができます。

データ統合ワークフローのオーサリング環境である FME Workbench インターフェースは以下のとおりです。

FME は数百もの形式、アプリケーション、システムをサポートしていて、これにはジオメトリや地理の作成、検証、一般化、座標系の再投影といったデータ操作タスクに役立つ 493 の変換機能が含まれています。さまざまなソースからデータが取り込まれるため、ワークフローでのデータ検証と品質管理が非常に重要になります。変換機能は GUI で操作でき、一貫性のある再現可能な空間データ パイプラインを作成できます。これにより、Google BigQuery などのデータ ウェアハウスに移行されたデータが有効であり、すべての要件を満たしていることを確認できます。

地理空間データを本番環境で使用する

FME と BigQuery を使用しているお客様から、データをより迅速に移動して変換できるためイノベーションに専念できるという声が寄せられています。

ユタ州交通局の 地理情報 担当 IT ディレクターを務める Adam Radel 氏は、次のように述べています。「当社では数年前から、shp、GeoJson、CAD をはじめとしたさまざまなデータ型の変換に FME を使用しています。FME を使用して、わずか数週間で 1,000 個以上のファイルを BigQuery にインポートしました。FME で BigQuery への書き込みが可能になったことで、劇的な変化をもたらすことができました。このような強力なツールをチームが活用できることを本当に嬉しく思います。」  

地理空間データを FME から BigQuery に読み込む方法

読み込みプロセスの仕組みについては、こちらの詳細な説明をご覧ください。この例では、ユーザーが読み込み用のデータ、サンプルのシェイプ ファイルを持っていて、ライセンス版または試用版の FME Desktop がインストールされた仮想マシンまたはローカルマシンを使用していることを前提としています（注: FME には読み込み用のサンプル ファイルがあります）。

すでに実行されている FME をお持ちでない場合は、直接 Google Cloud Marketplace からトライアルを開始してください。手順については、Google Cloud で FME をデプロイする方法をご覧ください。

FME で読み込んだデータを使用するにあたり、BigQuery GIS でのハリケーンパスのプロットや BQML による空間の K 平均法クラスタリングなど、BigQuery GIS でデータをクエリする方法の例を確認することもできます。BigQuery GIS の構文が PostGIS でモデル化されているため、簡単にクエリを作成できます。また、ユーザー インターフェースで [GeoViz で調べる] をクリックすると、結果を見やすい形ですばやく可視化できます。BigQuery をスケーラブルな空間バックエンドとして使用できる、よりスケーラブルでクラウド ネイティブな GIS 可視化ソリューションについては、パートナーである CARTO 社をご覧ください。

-By BigQuery プロダクト マネージャー GIS リード Chad W. Jennings、Safe Software 社プロダクト オーナー Gerhard Fischl 氏