Cloud OnAir 番組レポート : Google Cloud データ関連ソリューションの最新情報

Cloud OnAir は、Google Cloud の製品をわかりやすく解説し、最新の情報などをいち早く皆様にお伝えする Online 番組です。

5 月 14  日の放送では Google Cloud データ関連ソリューションの最新アップデート情報をグーグル・クラウド・ジャパン合同会社 スペシャリスト カスタマーエンジニアリングの西村 哲徳とカスタマーエンジニアの Sophia Hu がお伝えしました。

Smart Analytics 最新情報

データ分析に必要な情報の収集、分析、格納、可視化などのすべてのプロセスをまとめてスマート アナリティクス ソリューションとして提供してます。今回はこの中でもデータウェアハウス モダナイゼーション、データレイク モダナイゼーション、ストリーミング アナリティクス についてご紹介しました。

データウェアハウス モダナイゼーション

データウェアハウス モダナイゼーションを実現する BigQuery について以下のアップデート情報を説明しました。

• マテリアライズド ビュー （ベータ）

• 性能向上のために事前に集計等のクエリ実行結果を実体化したビュー

• BigQuery Reservations 

• クエリ定額料金プランのスロットの購入、ワークロード管理

• 列レベルのセキュリティ （ベータ） 

• テーブル内のカラムごとにデータアクセス制御を実現し、個人情報や売上情報などのアクセス制御を実施可能

• BigQuery ML 関連

• BigQuery ML で作成したモデルの GCS へのエクスポートをサポート

データレイク モダナイゼーション

データレイク モダナイゼーション関連のアップデートは次の通りです。

• Dataproc

• Dataproc コンポーネント ゲートウェイ（ベータ）: Dataproc のコンポーネントのウェブエンドポイントにセキュアにアクセス可能

• GKE での Dateproc（ベータ）: Dataproc jobs API から GKE クラスタ上で Spark ジョブを実行し、ジョブのさまざまな依存関係を 1 つのコンテナにまとめられる

• Presto デフォルトカタログ に bigquery と bigquery_public_data が含まれる（Image 1.5）: デフォルトで bigquery と bigquery_public_data が含まれるようになり、Prest から bigquery にクエリが実行可能

• Data Catalog

• フルマネージドでスケーラブルなメタデータ管理サービス

ストリーミング アナリティクス

ストリームデータを処理するエンジンである Cloud Dataflowのアップデートは次の通りです。

• Dataflow SQL （GA）

• SQL でストリーミングやバッチジョブを実行

• Interactive Notebook（ベータ）

• JupyterLab notebook を使ったパイプライン開発

• Flex Templates（ベータ）

• テンプレート化できなかった Dataflow Pipeline もテンプレート化可能

Google Cloud データベースのアップデート情報

2019 年後半からの Google Cloud データベース関連のプロダクトに関するアップデート情報です。

Cloud SQL

Cloud SQL はフルマネージドなデータベースサービスです。GCE/GKE/GAE、Cloud Functions、Cloud Run、BigQuery などと容易に連携することができます。

2019 年後半にメンテナンスの通知とスケジュールの変更が可能となるなどのアップデートがありました。

Cloud Spanner

スケールさせることが難しいというリレーショナルデータベースの課題を解決した Cloud Spanner にもアップデートがありました。

シングルノードでの本番環境の構築、オンデマンドバックアップとリカバリなど、より高可用性を確保できるようになっています。また、Spanner ローカルエミュレーターにより、アプリケーションをローカルで開発およびテストが可能となりました。

Cloud Firestore

Firestore の中にあるリアルタイムデータベースと従来の Datastore を統合し、マネージド NoSQL のデータベース Cloud Firestore となりました。Firebase との連携が容易でモバイルのバックエンドとして便利な Native モード、Native モード以上に書き込み能力が高い Datastore モードの 2 種類が提供されてます。

Cloud Firestore にはデベロッパーにとってとても便利な In と array-contains-any オペレーターが追加されました。

Cloud Bigtable

Cloud Bigtable はペタバイト規模のマネージド NoSQL データベースです。低レイテンシー、高スループットを実現し、シームレスなスケーリングが可能です。オープンソースのビッグデータツールとの結合も容易です。

この Bigtable は アクセスパターンなどを可視化する Key Visualizer が改善され、より便利になりました。

Cloud Memorystore

Cloud Memorystore はミリ秒未満のデータアクセスを実現する Redis と Memcashed 向けのインメモリデータストアサービスです。これまでは Redis だけに対応していましたが、3 月から Memcashed にも対応しました。

詳しくは Cloud OnAir のアーカイブ映像でご確認ください。

番組で説明した資料はこちらで公開しています。

Cloud OnAir では、各回 Google Cloud のエンジニアがトピックを設け、Google Cloud の最新情報を解説しています。見逃した放送、説明資料、さらには視聴者からの質問と回答はこちらよりご覧いただけます。なお、2019 年までの放送分はこちらよりご覧ください。