Cloud Logging のご紹介 - BigQuery を活用した Log Analytics

※この投稿は米国時間 2022 年 9 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

ソフトウェア開発ライフサイクルにおいて、ロギングは重要な要素です。これにより、開発者はアプリのデバッグを、DevOps / SRE チームは問題のトラブルシューティングを、セキュリティ管理者はアクセスの分析を行うことができます。Cloud Logging は、大規模なログを確実に取り込み、迅速にログを見つけるための強力なパイプラインを提供します。本日、Cloud Logging の新しい機能セットである Log Analytics が、プレビュー版で利用可能になったことを発表いたします。BigQuery を活用した Log Analytics を使うことで、ログからさらに多くのインサイトと価値を得ることができます。

Log Analytics について

Log Analytics は、BigQuery を活用したログデータの分析に最適化された新しいユーザー エクスペリエンスを備えており、クエリ実行時にログを検索、集計、変換するまったく新しい機能を Cloud Logging に直接提供します。BigQuery は、データドリブンのイノベーションを推進するための、費用対効果に優れたサーバーレスのマルチクラウド データ ウェアハウスです。

Log Analytics では、SQL（図 1 を参照）と BigQuery の機能を活用してログを分析できます。現在、Cloud Logging は従来からの機能と分析機能を Log Analytics を通して提供しています。

• ログルーターによる安全性、コンプライアンス、スケーラビリティに優れたログ取り込みパイプライン

• ログ分析に特化したユーザー インターフェースを備えたマネージド Logging as a Service（LaaS）ソリューション

• Google Cloud、他社のクラウド、オンプレミス全体にわたるログの一元管理サポート

• Error Reporting など、自動化された分析情報と提案

• ログベースの指標とアラートによる、ログのリアルタイムの集計、可視化、アラート

• 柔軟な従量課金制の料金

• 新機能 - アドホックなログ処理のための強力な BigQuery エンジンと SQL オプション

• 新機能 - BigQuery でログ分析を行うすべてのログへの自動読み取り専用アクセス

• 新機能 - ログデータを豊富な形式で可視化（図 2、限定公開プレビュー）

Log Analytics が優れている理由

Log Analytics により、Cloud Logging のユーザーは BigQuery の機能を活用してログデータの分析を実行できます。

• ログの一元管理 – ログデータを専用のログバケットに集めて一元的に保存することで、複数の関係者が同じデータソースからデータを操作できます。データの重複コピーを作成する必要はありません。

• 費用削減と複雑さの緩和 – Log Analytics により、組織全体でデータの再利用が可能になるため、効果的に費用を節約し、複雑さを緩和します。

• アドホックなログ分析 – 複雑な前処理を必要とせずに、アドホックなクエリ実行時のログ分析が可能です。

• スケーラブルなプラットフォーム – Log Analytics は、サーバーレス BQ プラットフォームを使用してオブザーバビリティをスケールし、ペタバイト規模の集計を効率的に実行できます。

Log Analytics は、組織内の複数のユーザー向けに設計されており、サイロを解消することを目的としています。ユーザーから寄せられた、Log Analytics の上位の使用用途は次のとおりです。

1. デベロッパーと DevOps は、インフラストラクチャやアプリケーションのトラブルシューティングに使用

2. セキュリティ チームは、監査ログ分析に使用

3. ネットワーキングの専門家は、ネットワークログ分析に使用

4. ビジネス オペレーション チームは、データを操作して KPI を作成し、将来的にはダッシュボードを作成することができる可能性がある 

料金

Log Analytics は、Cloud Logging の標準料金に含まれています。Log Analytics のユーザー インターフェースから送信されるクエリには、追加料金は一切かかりません。BigQuery での分析の有効化はオプションであり、有効にした場合、データ ポータル、Looker、BigQuery API 経由など、BigQuery のリンクされたデータセットに対して送信されるクエリには BigQuery の標準料金が発生します。

使ってみる

Google Cloud コンソールで Log Analytics ページにアクセスし、既存のログバケットをアップグレードするか、新しいログバケットを作成します。開始にあたっては、サンプルクエリをご確認ください。Log Analytics でのグラフの作成は、限定公開プレビューでご利用いただけます（こちらからご登録ください）。次回のブログ投稿では、ユーザーはいつ、どのように Log Analytics を活用すべきか、Log Analytics の開始方法、そして一般的なユースケースをいくつかご紹介します。また、Google Cloud コミュニティ サイトの Cloud Operations ページでディスカッションにご参加いただくこともできます。

- Google Cloud プロダクト マネージャー Charles Baer