ログ分析とは何ですか？
ログ分析とは、アプリケーション、サーバー、ネットワーク デバイス、クラウド インフラストラクチャから機械生成データ（ログ）を収集、一元化、検索、可視化する体系的なプロセスです。データを単に保存するだけでなく、複雑な質問をしてシステムのパフォーマンスを明確に把握するためのツールを提供します。
ログは、デジタル システム内で発生するすべてのイベントをリアルタイムで記録する日記のようなものです。ログ分析は、多くの場合混沌としていて構造化されていないテキストを、構造化されたクエリ可能なデータに変換するエンジンです。このインテリジェンスは、アプリケーション エラーのトラブルシューティング、ネットワーク トラフィックのモニタリング、セキュリティ トレンドの特定に不可欠です。
Google Cloud のログ分析
ログ管理とログ分析
ログ管理とログ分析は同じ意味で使用されることが多いですが、テレメトリーの処理における成熟度の異なる段階を表しています。
ログ管理は、「配管」つまりログの収集、ルーティング、保存、アーカイブに重点を置いています。主な目標は通常、記録の保持とデータ保持ポリシーの遵守の確保です。
ログ分析は、そのマネージド データの上にインテリジェンスを重ねます。強力な検索エンジン、SQL クエリ、可視化ダッシュボードを活用して、異常をプロアクティブに検出します。管理によってデータの存在が保証される一方で、分析によってシステム動作の「理由」が明らかになり、チームは事後対応型のストレージから事前対応型のトラブルシューティングに移行できます。
ログ分析の仕組み
ログイベントのライフサイクルには、作成から分析情報までデータを移動するパイプラインが含まれます。この機械的なフローにより、未加工の機械出力をエンジニアが問題解決に使用できるものに変換します。
データの取り込みと一元化
ソフトウェア エージェントまたは API が、マイクロサービス、ファイアウォール、データベースなどのさまざまなソースからログを収集します。これらのデータは、データサイロを排除するために 1 つの一元化されたリポジトリにストリーミングされ、エンジニアがリクエストがさまざまなシステムレイヤを通過する際の完全なコンテキストを確認できるようにします。
解析とインデックス作成
非構造化テキスト文字列は、JSON などの構造化形式に解析されます。IP アドレス、エラーコード、ユーザー ID などの主要なフィールドが抽出され、インデックスに登録されます。このインデックス作成により、ユーザーは何十億ものログエントリを数分ではなく数秒で検索できます。
解析と可視化
エンジニアは、SQL などのクエリ言語を使用してパターンを特定したり、視覚的なダッシュボードを構築したりします。このステージでは、未加工のログをグラフに変換することで、アクティビティの急増を簡単に特定したり、ログをシステム指標やトレースと関連付けたりできます。
ログ分析の一般的なユースケース
次のシナリオは、チームがログ分析を適用して実際の運用とセキュリティの問題を解決する方法を示しています。
シナリオ | 指示 | SQL クエリの例 |
エラーのトラブルシューティング | ソース別にエラーをカウントして、アプリケーションのどの部分で最も頻繁に障害が発生しているかを特定する。 | SELECT resource.labels.cluster_name, count(*) as error_count FROM my_logs WHERE severity = 'ERROR' GROUP BY 1 |
トラフィックのモニタリング | VPC フローログを使用して、ネットワークを通過するトラフィックの量を確認する。 | SELECT json_payload.src_ip, sum(cast(json_payload.bytes_count as INT64)) as total_bytes FROM vpc_logs GROUP BY 1 |
セキュリティ監査 | 特定のアクションの監査ログを確認して、システムにアクセスしているユーザーをチェックする。 | SELECT proto_payload.authentication_info.principal_email, count(*) FROM audit_logs GROUP BY 1 |
シナリオ
指示
SQL クエリの例
エラーのトラブルシューティング
ソース別にエラーをカウントして、アプリケーションのどの部分で最も頻繁に障害が発生しているかを特定する。
SELECT resource.labels.cluster_name, count(*) as error_count FROM my_logs WHERE severity = 'ERROR' GROUP BY 1
トラフィックのモニタリング
VPC フローログを使用して、ネットワークを通過するトラフィックの量を確認する。
SELECT json_payload.src_ip, sum(cast(json_payload.bytes_count as INT64)) as total_bytes FROM vpc_logs GROUP BY 1
セキュリティ監査
特定のアクションの監査ログを確認して、システムにアクセスしているユーザーをチェックする。
SELECT proto_payload.authentication_info.principal_email, count(*) FROM audit_logs GROUP BY 1
マイクロサービスのデバッグ
数十ものマイクロサービスにわたって単一のリクエストを追跡するのは複雑です。ログ分析とトレース ID を組み合わせることで、デベロッパーは失敗したリクエストの過程をつなぎ合わせ、失敗の原因となっているサービスを正確に特定できます。
脅威ハンティング
セキュリティ アナリストは、ファイアウォール、ID プロバイダ、VPC フローログからのログを使用して、ネットワークを介した不正なアクターのラテラル ムーブメントを追跡し、侵害されたアカウントや公開されたリソースを特定します。
監査とコンプライアンスのレポート
規制対象の業界では、不変のログ ストレージと分析を使用して、特定のレコードに誰がいつアクセスしたかを監査人に証明し、厳格なデータ処理要件を満たしていることを保証します。
ログ分析のメリット
基本的なロギングから高度な分析に移行することで、エンジニアリング チームは運用効率を大幅に高め、投資収益率を向上させることができます。
トラブルシューティングと根本原因分析の迅速化
トラブルシューティングと根本原因分析の迅速化
一元化された検索により、サイト信頼性エンジニア（SRE）は平均修復時間（MTTR）を大幅に短縮できます。個々のサーバーに SSH 接続せずに、サービスの停止の原因となっているエラーログを迅速に特定できるため、チームはサービスをより迅速に復元できます。
予防的なセキュリティとコンプライアンス
予防的なセキュリティとコンプライアンス
ログ分析は、セキュリティ情報およびイベント管理（SIEM）の基盤となります。セキュリティ チームは、ユーザー アクションを大規模に監査することで、脅威のハンティング、不正アクセスの検出、HIPAA や PCI-DSS などのフレームワークへの準拠の維持を行うことができます。
アプリケーション パフォーマンスの向上
アプリケーション パフォーマンスの向上
開発チームはログの傾向を使用して、実行速度の遅いデータベース クエリや隠れたボトルネックを特定します。エンジニアは、経時的な傾向を分析することで、ユーザーがパフォーマンスの問題を報告する前に、非効率的なコードを修正できます。
ログ分析戦略の策定方法
成功する戦略は、単純なログ収集を超えて、ビジネス価値を提供する構造化された分析に移行します。
1. 目標と範囲を定義する: ロギングが必要なシステムを特定し、運用とセキュリティの目標にとって重要な特定のイベントを決定します。
2. ログ形式の標準化: アプリケーション全体で構造化ロギング（JSON など）を実装し、データを簡単に解析してクエリできるようにする
3. 保持ポリシーとルーティング ポリシーを設定する: リアルタイム分析のために「ホット」ストレージに残すログと、コンプライアンスのために「コールド」ストレージにアーカイブするログを決定します。
4. アラートとダッシュボードの自動化: 事前対応型のアラートルールを構築して異常を検出し、問題がエンドユーザーに影響を与える前にチームに通知する
開始にあたりサポートが必要な場合
お問い合わせ信頼できるパートナーと連携する
パートナーを探すもっと見る
すべてのプロダクトを見る
