機密データの保護には多くの強力な機能がありますが、機密データの保護でスキャンする情報量によっては、コストが非常に高くなる可能性があります。このトピックでは、コストを抑えながら正確に目的のデータを機密データの保護でスキャンする、いくつかの方法について説明します。
検査
検査の費用を抑えるには、次のことをおすすめします。
サンプリングを使用して、検査するバイト数を制限する
BigQuery テーブルや Cloud Storage バケットをスキャンする場合、機密データの保護ではデータセットの小規模なサブセットをスキャンできます。これにより、データセット全体をスキャンするというコストは発生せず、一方でスキャン結果のサンプリングを行えます。
機密データが含まれるサンプルを見つけたら、そのデータセットに対する 2 回目の包括的なスキャンのスケジュールを設定し、結果のリスト全体を見つけることができます。
詳細については、極秘データ用のストレージとデータベースの検査で検査したコンテンツの量の制限をご覧ください。
変更されたデータのみをスキャンする
前回の検査以降は変更されていないデータのスキャンをしないように機密データの保護に指示できます。期間を設定すると、データが最後に変更された時間に基づいてスキャンするデータを制御できます。
ジョブトリガーを使用している場合、TimespanConfig
にフラグ enable_auto_population_of_timespan_config
を設定すると、最後にスケジュールされたジョブでスキャンされたコンテンツが自動的にスキップされます。
詳細については、機密データの保護の検査ジョブの作成とスケジュール設定のスキャンを新しいコンテンツのみに制限するをご覧ください。
Cloud Storage 内のファイルのスキャンを、関連するファイルのみに制限する
CloudStorageRegexFileSet
メッセージを指定すると、正規表現フィルタを使用して、バケットに含めるか除外するファイルやフォルダを細かく設定できます。
これは、バックアップ、TMP ファイル、静的ウェブ コンテンツなど、機密データが含まれていないことがわかっているファイルのスキャンをスキップする場合に便利です。
Discovery
データ プロファイリングの費用を抑えるには、次の方法をおすすめします。
見積もりを実行する
データ プロファイリングの操作を開始する前に、まず見積もりを実行することを検討してください。見積もりを実行すると、プロファイリングされる BigQuery データのサイズと形状を把握できます。各見積もりによって、おおよそのテーブル数、データサイズ、プロファイリング コストが確認できます。また、BigQuery データの月間成長予測も表示されます。
見積もりの詳細については、以下をご覧ください。
スキャン構成にスケジュールを追加する
データ プロファイリングの費用管理に役立てるために、スケジュールの作成でフィルタと条件を設定することを検討してください。たとえば、次のような方法があります。
- 特定のテーブルをプロファイリングする必要がない場合は、フィルタに一致するテーブルをプロファイリングしないように指定できます。
- 特定のテーブルのみをプロファイリングする場合は、フィルタに一致するテーブルを除き、すべてのテーブルでプロファイリングをオフにできます。
- 特定のテーブルを 1 回だけプロファイリングしてその後は行わない場合、そのテーブルを再プロファイリングしないよう指定できます。
- 古いテーブルをプロファイリングする必要がない場合は、特定の日付よりも後に作成されたテーブルのみをプロファイリングする条件を設定できます。
- 新しいテーブルをプロファイリングする必要がない場合は、テーブルが特定の経過時間または最小行数に達した場合にのみテーブルをプロファイリングする条件を設定できます。
料金計算ツールを使用する
Google Cloud 料金計算ツールを開きます。
横並びのプロダクト リストをスクロールして、[機密データの保護] をクリックします。検索フィールドに
Sensitive Data Protection
と入力することもできます。機密データの保護のスキャンタイプ(ストレージ スキャンまたはコンテンツ メソッド/オンデマンド)のいずれかを選択します。
データの見積もりを追加します。
- [ストレージ スキャン] で、スキャンする必要がある 1 か月あたりのデータ量の見積もりを入力します(必要に応じて単位をポップアップで調整します)。[Add To Estimate] をクリックします。
- コンテンツ メソッドまたはオンデマンド スキャンについては、1 か月あたりの API 呼び出し数、API 呼び出しごとの検査対象データ、API 呼び出しごとに変換(匿名化)するデータについての見積もりを入力します。[Add To Estimate] をクリックします。
完了したら、[見積もり] ペインで必要に応じて通貨を選択し、1 か月あたりの合計見積もり費用をメモします。見積もりのコピーをメールで受け取るには、[見積もりをメールで送信] をクリックします。見積もりへのリンクをデバイスのクリップボードにコピーするには、[見積もりを保存] をクリックします。
クエリで処理するデータ量が 1 ギガバイト(GB)未満の場合、見積もり額は $0 です。機密データの保護では、1 か月あたり 1 GB のオンデマンド クエリ処理が無料で提供されます。
詳細については、機密データの保護の料金をご覧ください。
ダッシュボードを使用して費用を表示し、監査ログを照会する
機密データの保護の使用量を調整できるように、課金データを表示するためのダッシュボードを作成します。また、使用パターンを分析できるように、機密データの保護への監査ログのストリーミングも検討します。
課金データを BigQuery にエクスポートして、Looker Studio などのツールで可視化できます。課金ダッシュボードの作成方法のチュートリアルについては、BigQuery と Looker Studio を使用した Google Cloud Billing の可視化をご覧ください。
また、監査ログを BigQuery にストリーミングして、ユーザー別のクエリ費用などの使用パターンに関するログを分析することもできます。
予算アラートの設定
予算アラートを設定して、特定の金額に対して利用額がどの程度になっているかを追跡します。予算を設定しても、API の使用の上限は設定されません。利用額が指定された金額に近づいた場合にのみ通知されます。