コンテンツ フィルタとシステム指示によって Gemini モデルのセキュリティを強化する

※この投稿は米国時間 2025 年 2 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

組織が生成 AI を活用した chatbot やエージェントの導入を急ぐなか、有害なコンテンツの作成を AI モデルに強制する脅威アクターにさらされるリスクを軽減することが重要です。  

このリスクの管理に役立つ Vertex AI の 2 つの強力な機能であるコンテンツ フィルタとシステム指示をご紹介します。ここでは、これらの機能を、一貫性と信頼性の高いやり取りを確保するためにどのように使用できるかについて説明します。

コンテンツ フィルタ: 回答後の防御  

コンテンツ フィルタを使用すると、生成されたテキストを分析し、特定の条件をトリガーする回答をブロックすることで、有害なコンテンツの出力をブロックできます。これは、モデルのジェイルブレイクを試みる脅威アクターに対する多層防御の一部として、Gemini モデルとは独立して機能します。

Vertex AI の Gemini モデルでは、次の 2 種類のコンテンツ フィルタが使用されます。

• 構成不可能な安全フィルタ: 児童性的虐待のコンテンツ（CSAM）や個人を特定できる情報（PII）などの禁止コンテンツを含む出力を自動的にブロックします。

構成可能なコンテンツ フィルタ: 確率スコアと重大度スコアに基づいて、4 つの有害カテゴリ（ヘイトスピーチ、ハラスメント、露骨な性表現、危険なコンテンツ）のブロックしきい値を定義できます。これらのフィルタはデフォルトではオフになっていますが、必要に応じて構成できます。

他の自動システムと同様、これらのフィルタは誤検出を行うことがあり、無害なコンテンツに誤ってフラグを立てる可能性がある点に注意することが重要です。これは、特に会話において、ユーザー エクスペリエンスに悪影響を及ぼす可能性があります。システム指示（以下を参照）は、これらの限界の一部を緩和するのに役立ちます。

システム指示: 安全性をカスタマイズするためのプロアクティブなモデル ステアリング

Vertex AI の Gemini モデル用のシステム指示は、モデルの動作や生成するコンテンツの種類に関する直接的なガイダンスを提供します。具体的な指示を出すことにより、望ましくないコンテンツをモデルが生成しないよう事前にステアリングし、組織固有のニーズを満たすことができます。

システム指示を作成することで、禁止されているトピックやデリケートなトピック、免責事項の文言などのコンテンツ安全性ガイドラインや、ブランド保護ガイドラインを定義し、モデルの出力をブランドのボイス、トーン、価値、ターゲット オーディエンスに合わせることができます。

システム指示には、コンテンツ フィルタと比べて次のような利点があります。

• 有害とする内容や回避したいトピックを具体的に定義できるため、限られたカテゴリに制限されることはありません。

• 規範的かつ詳細に定義できます。たとえば、「ヌードを避ける」とだけ述べるではなく、文化的背景においてヌードが何を意味するのかを定義し、許容される例外を概説できます。

• 指示の反復処理により、ニーズを満たすことができるようになります。たとえば、「危険なコンテンツを避ける」という指示によってモデルが過度に慎重になったり、意図していたよりも幅広いトピックを避けたりしていることに気付いた場合、「暴力的なコンテンツを生成しない」や「違法薬物の使用に関する考察を避ける」のように指示をより具体的にすることができます。

ただし、システム指示には以下の制限があります。

• 理論的には、ゼロショットや他の複雑なジェイルブレイク手法の影響を受けやすくなります。

• 判断がつきにくいトピックに対してモデルが過度に慎重になる原因となる可能性があります。

• 状況によっては、安全に関する複雑なシステム指示が、全体的な出力品質に意図せず影響を与える可能性があります。

コンテンツ フィルタとシステム指示の両方を使用することをおすすめします。

安全性の構成を評価する

独自の評価セットを作成し、特定の構成でのモデルのパフォーマンスを事前にテストできます。有害なコンテンツの検出に対する構成の有効性と、無害なコンテンツが誤ってブロックされる頻度を測定できるよう、有害なセットと無害なセットを別々に作成することをおすすめします。

評価セットに投資することにより、将来変更を実装するときにモデルのテストにかかる時間を短縮できます。

ご利用方法

コンテンツ フィルタとシステム指示はどちらも、Gemini の安全で責任ある使用を確実なものとする役割を担います。最適なアプローチは、具体的な要件とリスク許容度によって異なります。まずは、コンテンツ フィルタと安全性のためのシステム指示に関するドキュメントをご確認ください。

-Google Cloud、シニア プロダクト マネージャー Salah Ahmed
-Google Cloud、グループ プロダクト マネージャー Anand Iyer