PaLM ベースの管理による AI とオンライン コミュニティの信頼性の向上

※この投稿は米国時間 2023 年 9 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

急速に変化するメディア環境の中でデリケートなコンテンツを特定できるよう開発者を支援するために、このたび Google は Cloud Natural Language API を通じて利用できる PaLM 2 搭載のテキスト管理サービスをリリースすることになりましたのでお知らせします。Jigsaw および Google Research とのコラボレーションにより構築されたこのテキスト管理サービスがあれば、組織はデリケートなコンテンツや有害なコンテンツをスキャンすることができます。このテキスト管理サービスの利用例をいくつかご紹介します。

• ブランド保護: 広告主にとって「ブランドセーフ」ではないと考えられるユーザー作成コンテンツやパブリッシャーのコンテンツから保護します。

• ユーザー保護: 不適切または有害である可能性のあるコンテンツをスキャンします。

• 生成 AI のリスク軽減: 生成モデルからの出力において、不適切なコンテンツが生成されないよう安全保護対策を講じます。

ブランド保護を推進する

ブランド保護とは、このデジタル時代にブランドの評判と信頼性を守ることを目的とする一連の手順のことです。ブランド保護にとって最大のリスクのひとつが、広告に関連するコンテンツです。スポンサー ブランドの価値観に合わないコンテンツがあるウェブサイトに広告が表示されると、ブランドや組織の評判が悪くなる可能性があるため、ブランド ガイドラインに沿わないコンテンツや、ブランドにふさわしくないコンテンツを特定して削除することが企業にとって重要となります。

テキスト管理サービスを使用すると、コンテキストが攻撃的、有害、デリケートである、またはブランドにとって不適切であると判断されるコンテンツを特定できます。このようなコンテンツを特定した組織では、そのコンテンツを広告キャンペーンから削除する、今後そのコンテンツがブランドに関連付けられないようにするなどの措置を講じることで、広告キャンペーンの効果を高め、信頼できるポジティブなコンテンツとブランドを関連付けることができます。

有害なコンテンツからユーザーを守る

デジタル メディア プラットフォーム、ゲーム パブリッシャー、オンライン マーケットプレイスはいずれも、ユーザー作成コンテンツのリスクを軽減することに強い関心を持っています。そのそれぞれがオープンで自由な意見交換を維持するとともに、安全で快適な環境をユーザーに提供したいと考えています。テキスト管理サービスは、人工ニューラル ネットワークを利用してハラスメントや不正行為などの有害なコンテンツを検出、削除することにより、この目標の達成に貢献します。こうした取り組みは、被害を減らし、カスタマー エクスペリエンスや顧客維持率を高めることにつながります。

生成モデルのリスクを軽減する

この 1 年間、AI の進歩を通じてソフトウェアでより確実にテキスト、画像、動画を生成できるようになった結果、ML を利用してコンテンツを作成するテキスト生成ツールなど、新しいプロダクトやサービスが登場しています。ただし、どのような AI コンテンツ生成においても、不注意による場合を含めて不適切な素材が生成されるリスクがあります。

こうしたリスクに対処するために、Google は大規模な生成モデルにおける実際のプロンプトとレスポンスを使用してテキスト管理サービスをトレーニング、評価しました。テキスト管理サービスは汎用性が高く、幅広い種類のコンテンツに対応できるため、有害なコンテンツからユーザーを保護する優れたツールとなります。

Natural Language API を使用してテキスト管理を始める

テキスト管理サービスには、ヘイトスピーチ、いじめ、セクシャル ハラスメントなど、幅広い有害なコンテンツを識別する Google の最新の PaLM 2 基盤モデルが備わっています。既存システムとのインテグレーションが容易で使いやすいこの API は、ほぼすべてのプログラミング言語からアクセスして 16 種の「安全性属性」の信頼スコアを返すことができます。

詳細については、Natural Language AI のウェブサイトでトライアルをお試しいただくか、「テキストを管理する」ページをご覧ください。こちらからテキスト管理の Codelab をご利用いただくこともできます。