Google Cloud、大規模言語モデルで NLP を強化

※この投稿は米国時間 2022 年 9 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。

昨今では、自然言語理解（NLU）は飛躍的な進歩を遂げ、徐々に複雑な問題を解決できるようになって人工知能に新しい風を吹き込んでいます。たとえば、Everyday Robots は新しい言語モデルを使用して、より便利なロボットを開発しています。このロボットは、ユーザーの指示を理解し、複雑なテキスト入力を想像力に富んだビジュアルに変換することもできます。

このような NLU の進化は、人間の言語を理解するようにトレーニングされたニューラル ネットワークが実現しています。2017 年の Google による Transformer アーキテクチャの導入、GPT-3 などの大量のデータを使用してトレーニングされた大規模モデルの導入、最近では GLaM、LaMDA、PaLM によって、このテクノロジーは大きく進歩しました。この最新世代のモデルは、そのスケールとトレーニング対象のデータの規模から、大規模言語モデル（LLM）と呼ばれ、より強力なデジタル アシスタントの作成、より適切な検索結果やプロダクト推奨事項の生成、よりスマートなプラットフォーム キュレーションおよび安全機能の適用などのさまざまなタスクに応用できます。

Google はこれらを鑑み、Google Cloud Natural Language（NL）API をコンテンツの分類（Content Classification）を目的とした新しい LLM ベースのモデルで更新いたしました。

Natural Language API の Content Classification 最新バージョンは、拡張可能な事前トレーニング済み分類タクソノミーを使用し、最新の Google Research を活用して、ユーザー傾向に関する実用的な分析情報、そしてターゲティング広告やコンテンツベースのフィルタリングといったお客様のユースケースを改善します。Google は、LLM がもつ能力を Google Cloud に導入するためにさまざまな取り組みを行っています。この記事では、その中の最初の一つ、NL API の新しい機能を紹介します。

機械による人間の言語の理解を支援する LLM

Andrew Moore（Google Cloud VP 兼 AI および業種別ソリューション担当ジェネラル マネージャー）は、「コンピュータ システムがもっと自然言語に精通するようになれば、ユーザーの意図を理解するだけでなく、複雑な特注のソリューションも作成できる、より高度なユースケースの基礎になる」と主張します。Google は、Cloud NL API の v2 分類モデルの改良に直接貢献している LaMDA や PaLM などの LLM プロジェクトでこの分野をリードするリサーチ フォースです。

言語の解析は、単語や語句を文脈上および個別に解釈する必要があり、機械にとっては難しい AI タスクです。たとえば、「サーバー」という単語には、コンピュータ、レストランの従業員、またはテニス プレーヤーなどの意味があります。単語を理解するためには、基本的な定義だけでなく、文章や会話の中の単語の前後関係や配置とその発展的な意味合いについても、モデルをトレーニングする必要があります。LLM は Transformer を介して大量のトレーニング データを処理するため、この種の作業に非常に向いています。

Google の最新の言語モデリング テクノロジーのインテグレーションとトレーニング データセットの更新および拡張により、次世代の Content Classification API は、1,000 を超えるラベル（以前の約 600 から増加）を保持するだけでなく、11 言語（以前の英語に加えて、中国語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語、オランダ語）をサポートし、精度も向上しています。

AI は、これらの新しいシステムの公平性、解釈可能性、プライバシー、セキュリティを構築して、どうすれば人と社会に最善の利益をもたらすことができるか、という疑問を提起します。Google では、責任ある AI の開発を優先し、設計を通して責任あるアプローチを組み込むプロダクトを提供する取り組みを行っています。Content Classification については、機密性の高いラベルの使用を制限し、パフォーマンス評価を実施しました。責任あるイノベーションに対するコミットメントの詳細については、責任ある AI への取り組みをご覧ください。

使ってみる

本日の発表は、LLM 機能を Google Cloud AI プロダクトに組み込む第一歩にすぎません。より強力になった Natural Language API による開発者、アナリスト、データ サイエンティストの分析情報の生成や優れたエクスペリエンスの提供の支援をぜひご確認ください。Google のアーリー アドプターは、ユーザーからの推奨事項、ディスプレイ広告のターゲティング、新しいトレンドに関する分析情報を改善するため API を実装しています。

この飛躍的に進化した Google Cloud 言語サービスをご希望のお客様は、NL API に関するドキュメント、Google Cloud の AI サービスの詳細、AI と機械学習のプロダクトをご覧ください。