AI & 機械学習

AI、具体的には BERT が特許業界にどのように役立つか

2020年12月2日

Google Cloud Japan Team

※この投稿は米国時間 2020 年 11 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。

近年、特許業界では機械学習（ML）アルゴリズムを使用して、ビジネスプラクティスに効率化や洞察力を加味する取り組みが始まっています。

イノベーションによって特許を生み出したり、特許に関する出願を処理したり、特許を分析する洗練された方法を開発したりする企業、特許庁、学術機関は、Google Cloud で特許分析と機械学習を行うことでメリットが得られます。

このたび、米国およびその他の国の 1 億を超える特許出版物について、オープンソースツールを使用して BERT（Bidirectional Encoder Representations from Transformers）モデルをトレーニングする手法を概説したホワイトペーパーをリリースいたします。このホワイトペーパーでは、特許出願の新規性を判断するための先行技術調査をより効果的に行う方法、特許分類を補助する分類コードを自動的に生成する方法、オートコンプリートなど、多くのユースケースでトレーニング済みモデルを使用する方法について説明しています。このホワイトペーパーには、GitHub でホストされているトレーニング済みモデルとともに、Colab ノートブックが付属しています。

2018 年に Google が BERT モデル（論文、ブログ投稿、オープンソースコード）をリリースしたことは、重要なブレークスルーとなりました。Transformer を活用したこのモデルは、GLUE、MultiNLI、SQuAD などの主要な NLP ベンチマークで他の主要な最先端モデルを軒並み上回ったのです。リリースして間もなく、BERT フレームワークと多くの追加の Transformer ベースの拡張機能は、検索、chatbot、翻訳など、さまざまな分野の業界で広く採用されました。

特許の技術的特性とビジネス価値により、特許分野は BERT のようなアルゴリズムの応用に適していると考えています。技術的には、特許コーパスは膨大（世界中で毎年何百万もの新しい特許が発行されている）、複雑（特許出願は一般に平均約 10,000 語で、発明者、弁護士、特許審査官によって細心の注意を払って作成される）、ユニークで（特許は非常に専門的な「法律用語」で書かれており、一般人には理解できない）、文脈に大きく依存します（多くの用語は、異なる特許ではまったく異なる意味で使われる）。

また、特許は多くの組織に多大なビジネス価値をもたらしており、企業は年間数百億ドルを費やして特許性のある技術を開発してその技術の使用権を取引し、世界中の特許庁はさらに年間数十億ドルを費やして特許出願の審査を行っています。

Google は、新しいホワイトペーパーとそれに関連するコードやモデルが、ML の適用において、以下のような組織や個人を含む、幅広い特許コミュニティに役立つことを願っています。