Speech-to-Text を使用したスマートグラスで聴覚障がい者を支援している LLVision の事例

※この投稿は米国時間 2023 年 11 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。

LLVision は、拡張現実（AR）が躍進する時代を迎え入れるお手伝いができることを嬉しく思っています。AR が単なるおもちゃではなくツールとして歓迎されている昨今、そのポテンシャルはさらに膨らんでいくものと考えています。

当社は、産業および公共部門向けのエンタープライズ グレードの AR スマートグラスを開発してきた 9 年間の経験を基盤として、そのイノベーションを善の力として応用し、難聴を抱えながら生活している世界中の人々に貢献することもできています。消費者向けの LEION Hey グラスは、見た目こそ一般的な老眼鏡によく似ていますが、自動音声認識（ASR）テクノロジーが統合されています。これによりリアルタイムに字幕を表示することで、着用者のコミュニケーションを容易にします。

当社は、人間、機械、データ間のインタラクションを AI と AR テクノロジーに取り入れるというビジョンを掲げ、2014 年に北京でスタートしました。それ以来、当社は世界中の 5,000 社以上の企業と連携しており、ユースケースはヘルスケア、セキュリティ、教育、保険、製造などにわたります。

ハーバード ビジネス レビューの最新の記事では、世界最大の航空会社の一つである中国南方航空について、同社の保守、修理、運用（MRO）組織のコミュニケーションと記録管理が、当社の産業向け AR グラスによってどのように合理化されているかが紹介されました。駐機場の整備士はこのグラスを使用して、自動物体認識の補助を受けて航空機部品を識別したり、問題領域の一人称視点をライブ動画で共有したり、音声はもちろん文書、写真、グラフ、動画を表示する機能を使用してエンジニアや他の担当者とリアルタイムで共同作業したりすることができます。

同様に、産業用試験、検査、認証（TIC）サービスの世界的リーダーである Bureau Veritas も、現場スタッフとともに当社の AR グラスを使用しており、費用を削減しながら品質管理を向上させ、問題解決を加速させています。建設 / 土木機械のリーダーである SANY Group にとって、AR グラスは知識の共有を強化し、トレーニングを改善し、より良い顧客体験を提供する強力な機器メンテナンス ソリューションの重要な要素となっています。

SAP とのパートナーシップにより、当社の AR グラスは SAP の AR フィールド サービス管理ソリューションと統合されており、幅広い企業のサービス提供効率の向上、運用リソースの最適化を実現しています。

日常の会話を可視化

製造業、輸送業などの業界におけるビジネスニーズに対応できたことで、世界中のより多くの人々にもっと貢献するため、自社テクノロジーをさらに発展させようと考えるようになりました。2022 年 9 月には、消費者向けの LEION Hey グラスをリリースする準備が整いました。このグラスは、Google Cloud の Speech-to-Text を利用して、その場で話されたことを即座に字幕に転換し、グラス着用者の眼前に表示します。

Google Cloud の ASR テクノロジーにより、LEION Hey グラスは英語、中国語、韓国語、フランス語、ロシア語、スペイン語を含む複数の言語に対応しており、今後さらに多くの言語に対応していく予定です。また、API の統合によって多くの国の顧客へのサービス提供も簡易化されています。その結果、各地域の市場に合わせてプロダクトを再設計する必要がなくなりました。

当社は Google for Startups アクセラレータ: 東南アジアから大きな恩恵を受けました。プロダクトの研究開発とマーケティング戦略に対するアプローチについて、Google Cloud の専門家から多くの貴重なフィードバックをいただきました。アクセラレータに参加したことで、チームの起業家精神が強化されたと思います。Google Cloud チームは、中国の消費者市場業界で 10 年近くを過ごしてきた私たちが再び「新しい」ビジネスを立ち上げるのを支援してくれましたが、今回は世界の消費者市場が対象です。

昨年、もう一つの重要な節目となったのは、当社の LEION Hey グラスがユネスコ Netexplo イノベーション フォーラムで「トップ 10 グローバル科学技術イノベーション賞」を受賞したことです。

この賞は、騒がしい環境や他の人がマスクをしているときに唇を読むことに困難を抱えているお客様など、聴覚障害のあるお客様から寄せられた素晴らしいフィードバックを補完するものです。このグラスは、より良い理解、コミュニケーション、社会的つながりを可能にすることで、多くの人々の人生を変えることができます。

このことは、当社が清華大学と協力して実施した研究によって裏付けられています。その研究では、従来の補聴器を使用している場合と比較して、当社の AR グラスを使用している人の情報取得能力（精度を含む）が 40%～50% 向上していることが明らかになりました。さらに、当社のグラスを使用した研究参加者とスマートフォン アプリの文字起こしを使用した研究参加者を比較したところ、グラスを使用した場合のディスカッションへの参加率は 23% 増加しました。

聴覚障がい者ではないけれども、他の言語でのコミュニケーションの補助を求めている方にとっても、このグラスは非常に役立ちます。また、物事を覚えられるようにしたり、食べ物や輸送を注文するためのインターネット サービスに接続したりするなど、消費者が好む可能性のある AI によるその他の機能も検討しています。

AI によって実現される新たなイノベーションが出現するこの素晴らしい時代に、多くの人々の生活を向上させることができればと考えています。

Google Cloud によるスタートアップのサポートにご関心をお持ちの場合は、こちらのページでプログラムの詳細をご確認ください。また、こちらから更新情報の配信にご登録いただいた方には、コミュニティ活動、デジタル イベント、スペシャル オファーなどの情報をお届けします。

-LLVision、CEO / 共同創業者 Wu Fei 氏