3co が拡張現実（AR）を用いたデジタル ショッピング エクスペリエンスを Google Cloud で再構築

※この投稿は米国時間 2022 年 5 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

小売業にとって、「買う前に試してみる」体験に近いものを消費者に提供することは非常に重要です。COVID-19（新型コロナウイルス感染症）のパンデミックによりネット ショッピングへの移行がさらに加速し、多くの人が以前は店舗での購入しか検討しなかった商品をオンラインで気軽に購入するようになりました。買い物客にとっての問題は、現在の最先端の拡張現実（AR）技術にも限界があるため、商品を実際に手に取っているかのようにショッピングするのはまだ難しいということです。小売業者は、可能な限り現実的なデジタル エクスペリエンスを作り上げるために多額の投資を続けていますが、これまで以上に多くのデジタル購入の選択肢がある買い物客にとって、その結果は物足りない場合がほとんどです。

買い物客や、エンターテインメントなどの業界でより豊かで没入感のあるエクスペリエンスを求める人たちが満足できる AR エクスペリエンスを提供するためには、デジタル空間における実際の物理的なオブジェクトの描写を継続的に改善および進化させる必要があります。熱心な植物愛好家として言わせてもらえば、オンラインで植物を見たり買ったりする体験はとても満足できるものではありませんでした。そこで、AR で何ができるかを改めて考え、お客様と直に接する AR で植物を購入するアプリを構築しました。しかし、Techstars プログラムに参加している間に、消費者がオンラインで植物を見たり体感したりする方法を改善することは、私たちにとってはるかに大きな、数十億ドル規模のチャンスのほんの一部にすぎないことにすぐに気づきました。2018 年以来、3co はすべての e コマース向けの 3D 技術のスケーリングに（文字どおり）レーザー光線のように集中しています。

Google Cloud で想像と現実のギャップを埋める

このことを考慮したうえで、3co は 3D コンピュータ ビジョンに必要なブレークスルーの開発に着手しました。当社の高度な人工知能（AI）スタックは、企業にオールインワンの 3D コマース プラットフォームを提供し、物理的なオブジェクトの現実的な 3D モデルを簡単かつ費用効率よく作成し、仮想ショールームに設置できるように設計されています。

AR プラットフォームを構築する際、知覚限界を超える精度で 3D シミュレーションを設計するには、膨大なコンピューティング能力が必要であることがすぐにわかりました。幸いなことに、この問題は並列処理によるアプローチが有効です。しかし、従来のノート PC やデスクトップ PC では、複雑な現実世界を超人的な精度で 3D モデル化することは不可能です。

Google for Startups クラウド プログラム の一環として、スタートアップ サクセス マネージャーは 3co が Google の業界をリードするコンピューティング能力をフルに活用できるようサポートしてくれました。いくつかのプロジェクトでは、最も複雑な 3D グラフィックの最適化問題を大規模に解決できる性能を持つスケーラブルな Compute Engine を選択しました。現在 3co は A2 仮想マシンで NVIDIA Ampere A100 Tensor Core GPU を活用し、よりリアルな 3D レンダリングを 10 倍以上速く作成できるようになりました。しかも、これはまだ始まりにすぎません。

Google の途方もなく大きなマシン上に、カスタマイズされたストリーミング GUI をデプロイしたことも誇りに思っています。これにより、アムステルダムやマイアミを含む世界中の同僚が、世界クラスの産業用 GPU で最新の 3D モデルをプラグアンドプレイできるようになりました。超難度の AI や 3D の課題を分散チームで解決している企業には、同様の手法でクラウド リソースの導入を検討することを強くおすすめします。Blender がギガバイト級の 3D モデルを今までにない速さでレンダリングするのを見たときは感動しました。

同様に重要なのは、当社の技術を使用することで、より没入感のある AR エクスペリエンスを数多く提供する必要に迫られている小売、メディア、エンターテイメント、その他の業界の 3D アーティストが、フォトリアリスティックな 3D モデルを生成する費用と速度を 10 分の 1 にまで抑えられることです。3co は自社の作業でこのことを実感しています。なぜなら、強力な GPU、ハイエンドの CPU、大量の RAM を搭載した高度な Compute Engine を利用しているにもかかわらず、最高品質の 3D エクスペリエンスを生成するためのコンピューティング費用が大幅に減少しているのを目の当たりにしたためです。グローバルな顧客ベースに対して業界をリードするコンピューティング能力を迅速にスケーリングすることが目標である場合、Google Cloud のソリューションが適しています。

Cloud Storage は、見落とされがちですが Google Cloud エコシステムのもう一つの重要なコンポーネントであり、3co にとって不可欠なものです。当社が生成、保存、ストリーミングする膨大な量のデータをサポートするためには、ローカル クラウド SSD が提供する高スループット、低レイテンシ、瞬時のスケーラビリティが必要です。ローカル SSD は A2 Compute Engine を補完するもので、仮想マシン インスタンスをホストするサーバーに物理的に接続されています。このローカル構成は、永続ディスクと比較して非常に低いレイテンシで、極めて高い 1 秒あたりの入出力オペレーション（IOPS）をサポートします。

さらに、Cloud Logging はエクサバイト規模のリアルタイムのログ管理を実現します。Pub/Sub を使用したデータレイクにストリーミングされた分析イベントを取り込むため、フロリダ州のマイアミのビーチで楽しく過ごしながら、クラウドですべてが順調に進んでいることを確認できます。

TensorFlow で 3co AI スタックを構築する

世界最先端の 3D コンピュータ ビジョン ソリューションの一つを構築することは、TensorFlow およびそのツール、ライブラリ、コミュニティ リソースの包括的なエコシステムなしでは不可能だったでしょう。2015 年に TensorFlow がリリースされて以来、私自身、AI 向けのオープンソース Google API であるこの実戦的な技術を使用して、何十ものディープ ラーニング システムを構築してきました。TensorFlow と Google Cloud の組み合わせにより、3co では素材の質感の極めて詳細な計算やあらゆる角度の面における光伝播の表現まで、物理オブジェクトの真のフォトリアリスティックなデジタルモデルを作成するためのコンピューティング能力に合わせてスケーリングできています。  

直近では、3co はニューラル ラディアンス フィールドの TensorFlow 実装（「NeRF」Mildenhall 他、2020 年）上で大きな進歩を遂げています。TensorFlow のこの画期的な AI は、3D モデリング業界にとって真に革新的なものになると注目しています。3D モデリングにおける次の 10 年は、同様のニューラル ネットワークによってさらに形作られ、彩られていくと予測しています（NeRF の論文の著者の重要なポイントは、光伝播の物理ベースのモデルをニューラル ネットワークに学習させることだと私は考えています）。3co の取り組みとして、現在、（1）NeRF のようなニューラル ネットワークを 3D コンピュータ ビジョンからさまざまな主要デバイスのセンサーデータを最適に活用できるように適応させ、（2）これらのニューラル ネットワークに業界標準の 3D モデリング データ構造を学習させて、主要 3D プラットフォームに瞬時にプラグアンドプレイで対応できるようにしています。アイザック ニュートンは「私がより遠くを見ることができたのだとしたら、それは巨人たちの肩に乗っていたからだ」と述べましたが、この巨人とは、まさにテクノロジー最大手のことです。

TensorFlow は、プロトタイピングと一般的な AI の大規模なデプロイの両方において、いくつかの面で主力のソリューションとなっています。内部では、TensorFlow は高度なコンパイラ（XLA）を使用して、基盤となるハードウェア上に計算を割り当てる方法を最適化します。

競合ソリューション（PyTorch、JAX など）と異なり、TensorFlow は TPU（TFLite など）やデバイス アーキテクチャ（iOS、Android、JavaScript など）をまたいで実行するためのバイナリもコンパイルできます。3co は必要とされるすべての場所に最大限の速度と精度で 3D コンピュータ ビジョンを提供することに尽力しているため、この機能は重要です。TensorFlow と Google Cloud の組み合わせにより、3co はスマートフォン、LIDAR スキャナ、AR グラスなどで同じ TensorFlow コードを実行できる 3D コンピュータ ビジョン システム（特許出願中）の実験検証を加速させることができました。

また、TensorFlow は、多数のコンピュータに分散されたトレーニング向けの簡単な API を介して、3co のニューラル ネットワークの高速なトレーニングも可能にします。分散ディープ ラーニングは 2013 年の私の修士論文のテーマでした（Jeff Dean 氏、Andrew Ng 氏、および Google Brain の研究にヒントを得ました）。ですから、その後数年で Google が業界をリードするこれらの機能をオープンソース コミュニティのために最適化するのを見て、私がどれほど嬉しかったかをご想像いただけるかと思います。ディープ ラーニングの並列処理がこの高度な AI を作成するために不可欠であることは一貫して証明されており、3co もその例外ではありません。また、AI のトレーニング速度が上がれば、研究開発テストも早く結論に達します。Sam Altman 氏が言うように、「非常に若いスタートアップ企業の成功に対する第一の予測因子はイテレーションの頻度」です。はじめから、TensorFlow は Google の AI コンピューティングの課題を最大規模で高速化するために構築されましたが、探索の初期段階でも「動作する」のです。TensorFlow と Google Cloud の組み合わせにより、3co は自律的でフォトリアリスティックな 3D モデリングの機能を着実に向上させています。迅速なテストのためのシンプルで柔軟なアーキテクチャにより、コンセプトからコードへ、コードから最先端のデプロイ済み ML モデルへと素早く移行できます。このように Google は TensorFlow を通じて、最新の AI とコンピュータ ビジョンでお客様により良いサービスを提供するために必要な素晴らしいツールを 3co に提供してくれました。

将来的に、3co には Google Cloud Tensor Processing Units（TPU）のスーパーコンピュータに関する大きな計画があるため、さらなるスピードアップと費用の最適化を実現する予定です。Cloud TPU で TensorFlow を実行するには、AI デベロッパーに必要な作業が少しだけ増えますが、Google は、これらの巨大なコンピューティング アーキテクチャ上でのプラグアンドプレイをますます簡単にしています。AI 向けとしてまさに世界水準のサーバーです。2017 年当時の Google の TPU に関する研究を読み、駄菓子屋にいる少年のように興奮したのを覚えています。これは文字どおり何十人もの超スマートなコンピュータ エンジニアの研究開発の絶頂でした。それ以来、TPU のいくつかのバージョンが Google 社内で多くの種類のアプリケーション（例: Google 翻訳）向けにデプロイされ、ますます便利で利用しやすくなっています。3co のようなスタートアップやそのお客様は、これにより大きな恩恵を受けることができます。TPU のような高度なコンピュータ プロセッサの使用により、3co は AI を並列処理し、実際のシーンのフォトリアリスティックな 3D モデリングをリアルタイムに実行することを想定しています。この機能が解き放つ、商業、ゲーム、エンターテインメント、デザイン、建築の可能性を想像してみてください。

Google Cloud とクレジットで 3D コマースをスケーリングする

3co の Google for Startups クラウド プログラムへの参加（Techstars 経由で進行しました。同社にも非常に感謝しています）は、想像と現実の間のギャップを埋めるうえで、当社の成功に大きな影響を与えています。これは、当社が長年取り組んできたミッションであり、今後何年にもわたって引き続き取り組んでいくミッションでもあります。そして、この成功は、Google for Startups サクセスチームのおかげです。本当に素晴らしいチームで、皆さんを大切にケアしてくれます。スタートアップの創業者ならば、ぜひこのチームに問い合わせてみてください。劇的な効果を挙げてくれます。特に、3co に膨大な量のコンピューティング能力へのアクセスを提供してくれた、Google Cloud の研究クレジットをおすすめします。3co が 3D コンピュータ ビジョン サービスを世界中のお客様向けにスケーリングすることを可能にしてくれた Google Cloud には非常に感謝しています。3co が Google の機能を活用することで、多くの人が新しい視点で世界を見ることができるようになり大変嬉しく思っています。  

Google Cloud がスタートアップをサポートする方法について、こちらのページでプログラムの詳細をご確認ください。また、こちらから更新情報の配信にご登録いただいた方には、コミュニティ活動、デジタル イベント、スペシャル オファーなどの情報をお届けします。