Theta Labs と NASA が BigQuery でストリーミングに科学と希望をもたらした方法

※この投稿は米国時間 2020 年 11 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 今回は、新しいブロックチェーン上でユーザーの力を借りて分散化された動画ストリーミング プラットフォームをリードする Theta Labs にお話を伺います。Theta Labs は、そのピアツーピアの帯域幅共有分散台帳技術によって、ライブ配信エクスペリエンスに革命を起こしました。Google Cloud を採用することで、Theta Labs はブロックチェーン プラットフォーム上で拡大するアクティブなユーザーベースにスケーラブルに対応することができ、SpaceX ロケットの打ち上げをホストするなど、NASA との戦略的パートナーシップの拡大に貢献しています。

2016 年に Theta Labs を設立した際には、リーグ・オブ・レジェンド、CS:GO、Dota2 などの人気 PC ビデオゲームを、没入感のある 360° バーチャル リアリティ体験にレンダリングすることに重点を置いたストリーミング動画サービスを立ち上げることを目標にしていました。しかし実際には、ストリーミング、動画レンダリング、特許を取得したブロックチェーン動画技術に対する当社独自のアプローチのおかげで、NASA の注目を集めるほど大きなものに成長しました。これらすべては、Google Cloud と BigQuery、Dataflow、Pub/Sub、Firestore などのデータベースや分析プロダクトのおかげで実現できました。

動画ストリーミングの高みへの到達

最初に Sliver.tv（現在の Theta.tv）を立ち上げた当時は、特に高速インターネットへのアクセスがほとんどまたはまったくない地域のライブ配信者や視聴者のために、ユニークなライブ配信動画エクスペリエンスを提供することで、競合他社との差別化を図ることを決めていました。当社のブロックチェーンベースのピアツーピア動画配信技術により、ユーザーは帯域幅を他のユーザーと共有することができ、ライブ配信者は今まではできていなかった視聴者にリーチすることが可能になりました。

NASA の注目を集めたのは、よりユニークで遠隔地の視聴者へのリーチを可能にし、より大きな聴衆に新しい発見の機会を与えることができるこの能力でした。NASA は、オーディエンスのほとんどが若い視聴者である当社のサービスに、科学や技術への関心を多くの若者に広める可能性を見いだしました。当社は NASA から NASA のソース動画フィードに直接アクセスできるという特権を与えられており（この特権を与えられている動画サービスは 4、5 社のみ）、最近では NASA の 8 月の女性平等の日の放送を初公開するにあたり、協働させていただきました。

このパートナーシップのこれまでで最大のハイライトは、SpaceX の打ち上げをライブ配信する機会を得たことです。すべての人々がもう少しの希望を必要としていた年に、スペース シャトルの打ち上げを生中継でより多くの人にお届けできたことは、多くの人に宇宙を目指す気持ちを奮い立たせた素晴らしい経験となりました。

クラウドから始まる宇宙の動画

非常に多くの観客を集めるロケットの打ち上げ規模の大きなイベントを促進するとなると、強力なインフラストラクチャが必要です。視聴者やライブ配信者が帯域幅を共有することでメリットを得る当社独自のピアツーピア ブロックチェーン システムで、これらすべてを行うためには Google Cloud の信頼性、スケーラビリティ、安定性の高いインフラストラクチャが必要でした。Google Cloud の強みと、自動スケーリング DevOps ソリューションの作成におけるその支援により、これまでレイテンシやカスタマー エクスペリエンスの問題を引き起こしていた VM の上限に達することなく、これまで以上に多くの視聴者にリーチすることができました。以前は、アプリケーションの需要を満たすためのインフラストラクチャのスケーリングの制限、高コスト、ソリューションの管理と保守に無駄な時間が多すぎるなどの課題に直面していました。

Google Cloud がスケーラビリティを向上させてくれるため、プラットフォーム上のアクティブなライブ配信者の数を制限する必要がなくなりました。Google Cloud は以下を提供してくれました。

• パフォーマンスと実装の柔軟性

• 機能とサポートの幅

• リアルタイムの分析情報のためのストリーミング データの取り込み能力

• Google アカウント チームとの関係性とコミュニケーション

• 拡張性の高い機能オプション

• 提供される機能 / サービスと比較した価格

Google Cloud との提携によって、通常であればストリーミング動画へのアクセスが困難な地域の視聴者にもリーチできるようになりました。エッジ コンピューティングにより、計算作業のほとんどをソースの近くで行うことができるため、応答時間と帯域幅の使用率を向上させ、Google と Theta Network のコアとなる強みを活用した完璧な相乗効果が得られます。また、Google Cloud の 1,600 を超えるノードにより、これまで以上にユーザーとの距離を縮めることができるようになりました。

急上昇するデータの分析を実行

動画ストリーミングに加えて、Google Cloud のエンタープライズ データ ウェアハウス BigQuery は、ブロックチェーン システムからリアルタイム データをソートするという、不可能ではないにしても通常は非常に困難なタスクをこなす能力を与えてくれました。当社では Dataflow、Pub/Sub、BigQuery を利用して視聴者数データのリアルタイム パイプラインを構築しました。Dataflow ジョブが、Pub/Sub トピックから継続的にデータを取得し、BigQuery に取り込みます。Pub/Sub は、毎日 60,000～200,000 件のトランザクションを含む約 12,000～14,000 ブロックのデータを、リアルタイム分析のために BigQuery に素早く取り込みます。

また、Pub/Sub と Dataflow を使用して、ETL パイプラインが公開するトピックのリスナー / サブスクライバーを作成し、それを BigQuery テーブルに取り込みました。BigQuery で高速クエリを実行することで、以下のような知見を明らかにすることができました。

• 過去 1 時間に特定の動画ストリームを視聴して共有した人の数。

• ライブ配信者への寄付の合計数。

• 視聴者に対する寄付の比率が最も高いライブ配信はどれか。

• ライブ配信中の最もインパクトの強かった瞬間はどこであったか。

BigQuery を使用する以前は、これらの情報を見つけるには、ブロックチェーンの生データを分析するためのカスタマイズされたスクリプトを書く必要があり、分析には数時間から数日のエンジニアリング時間がかかっていました。今では、そのような分析情報をほんの数秒で、事実上リアルタイムで得ることができます。より多くの視聴者がオンラインになる時間帯などの情報を収集し、ライブ配信者、広告主、パートナーに知らせることが可能になりました。これは、NASA や他のコンテンツ制作者が、より正確にオーディエンスを見つけ出し、リーチできることを意味しています。

月をも超えたその先への成長とスケールアップを可能にした結果

Google Cloud は、ライブ配信イベント中にサポートする必要がある同時接続ユーザー数を予測したり、何千ものエッジノードとガーディアン ノードからなるネットワークの多変量の評価スコアを予測したりして、不正な行為者やパフォーマンスの低いノードを特定し、対処するのに役立ちます。

現在、当社の BigQuery 環境には 45 GB のデータがあり、その中には約 750 万ブロック、5,700 万のトランザクションが含まれており、今もなお増え続けています。Google Cloud への移行は半年足らずで完了し、ほぼすぐに費用対効果を確認できました。NASA などのブランド コンテンツ パートナー、Google を含むエンタープライズ バリデータ パートナー、Theta エッジノードとガーディアン ノードを実行するコミュニティ メンバーに最高水準の接続性、スケーラビリティ、セキュリティ機能を提供することができ、時間の経過とともにコストを削減しています。

これらはすべて、この暗い時代に、より多くのエンターテイメント、科学、希望を広めようと考える当社の道程のほんの始まりにすぎません。そして、Google Cloud の強みとスケーラビリティのおかげで、私たちは成長を続け、さらに多くのオーディエンスやパートナーへのリーチが可能になります。

Theta Labs の詳細についてはこちらをご覧ください。

-Theta Labs CTO、Jieyi Long

-Theta Labs 戦略責任者、Wes Levitt