Comment Theta Labs et la NASA ont utilisé BigQuery pour révolutionner le streaming

Note de l'éditeur : Nous avons rencontré l'équipe de Theta Labs, une plate-forme de premier plan dans le domaine du streaming vidéo décentralisé, dont le fonctionnement s'appuie sur les utilisateurs et une nouvelle blockchain. À l'aide de sa technologie de registre distribué qui permet le partage de bande passante en peer-to-peer, Theta Labs a révolutionné le secteur du streaming vidéo. En adoptant Google Cloud, Theta Labs a pu faire évoluer sa plate-forme de blockchain pour accueillir une communauté grandissante d'utilisateurs actifs. Cela lui a permis de développer son partenariat stratégique avec la NASA, en diffusant par exemple le lancement de la dernière fusée SpaceX.

À la création de Theta Labs en 2016, nous nous étions fixé pour objectif de proposer un service de streaming vidéo permettant notamment de transformer des jeux vidéo populaires sur PC (comme League of Legends, CS:GO et Dota2) en des expériences de réalité virtuelle immersives à 360°. Mais grâce à notre approche unique du streaming et du rendu ainsi qu'à notre technologie vidéo brevetée basée sur la blockchain, nous avons pu étendre notre activité à de nombreux autres domaines, à tel point que nous avons même attiré l'attention de la NASA. Tout cela a été rendu possible grâce à Google Cloud, à ses bases de données, et à ses produits d'analyse comme BigQuery, Dataflow, Pub/Sub et Firestore.

Quand le streaming vidéo atteint de nouvelles hauteurs

Au lancement de Sliver.tv, qui s'appelle maintenant Theta.tv, nous voulions nous démarquer des concurrents en créant des expériences de streaming vidéo originales, en particulier pour les streamers et les spectateurs n'ayant pas (ou difficilement) accès à une connexion Internet haut débit. Notre technologie de diffusion vidéo basée sur la blockchain et le peer-to-peer donne la possibilité aux utilisateurs de partager leur bande passante. Ainsi, les streamers de notre plate-forme peuvent s'adresser à des audiences jusque-là inaccessibles.

Ce qui a intéressé la NASA, c'est cette possibilité de toucher plus de spectateurs uniques dans d'autres régions du monde, mais aussi de permettre à davantage d'internautes de découvrir de nouveaux contenus. L'agence s'est rendu compte qu'avec notre service, elle pouvait potentiellement susciter l'intérêt des plus jeunes pour la science et la technologie. Nous sommes l'un des quatre ou cinq services vidéo privilégiés qui ont un accès direct au flux vidéo source de la NASA, et nous avons collaboré avec elle au mois d'août pour diffuser en avant-première une vidéo à l'occasion de la Journée de l'égalité des femmes.

Jusqu'à présent, le projet le plus mémorable auquel nous avons participé a été la diffusion en direct du lancement d'une navette SpaceX. Alors que nous avions tous besoin de rêver un peu cette année, nous sommes ravis d'avoir pu donner l'occasion à une plus grande audience d'assister en direct au lancement d'une navette spatiale. Nous espérons avoir mis des étoiles dans les yeux de tous les spectateurs !

En direct des étoiles via le cloud

Pour retransmettre un événement aussi majeur que le lancement d'une fusée, qui rassemble un nombre considérable de spectateurs, il nous fallait une infrastructure puissante. Afin de pouvoir exploiter notre système peer-to-peer basé sur la blockchain, à travers lequel nous récompensons les spectateurs et les streamers qui partagent leur bande passante, nous avions besoin de l'infrastructure stable, fiable et évolutive de Google Cloud. Celle-ci nous a permis de créer des solutions DevOps avec autoscaling et de toucher plus de spectateurs que jamais, et ce, sans atteindre les limites de VM qui nous causaient jusque-là des problèmes de latence et nuisaient à l'expérience utilisateur. Nous devions par ailleurs assumer des coûts élevés et tenir compte des limitations liées au scaling de l'infrastructure pour faire évoluer nos applications. Nous passions également trop de temps à gérer nos solutions et à assurer leur maintenance.

Google Cloud nous offre une meilleure évolutivité, ce qui signifie que le nombre de streamers actifs sur notre plate-forme n'est plus limité. Grâce à Google Cloud, nous bénéficions :

● de hautes performances et d'intégrations flexibles ;

● d'un large éventail de fonctionnalités compatibles ;

● de la possibilité d'ingérer des données en flux continu pour obtenir des insights en temps réel ;

● de relations étroites avec l'équipe responsable de notre compte Google ;

● d'un choix varié de fonctionnalités ;

● d'un tarif attractif au vu des fonctionnalités et services proposés.

Notre partenariat avec Google Cloud nous a également permis de toucher des spectateurs dans des régions où l'accès aux vidéos en streaming est habituellement difficile. Grâce à l'edge computing, la majeure partie des opérations de calcul peuvent être effectuées près de la source, ce qui optimise les temps de réponse ainsi que l'utilisation de la bande passante : en combinant les atouts de Google et de Theta Network, la symbiose est parfaite. Nous tirons également parti des plus de 1 600 nœuds fournis par Google Cloud afin de nous rapprocher de nos utilisateurs comme jamais auparavant.

Analyser un volume de données qui s'envole

Outre les améliorations apportées à notre technologie de streaming vidéo, BigQuery (l'entrepôt de données d'entreprise de Google Cloud) nous permet de trier les données en temps réel du système de blockchain. Il s'agit d'une tâche généralement difficile, voire impossible. Nous avons conçu un pipeline en temps réel pour les données d'audience à l'aide de Dataflow, Pub/Sub et BigQuery, de sorte qu'une tâche Dataflow extrait continuellement les données d'un sujet Pub/Sub et les ingère dans BigQuery. Nous avons constaté que Pub/Sub était capable d'ingérer rapidement 12 000 à 14 000 blocs de données contenant entre 60 000 et 200 000 transactions chaque jour dans BigQuery, et de les analyser en temps réel.

Nous avons également utilisé Pub/Sub et Dataflow afin de créer l'écouteur et l'abonnement pour le sujet publié par notre pipeline ETL, et d'ingérer ces éléments dans des tables BigQuery. En exécutant rapidement des requêtes dans BigQuery, nous avons pu déterminer, par exemple :

● le nombre de personnes qui ont regardé et partagé un flux vidéo au cours de l'heure précédente ;

● le montant total des dons envoyés à un streamer ;

● quelle diffusion en direct présentait le ratio dons/spectateurs le plus élevé ;

● quel a été le moment le plus percutant d'une diffusion en direct.

Avant d'utiliser BigQuery, nous devions rédiger des scripts personnalisés pour analyser les données brutes de la blockchain et trouver ces informations. Le processus d'analyse pouvait prendre des heures à nos ingénieurs, voire plusieurs jours. Nous pouvons désormais obtenir ces renseignements en quelques secondes à peine, quasiment en temps réel, et les exploiter pour indiquer aux streamers, aux annonceurs et aux partenaires à quel moment les spectateurs étaient en ligne et actifs. La NASA et d'autres créateurs de contenus ont ainsi pu trouver et toucher plus facilement leurs audiences.

Un potentiel de croissance sans limites

Avec Google Cloud, nous sommes en mesure de prévoir le nombre de spectateurs à gérer pendant une diffusion en direct. Nous pouvons également prédire les scores de réputation des streamers sur la base de plusieurs variables, afin que notre réseau de milliers de nœuds Edge et Guardian puisse identifier les individus malintentionnés et les nœuds peu performants, et prendre des mesures en conséquence.

À ce jour, notre environnement BigQuery compte 45 Go de données, composées de près de 7,5 millions de blocs et de 57 millions de transactions (et ce n'est pas fini). La migration vers Google Cloud a pris moins de six mois, et le retour sur investissement a été presque immédiat. Nous proposons des services de premier ordre en matière de connectivité, d'évolutivité et de sécurité, aussi bien pour nos partenaires de contenus de marque (comme la NASA) et nos partenaires de validation (y compris Google) que pour les membres de notre communauté qui exécutent des nœuds Theta Edge et Guardian. Par ailleurs, nos coûts se réduisent au fil du temps.

Et cela n'est qu'un début : en cette période difficile, nous continuons à chercher des moyens de divertir les gens, de leur faire découvrir des contenus scientifiques et de leur redonner de l'espoir. Avec l'aide de Google Cloud et de ses outils puissants et évolutifs, nous poursuivrons notre développement afin de toucher encore plus de spectateurs et de partenaires.

En savoir plus sur Theta Labs