3co erfindet das digitale Einkaufserlebnis neu – mit Augmented Reality auf Google Cloud

Viele Menschen sind heute bereit, Produkte online zu kaufen, die sie früher nur persönlich im Geschäft ausgewählt hätten. Doch selbst die fortschrittlichsten AR-Technologien (Augmented Reality) bieten noch kein echtes Gefühl für die angebotenen Waren und damit kein lebensnahes Einkaufserlebnis. Die Darstellung realer physischer Objekte muss noch deutlich weiterentwickelt werden, wenn der Einkauf im digitalen Raum – ebenso wie vergleichbare AR-Angebote der Unterhaltungsindustrie und anderer Branchen – durch wirklich lebendige und fesselnde Erlebnisse überzeugen soll. Trotz massiver Investitionen in möglichst realistische digitale Erlebnisse bleibt das Ergebnis oft hinter den Erwartungen der Kundinnen und Kunden zurück.

Als Pflanzenfreunde wussten wir zum Beispiel, dass die Auswahl und der Kauf von Pflanzen im Internet überhaupt nicht mit dem Besuch eines realen Gartencenters zu vergleichen ist. Für uns war dies der Anstoß, zu versuchen die Möglichkeiten der Augmented Reality auszureizen und eine App für den Kauf von Pflanzen in AR zu entwickeln. Während unserer Zeit im Techstars-Programm merkten wir aber bald, dass wir mit einer Lösung für die bessere Darstellung von Pflanzen im virtuellen Raum nur einen Bruchteil eines Multi-Milliarden-Dollar-Marktes adressieren würden. Seit 2018 konzentriert sich 3co deshalb mit lasergenauer Präzision darauf, die 3D-Technologie für den gesamten elektronischen Handel zu erschließen.

Die Lücke zwischen Vorstellung und Wirklichkeit schließen – mit Google Cloud

So fing 3co an, Lösungen für die 3D-Bilderfassung zu entwickeln. Unser KI-Stack stellt eine komplette 3D-Handelsplattform bereit: Unternehmen können damit dank künstlicher Intelligenz einfach und kostengünstig realistische 3D-Modelle physischer Objekte generieren und sie in virtuellen Schaufenstern präsentieren.

Beim Aufbau unserer AR-Plattform zeigte sich rasch, dass die Entwicklung von 3D-Simulationen mit einer Präzision, die die menschliche Wahrnehmungsfähigkeit übersteigt, enorme Rechenleistung erfordert. Auch parallel geschaltete Laptops oder Desktops reichen nicht aus, um die komplexe reale Welt in 3D zu modellieren.

Im Rahmen des „Google for Startups Cloud“-Programms haben die Startup Success Manager deshalb 3co geholfen, die branchenführenden Rechenkapazitäten von Google einzusetzen. Mithilfe von Compute Engine haben wir nun selbst für komplexeste und umfangreichste 3D-Grafikoptimierungen genügend Rechenleistung. Mit der virtuellen Maschine A2 nutzt 3co heute NVIDIA Ampere A100 Tensor Core GPUs für mehr als zehnmal schnellere und deutlich realistischere 3D-Renderings. Und das ist erst der Anfang.

Wir haben diese Kraftpakete von Google mit einer Streaming-GUI versehen, durch die unsere Kolleginnen und Kollegen in Amsterdam, Miami und überall sonst auf der Welt die neuesten 3D-Modelle per Plug&Play auf einem industriellen Grafikprozessor rendern können. Nie zuvor habe ich Blender Gigabyte-große 3D-Modelle schneller rendern sehen. Wer in einem verteilten Team besonders schwierige KI- und/oder 3D-Probleme lösen muss, sollte die mächtigen Ressourcen der Cloud unbedingt auf diese Weise nutzen.

3D-Künstler*innen in der Einzelhandels-, Medien- oder Unterhaltungsbranche stehen vor der Herausforderung, für immer fesselndere AR-Erlebnisse zu sorgen. Dank unserer Technologie können sie fotorealistische 3D-Modelle in einem Zehntel der Zeit generieren.  Durch den Einsatz von Compute Engine mit leistungsstarken GPUs, High-End-CPUs und massenweise RAM-Speicher konnten wir die Erstellungskosten drastisch senken. Wenn es darum geht, branchenführende Rechenleistung schnell für einen globalen Kundenstamm zu skalieren, ist Google Cloud genau die richtige Lösung.

Cloud Storage – eine wichtige, aber häufig übersehene Komponente des Google Cloud-Ökosystems – ist für 3co ebenfalls von entscheidender Bedeutung. Für die riesigen Datenmengen, die wir erzeugen, speichern und übertragen, brauchen wir den hohen Durchsatz, die niedrige Latenz und die sofortige Skalierbarkeit lokaler Cloud-SSDs. Sie ergänzen unsere Compute Engines und sind physisch mit den Servern verbunden, die unsere virtuellen Maschinen hosten. Diese lokale Konfiguration ermöglicht extrem hohe IOPS-Zahlen (Eingabe/-Ausgabevorgänge pro Sekunde) mit erheblich geringerer Latenz als persistente Festplatten.

Als Krönung bietet Cloud Logging Echtzeit-Protokollmanagement im Exabyte-Maßstab mit Erfassung analytischer Ereignisse, die per Pub/Sub in Data Lakes gestreamt werden. So können wir sicher sein, dass in der Cloud alles reibungslos läuft.

Aufbau des 3co KI-Stacks mit TensorFlow

Ohne TensorFlow und sein umfassendes Angebot an Tools, Bibliotheken und Community-Ressourcen wäre der Aufbau einer der weltweit fortschrittlichsten 3D-Computer-Vision-Lösungen nicht möglich gewesen. Ich habe selbst schon eine Vielzahl von Deep-Learning-Systemen mit dieser 2015 eingeführten Google Open-Source-API für KI entwickelt. Dank TensorFlow kann 3co seine Rechenleistung auf Google Cloud bis hin zum Aufbau wirklich fotorealistischer digitaler Modelle physischer Objekte skalieren – selbst bei mikroskopischen Berechnungen von Materialtexturen und unter Berücksichtigung der Wirkung des Lichteinfalls aus unterschiedlichen Winkeln. 

3co konnte große Fortschritte bei der Implementierung neuronaler Strahlungsfelder („NeRF“, Mildenhall et al. 2020) in TensorFlow  verzeichnen. Wir können in aller Bescheidenheit sagen, dass die innovative KI in TensorFlow die 3D-Modellierungsbranche revolutionieren wird und ähnliche neuronale Netze die 3D-Modelle in den kommenden zehn Jahren zunehmend prägen und zum Leben erwecken werden.

Die entscheidende Erkenntnis von NeRF besteht darin, ein neuronales Netz dazu zu bringen, ein physikalisches Modell des Lichttransports zu erlernen. Bei 3co verwenden wir NeRF-ähnliche neuronale Netze für die optimale Nutzung von Sensordaten und passen sie für 3D-Bilderfassung mittels Computer an. Wir bringen diese neuronalen Netze dazu, branchenübliche 3D-Modellierungsdatenstrukturen zu erlernen, die dann direkt auf den führenden 3D-Plattformen eingesetzt werden können. 

TensorFlow ist in vielerlei Hinsicht die beste Lösung, sowohl für das Prototyping als auch ganz allgemein für die breite Einführung von KI. TensorFlow arbeitet mit einem hoch entwickelten Compiler (XLA), der die Verteilung der Berechnungen auf die zugrunde liegende Hardware optimiert.

Anders als der Wettbewerb Anders als zum Beispiel PyTorch oder JAX kann TensorFlow auch Binärdateien für die Ausführung auf TPUs (d. h. TFLite) und verschiedenen Gerätearchitekturen (z. B. iOS, Android und JavaScript) kompilieren. Für 3co ist dies wichtig, weil wir uns zum Ziel gesetzt haben, 3D Computer Vision mit maximaler Geschwindigkeit und Genauigkeit bereitzustellen, wo immer sie gebraucht wird. Mit TensorFlow auf Google Cloud war 3co in der Lage, die experimentelle Validierung zum Patent angemeldeter 3D-Computer-Vision-Systeme zu beschleunigen, die ein und denselben TensorFlow-Code auf Smartphones, LiDAR-Scannern, AR-Brillen und vielen anderen Geräten ausführen können.

Außerdem stellt TensorFlow eine einfache API für verteiltes KI-Training auf vielen Computern bereit, mit der die neuronalen Netze von 3co schneller trainiert werden können. Nachdem mich Jeff Dean, Andrew Ng und Google Brain dazu inspiriert haben, meine Masterarbeit im Jahr 2013 zum Thema „Verteiltes Deep Learning“ zu schreiben, habe ich natürlich mit Begeisterung verfolgt, wie Google diese branchenführende Technik seither für die Open-Source-Community immer weiter optimiert hat. Die Parallelisierung von Deep Learning hat sich immer wieder als wichtig für die Entwicklung dieser fortschrittlichen KI erwiesen. Das war bei 3co nicht anders. Zudem bedeutet ein schnelleres Training der KI, dass Experimente in der Forschung und Entwicklung schneller abgeschlossen werden. Wie Sam Altman sagt: „Der wichtigste Indikator für den Erfolg eines sehr jungen Start-ups ist die Iterationsrate“.

TensorFlow wurde von Anfang an für die großen KI-Computing-Herausforderungen von Google entwickelt, funktioniert aber auch in den frühesten Phasen der Exploration problemlos. 3co verbessert mit TensorFlow auf Google Cloud unsere Fähigkeiten im Bereich der autonomen fotorealistischen 3D-Modellierung laufend weiter. Einfache und flexible Architekturen ermöglichen schnelle Experimente und verkürzen so unseren Weg vom Konzept zum Code und vom Code zur Bereitstellung hochmoderner Machine-Learning-Modelle. Mit Google hat 3co mit TensorFlow ein leistungsstarkes Tool an die Hand gegeben, das Unternehmen ermöglicht, moderne KI und Computer-Vision-Technologie noch besser für die Kunden einzusetzen.

Für die Zukunft hat 3co große Pläne mit den Supercomputern der Google Cloud Tensor Processing Units (TPUs), mit denen noch höhere Geschwindigkeiten und Kosteneinsparungen erreicht werden sollen. Unsere KI-Entwicklungsteams müssen noch einiges an Arbeit leisten, bis sie TensorFlow auf Cloud TPUs einsetzen können, doch Google macht es immer einfacher, eigene Entwicklungen auf diesen gigantischen Rechenarchitekturen zu nutzen. 

Ich weiß noch, wie aufgeregt ich war, als ich 2017 die Forschungsberichte zu den TPUs von Google las, die für buchstäblich Dutzende schlauer Computerfachleute den Höhepunkt der Forschung und Entwicklung darstellten. Seither hat Google für eine Vielzahl von Anwendungen (z. B. Google Translate) intern mehrere Versionen von TPUs eingesetzt, die mit der Zeit immer nützlicher und zugänglicher wurden. Davon können Start-ups wie 3co – und andere Kunden – enorm profitieren. Durch den Einsatz fortschrittlicher Computerprozessoren wie TPUs will 3co das Training seiner KI parallelisieren und damit die fotorealistische 3D-Modellierung realer Szenen in Echtzeit ermöglichen. Dadurch ergeben sich ungeahnte Möglichkeiten für Anwendungen in den Bereichen Handel, Spiele, Unterhaltung, Design und Architektur.

Skalierung des 3D-Handels mit Google Cloud und Forschungskrediten

Die Teilnahme von 3co am „Google for Startups Cloud“-Programm (mit Unterstützung von Techstars, für die wir ebenfalls sehr dankbar sind) hat entscheidend dazu beigetragen, dass wir die Lücke zwischen Vorstellung und Wirklichkeit schließen konnten. An dieser Aufgabe arbeiten wir seit Jahren – und werden noch viele Jahre damit beschäftigt sein, die Lösung weiter zu verfeinern. 

Unseren Erfolg haben wir dem Google for Startups Success-Team zu verdanken: Das Team ist großartig und es hat sich wirklich um uns gekümmert. Wir können jedem neuen Start-up nur empfehlen, sich mit dem Team in Verbindung zu setzen. Es bewirkt tatsächlich Wunder. Besonders hervorheben möchten wir auch die Google Cloud-Forschungskredite, die 3co den Zugang zu weitaus größeren Mengen an Rechenleistung ermöglicht haben. Wir sind Google Cloud sehr dankbar dafür, dass 3co seine 3D-Computer-Vision-Dienste so für Kunden auf der ganzen Welt skalieren konnte.

^{Wenn Sie mehr darüber wissen möchten, was Google Cloud auch für Ihr Start-up tun kann, finden Sie hier weitere Informationen zu unserem Programm. Melden Sie sich auch für unseren Newsletter an, der Sie über unsere Community-Aktivitäten, digitalen Veranstaltungen, Sonderangebote und mehr auf dem Laufenden hält.}