Virtualisierung von Objekten der realen Welt in Live-Shows

Angelika: Hallo zusammen! Willkommen bei Scrap The Manual, einem Podcast, in dem wir Aha-Momente durch Diskussionen über Technologie, Kreativität, Experimente und deren Zusammenwirken bei der Bewältigung kultureller und geschäftlicher Herausforderungen hervorrufen. Mein Name ist Angelica.

Rushali: Und mein Name ist Rushali. Wir sind beide kreative Technologen bei Labs.Monks, einer Innovationsgruppe innerhalb von Media.Monks, die sich zum Ziel gesetzt hat, globale Lösungen zu steuern und voranzutreiben, die sich auf Technologie und Designentwicklung konzentrieren.

Angelika: Heute haben wir ein neues Segment mit dem Titel "Wie machen wir das?", in dem wir unseren Zuhörern einen kleinen Einblick in den Alltag bei Labs.Monks geben und ihnen die Möglichkeit geben, Ideen oder Projekte einzureichen. Und wir überlegen uns, wie wir sie umsetzen können. Wir beginnen mit der Idee selbst, den Komponenten, die sie einzigartig machen, und der Frage, wie sie weiterentwickelt werden könnte, und machen dann einen Machbarkeits-Check. Und wenn sie derzeit nicht realisierbar ist, wie können wir sie dann verwirklichen?

Das führt uns zu der heutigen Idee, die von Maria Biryukova eingereicht wurde, die bei uns in der Abteilung für Erlebnispädagogik arbeitet. Maria, welche Idee hast du heute für uns?

Maria: Ich habe kürzlich mit dieser App gespielt, mit der man alle Objekte in der Umgebung in 3D scannen kann. Und ich dachte: Wie wäre es, wenn ich alles, was ich um mich herum habe, scannen könnte - sagen wir mal dieses Mikrofon -, es live hochladen und sehen könnte, wie es auf der XR-Bühne während der Live-Show zum Leben erwacht?

Angelika: Super, danke Maria, dass du diese Idee eingereicht hast. Das ist eine wirklich tolle kreative Herausforderung und es gibt eine Menge wirklich guter Elemente. Was mir an dieser Idee am meisten gefällt und wovon ich persönlich begeistert bin, ist die Verschmelzung der physischen Welt mit der digitalen Welt, denn dort passiert die meiste Magie.

Als AR zum ersten Mal auf den Markt kam, fragten sich die Leute: "Wow, was ist das für ein Ding, das direkt vor mir auftaucht?" Oder in der VR, als sie diese Scans der realen Welt in die allerersten Versionen der Google Cardboard-Headsets brachten, war das wie ein "Wow! Ich kann nicht glauben, dass es das hier gibt."

Hier geht es also um die Physikalität eines realen Objekts, das in der realen Welt existiert... jemand kann es scannen und dann in eine virtuelle Szene bringen. So werden die Grenzen, die ohnehin schon ziemlich verwischt sind, noch weiter verschoben. Und diese Idee lässt sie weiter verschwimmen, aber ich denke, auf eine gute Art und Weise, die es den Gästen und denjenigen, die Teil der Erfahrung sind, ermöglicht, eine Rolle zu spielen, die über die eines passiven Beobachters hinausgeht und sie zu aktiven Teilnehmern macht.

Wir sehen das ein wenig bei WAVE, wo es einen virtuellen Raum gibt und die Leute zu diesem virtuellen Konzert gehen können und im Grunde genommen 5 Dollar dafür bezahlen, dass sie ein kleines Herz an Justin Biebers Kopf werfen können. Natürlich liebevoll, aber man versteht schon, worum es geht. Dieses Projekt geht noch einen Schritt weiter und sagt: "Okay, was ist, wenn es etwas in meiner Umgebung gibt?"

Vielleicht gibt es also ein Objekt, das auf eine bestimmte Art und Weise mit der Serie zusammenhängt. Sagen wir mal, es ist ein Teddybär. Und alle Leute, die auf der ganzen Welt Teddybären haben, können ihren Teddy einscannen und ihn in diese Umgebung stellen. Sie sagen dann: "Oh, das ist mein Teddybär" Ähnlich wie bei der Übertragung von Sportereignissen auf dem Jumbotron: "Hey, das da oben ist mein Gesicht" Und dann spielen sie verrückt damit. Es ermöglicht also mehr eine wechselseitige Interaktion, was hier sehr schön ist.

Rushali: Ja. Das ist der Teil, den ich für interessant halte. Wenn wir in diese Welt hineinwachsen, in der nutzergenerierte Inhalte extrem nützlich sind und wir beginnen, in die Welt des Metaversums einzutreten, wird das Scannen und Erhalten von 3D-Objekten, die einem persönlich gehören - oder ein Keramikteil oder ein Topf, den man selbst gemacht hat - und die Möglichkeit, sie in die virtuelle Welt zu bringen, eines der wichtigsten Dinge sein. Denn derzeit generieren wir auf Instagram, TikTok oder einer der anderen sozialen Plattformen hauptsächlich 2D-Inhalte, Textinhalte oder Audioinhalte, aber wir haben uns noch nicht mit der extrem schnellen Generierung und dem Austausch von 3D-Inhalten beschäftigt, wie wir es bei Bildern und Videos auf Instagram tun. Wir haben also über das "Warum" gesprochen Es ist eindeutig ein interessantes Thema, und es ist eindeutig eine interessante Idee. Kommen wir nun zum "Was"

Angelika: Ja. Nach dem, was wir über diese Idee gehört haben, wird das Objekt gescannt, was eine Verbindung zum 3D-Scannen und zur Fotogrammetrie herstellt, wobei wir ein wenig auf die Unterschiede zwischen den beiden verschiedenen Technologien eingehen können. Und wenn der Scan dann tatsächlich in die Umgebung eingefügt wird, wird er dann bereinigt? Handelt es sich dabei um ein eigenes 3D-Modell ohne Artefakte aus der Umgebung, in der es ursprünglich gescannt wurde? Ein Teil davon ist auch das Compositing. Es muss also sichergestellt werden, dass das Objekt nicht wie ein großer Sonnenstrahl aussieht, wenn das Ereignis sehr stimmungsvoll und dunkel ist. Es muss zu der Szene passen, in der es sich befindet.

Und wir hören von Inhaltsmoderation, die sicherstellt, dass, wenn Gäste jeglicher Art ein wenig unausgereifter werden, als es der Anlass erfordert, diese Situationen herausgefiltert werden, um sicherzustellen, dass das Objekt, das in der Umgebung gescannt werden muss, ein korrektes Objekt ist.

Rushali: Ganz genau. Was interessant war, als Sie all die verschiedenen Komponenten durchgingen, war die Art und Weise, wie diese Idee zusammenkommt: Es ist einfach so unmittelbar und in Echtzeit, dass wir aufschlüsseln müssen, wie wir das dynamisch machen können.

Angelika: Ja. Und ich denke, das ist wohl der schwierigste Teil, abgesehen vom Aspekt der Inhaltsmoderation. Nehmen wir die Photogrammetrie als Beispiel. Bei der Fotogrammetrie werden mehrere Bilder eines Objekts von so vielen Seiten wie möglich aufgenommen. Ein Beispiel dafür ist die Object Capture API von Apple. Man nimmt einfach eine Reihe von Fotos auf. Das Programm macht seine Arbeit, verarbeitet sie und denkt über sie nach. Und dann, nach einer gewissen Zeit (manchmal geht es schnell, manchmal nicht... hängt davon ab, wie hoch die Qualität sein muss), gibt es ein 3D-Modell aus, das es auf der Grundlage dieser Fotos erstellt hat.

Rushali: Ja. Was ich noch über die Photogrammetrie sagen wollte und was Sie sehr gut beschrieben haben, ist, dass sich die Photogrammetrie in den letzten fünf Jahren sehr schnell von etwas sehr Einfachem zu etwas unverschämt Schönem entwickelt hat. Einer der Hauptgründe dafür ist die Einführung der Tiefenerkennungsfunktion, die nun sehr leicht zugänglich ist.

Stellen Sie sich vor, jemand steht auf einem Drehteller und nimmt Bilder aus jedem einzelnen Winkel auf, und wir drehen den Drehteller ganz langsam, und am Ende haben wir etwa 48 000 Bilder, die wir zusammenfügen und dann dieses 3D-Objekt erstellen können. Aber ein großes fehlendes Teil in diesem Puzzle ist die Idee der Tiefe. Ist zum Beispiel der Arm dieser Person weiter weg oder näher dran? Und wenn die Tiefeninformation hinzukommt, wird ein 3D-Objekt mit dieser Tiefeninformation plötzlich viel ausgereifter. Daher haben die iPhones, die seit letztem und vorletztem Jahr eine Tiefenerkennungskamera haben, die Möglichkeiten wirklich verbessert.

Angelika: Ja, das ist ein guter Punkt. Es gibt eine App, die diesen zeitintensiven und benutzerdefinierten Prozess schon sehr lange durchführt. Aber als Apple dann die Object Capture API veröffentlichte, sagten sie: "Hey, wir werden unsere gesamte App mit dieser API umgestalten." Und sie sagen sogar, dass es für iPhone-Benutzer ein besseres Erlebnis ist, weil die Kombination aus Object Capture API und der Nutzung der super-verbesserten Kameras, die jetzt aus einem Telefon herauskommen, besser ist.

Android-Nutzer sind hier nicht aus dem Schneider. Einige Samsung-Telefone, wie das Samsung 20 und höher, verfügen über eine Funktion, die direkt in die Telefonsoftware integriert ist und mit der man den gleichen Prozess durchführen kann, den ich vorhin mit dem Teddybär erwähnt habe.

Es gibt einen Test im Internet, bei dem jemand einen Teddybären links von einem Raum hält, ihn scannt und dann eine Punktwolke der Umgebung erstellen kann. Man könnte also sagen: "Okay, das ist der Raum. Hier befinden sich die Wände. Hier ist der Boden." Und dann fügen sie dieses bestimmte Objekt, das sie gerade gescannt haben, in die andere Ecke des Raums ein und heften es an oder speichern es. Wenn sie dann die App verlassen und zurückkommen, können sie es laden, und das virtuelle Objekt ist immer noch an der gleichen Stelle, weil die Punktwolke ihren Raum, ihren physischen Raum, gescannt hat, und sie fügen es genau dort ein, wo es war. Es ist also so, als hätte man ein physisches und ein digitales Gegenstück. Es sind nicht nur iPhones, die diese verbesserten Kameras haben. Diese Erfahrung ist möglich, weil auch die Kameras von Samsung mit der Zeit immer besser werden.

Der Prozess, den ich gerade mit dem Teddybären, der Punktwolke und der Platzierung in einer Umgebung erklärt habe, ist ein großartiges Beispiel für das 3D-Scannen, bei dem man sich um das Objekt herum bewegen kann, aber es geht nicht unbedingt darum, einen Haufen Fotos zu machen und sie zusammenzufügen, um ein 3D-Modell zu erstellen. Das 3D-Scannen ist ein wenig dynamischer. Aber er ist ziemlich lichtempfindlich. Wenn Sie sich zum Beispiel in einem sehr sonnigen Gebiet befinden, ist es schwieriger, daraus ein qualitativ hochwertiges 3D-Modell zu erstellen. Die Umgebung spielt also eine entscheidende Rolle. Das gilt auch für die Fotogrammetrie, aber das 3D-Scannen reagiert darauf besonders empfindlich.

Rushali: Also Kinder, bitte keine Überbelichtung..

Angelica:...von Fotos. Ja. (Gelächter)

Allerdings kann der Scanprozess einige Zeit in Anspruch nehmen und die Genauigkeit kann variieren. Und dann kann auch das 3D-Modell ziemlich umfangreich sein. Es kann eine ziemlich große Datei sein. Und dann kommen wir auf die Idee, es in die Cloud hochzuladen und einen Teil des Speichers dorthin zu verlagern. Das Telefon des Nutzers wird nicht aufgebläht, aber es wird woanders gespeichert, und dann könnte die Show das in das Erlebnis einfließen lassen, natürlich nach der Moderation der Inhalte.

Rushali: Sie haben hier auch einen wichtigen Punkt angesprochen, denn ein großer, großer Teil davon ist letztendlich auch schnelles Internet, denn 3D-Dateien sind schwere Dateien. Es sind Dateien, die viele Informationen über die Texturen enthalten.

Je mehr Polygone es gibt, desto größer sind die Dateien. Der ganze dramatische Grafikteil kommt ins Spiel und man wird stecken bleiben, wenn man kein extrem schnelles Internet hat. Und ich *zwinker, zwinker* denke, dass 5G in dieser Situation eine Rolle spielt.

Angelika: Ja, auf jeden Fall. 5G ist auf jeden Fall ein Streitpunkt in den Vereinigten Staaten, weil sie gerade auf diesen Prozess umstellen, was sich auf die Luftfahrt und die FAA und andere Dinge auswirkt. Die Möglichkeiten von 5G sind also riesig, aber es sind noch einige Dinge zu klären.

Rushali: Das ist also der Stand der Dinge bei 3D-Scans und Photogrammetrie. Und wir haben jetzt schon Apps, die fast in Echtzeit einen 3D-Scan eines Objekts in ihrer App anzeigen können. Aber der nächste Teil ist die Integration dieser speziellen Funktion in eine Live-Show oder ein virtuelles Ökosystem oder die Einbindung in ein Metaversum. Was glauben Sie, wie das aussehen wird?

Angelika: Das wird ein paar verschiedene Komponenten beinhalten. Erstens: die Speicherung in der Cloud oder auf einem Server, der nicht nur die Scans einer Person, sondern die mehrerer Personen speichern kann. Und ich könnte mir leicht eine Überlastungssituation vorstellen, wenn man zu einem Publikum von Beliebern sagt: "Hey, ich möchte, dass ihr etwas scannt."

Sie sagen: "Okay!" Und dann hat man 20.000 Scans, die man dynamisch durchsieben und in die Cloud hochladen muss, um sie dann in das Erlebnis einzubauen. Ich kann mir da eine ziemliche Überlastung vorstellen.

Rushali: Sie haben absolut Recht. Sie befinden sich in einem Konzert: 20.000 bis 50.000 Menschen sitzen im Publikum. Und sie alle scannen etwas, das sie entweder bereits gescannt haben oder live scannen werden. Es ist besser, wenn Sie eine Reihe von Servern haben, um all diese Daten zu verarbeiten, die auf Sie einprasseln. Stellen Sie sich vor, Sie scannen ein Objekt und rufen es in einer Live-Show auf. Ich kann mir zu 100 % vorstellen, dass jemand etwas Unpassendes scannen wird. Und da dies in Echtzeit geschieht, wird es in einer Live-Sendung ausgestrahlt. Das bringt die Idee der Kuratierung und der Moderation ins Spiel.

Angelika: Denn auch Erwachsene können Kinder sein.

Rushali: Ja, absolut. Wenn es keine Moderation gibt... stellt sich heraus, dass ein großes [Erwachsenenprodukt] mitten in deinem Konzert ist. Und was wollt ihr dagegen tun?

Angelika: Ja, genau. Okay, wir haben also darüber gesprochen, dass es viele verschiedene Plattformen gibt, die das 3D-Scannen oder den Photogrammetrie-Aspekt des Scannens eines Objekts und die Erstellung einer virtuellen Version davon ermöglichen, zusammen mit ein paar anderen Überlegungen.

Jetzt geht es um die Frage: Wie in aller Welt machen wir das? Hier erkunden wir, wie wir die Idee zum Leben erwecken können, welche technischen Möglichkeiten es gibt und was wir in Zukunft beachten sollten. Eine Sache, die sich sofort aufdrängt (wir haben viel über das Scannen gesprochen), ist die Frage: Wie wird es gescannt? Es gibt eine Menge quelloffener Anwendungen, die es einer benutzerdefinierten Anwendung ermöglichen, den Aspekt der Objekterfassung zu aktivieren. Wir haben über Apple gesprochen, aber es gibt auch ein wenig, das in ARCore implementiert wurde, und das wird mit den LiDAR-Kameras zum Leben erweckt. Es ist etwas, das eine Menge benutzerdefinierte Arbeit erfordern würde, um es von Grund auf zu machen. Wir müssten uns auf einige Open-Source-APIs verlassen, um uns zumindest die Infrastruktur zu verschaffen, so dass wir viel Zeit sparen und sicherstellen könnten, dass die App innerhalb kurzer Zeit erstellt wird. Denn das ist es, was bei vielen dieser coolen Ideen passiert: Die Leute sagen: "Ich will diese wirklich tolle Idee, aber in drei Monaten, oder ich will diese tolle Idee gestern."

Rushali: Ich möchte darauf hinweisen, dass viele dieser Technologien erst in den letzten paar Jahren entwickelt worden sind. Wenn man diese Idee vor fünf Jahren hätte umsetzen wollen, hätte man wahrscheinlich keinen Zugang zu APIs für die Objekterfassung gehabt, die heute extrem fortschrittlich sind, weil sie die Kapazität der Kameras und der Tiefensensorik nutzen können. Heutzutage ist so etwas also überraschenderweise viel leichter machbar.

Und wenn ich darüber nachdenken müsste, wie man das macht, dann besteht die erste Hälfte darin, eine App wie Qlone zu replizieren. Dabei wird eine der APIs für die Objekterfassung verwendet, aber auch bestimmte Bibliotheken für die Tiefenerfassung genutzt, um das 3D-Objekt zu erstellen.

Der andere Teil dieses Systems wäre dann: Jetzt, wo ich dieses Objekt habe, muss ich es in eine Umgebung bringen. Und das ist die große Unbekannte. Schaffen wir unsere eigene Umgebung oder wird sie in eine Plattform wie Roblox oder Decentraland integriert? Wie sieht das Ökosystem aus, in dem wir leben? Das muss noch definiert werden.

Angelika: Richtig, denn jede dieser Plattformen hat ihre eigenen Möglichkeiten, um diese Art der Beschaffung von 3D-Modellen dynamisch und live zu ermöglichen. Die einfache Antwort, und ich sage "einfach" mit einem Körnchen Salz, ist es, es individuell zu machen, weil man in dieser Umgebung mehr kontrollieren kann, als wenn man mit einer Plattform arbeitet, die ihre eigenen Regeln hat.

Das haben wir während des Roblox-Prototyps für das Metaverse selbst erfahren. Es gibt bestimmte Dinge, die wir als Funktionen einbauen wollten, aber aufgrund der Einschränkungen der Plattform konnten wir nur so viel machen.

Das wäre also ein entscheidender Faktor bei der Entscheidung, ob wir eine bereits vorhandene Plattform nutzen oder eine maßgeschneiderte Umgebung schaffen, in der wir viel mehr dieser Faktoren kontrollieren können

Rushali: Ja. Und während Sie über das Ökosystem gesprochen haben, ist mir etwas aufgefallen. Wir sprechen über 3D-Scans von Objekten, die so schnell wie möglich durchgeführt werden sollen. Und die Ergebnisse sind vielleicht nicht schön. Sie sind vielleicht nicht genau. Die Leute haben vielleicht nicht das beste Licht. Man hat vielleicht nicht die ruhigsten Hände, weil man beim 3D-Scannen von Objekten ruhige Hände braucht. Und ein weiterer Aspekt, den ich hier einbringen würde, ist ein wenig maschinelles Lernen, damit wir vorhersagen können, welche Teile des 3D-Scans richtig und welche falsch gescannt wurden, um die Qualität des 3D-Scans zu verbessern.

In meinem Kopf ist das also ein mehrstufiger Prozess: herausfinden, wie man Objekte erfasst und diese Informationen über die APIs von ARCore oder ARKit (welche auch immer) erhält, das Objekt mitbringen und es durch einen maschinellen Lernalgorithmus laufen lassen, um zu sehen, ob es die beste Qualität hat, und es dann in das Ökosystem einbringen. Ich will es nicht verkomplizieren, aber ich habe das Gefühl, dass dies die Art von Dingen ist, bei denen maschinelles Lernen verwendet werden kann.

Angelika: Ja, auf jeden Fall. Eine interessante Überlegung ist, dass der dynamische Aspekt des Scannens von etwas und der anschließenden Live-Übertragung der Schlüsselteil in all dem ist. Aber das ist auch der komplizierteste und technologieabhängigste Teil, weil man nur wenig Zeit hat, um viele verschiedene Prozesse durchzuführen.

Eine Frage, die ich empfehlen würde, ist: Muss es in Echtzeit sein? Könnte es etwas sein, das vielleicht ein paar Stunden im Voraus erledigt wird? Nehmen wir an, es gibt ein wirklich großartiges Coachella-Event, bei dem wir eine Kombination aus einer Art digitalem Avatar-Influencer, der die Bühne mit dem Live-Performer teilt, einsetzen. Und für VIP-Mitglieder, die vor der Show ein Objekt scannen, können diese Objekte in die Szene gerendert werden.

Das bewirkt also mehrere Dinge. Erstens: Die benötigte Rechenleistung wird verringert, weil sie nur für eine kleinere Gruppe von Personen zur Verfügung steht. Es wird also überschaubarer. Zweitens: Es steht mehr Zeit zur Verfügung, um diese Modelle in höherer Qualität zu bearbeiten. Und drittens: Moderation der Inhalte. Es muss sichergestellt werden, dass das, was gescannt wurde, auch wirklich in die Sendung passt.

Und es gibt ein bisschen mehr Hin und Her. Da es sich um ein VIP-Erlebnis handelt, kann man sagen: "Hey, der Scan ist nicht ganz so gut geworden." Ich stimme Ihnen zu, Rushali, dass die Implementierung von maschinellem Lernen bei diesem Prozess hilfreich wäre. Wenn man das also ein wenig Zeit vor dem eigentlichen Erlebnis hat, könnte man einige der schwersten Verarbeitungs- und Nutzungsvorgänge abmildern, die bei der Live-Darstellung Probleme verursachen können.

Rushali: Und um das noch zu ergänzen, würde ich sagen, dass dieses Erlebnis (wenn wir es heute im Jahr 2022 machen müssten) wahrscheinlich in etwa so ablaufen würde: Man nimmt den Input zu Beginn einer Live-Show und verwendet den Output gegen Ende. Man hat also diese zwei Stunden Zeit, um den gesamten Prozess der Moderation und der Qualitätskontrolle zu durchlaufen. All diese Schritte müssen in der Mitte stattfinden.

Außerdem findet eine große Anzahl von Datenübertragungen statt. Außerdem werden die Daten gleichzeitig gerendert, und das ist heutzutage eine schwierige Sache, wenn man in Echtzeit arbeiten will. Man muss kreative Lösungen finden, was die Art und Weise betrifft, wie man es macht. Und nicht in Bezug auf die Technologien, die man verwendet, denn die Technologien haben derzeit bestimmte Beschränkungen.

Angelika: Ja, und die Technologie ändert sich. Deshalb ist die Idee so wichtig, denn vielleicht ist es heute noch nicht perfekt machbar, aber es könnte in den nächsten Jahren perfekt machbar sein. Oder sogar noch früher, denn wir wissen nicht, was hinter dem Vorhang vieler FAANG-Unternehmen vor sich geht. Jeden Tag könnten neue Lösungen auf den Markt kommen, die es ermöglichen, einige dieser Schmerzpunkte innerhalb des Prozesses viel mehr zu lindern.

Wir haben also über den dynamischen Aspekt des Prozesses gesprochen. Wir haben über das Scannen selbst gesprochen, aber es gibt auch einige Dinge zu beachten, wenn man ein Objekt scannt. Was sind einige Dinge, die zu einem sauberen Scan beitragen können?

Das Wichtigste ist, direktes Licht zu vermeiden. Man sollte also nicht mit einem Theaterscheinwerfer darauf leuchten, denn das würde das Bild verwischen. Eine gleichmäßige Beleuchtung ist hier sehr wichtig, und man sollte darauf achten, dass glänzende Objekte vermieden werden. Die sind zwar hübsch, lassen sich aber nicht so gut in zuverlässige Modelle umsetzen, weil das Licht von ihnen reflektiert wird.

Das sind nur ein paar Beispiele, und es gibt bestimmt noch weitere, aber das sind einige der Dinge, die während dieses Prozesses Teil der Anweisungen sind, wenn die Benutzer das Objekt scannen. Wie ich bereits erwähnt habe, gibt es nach dem Scan einige Artefakte, die im Scan selbst enthalten sein können. Ein automatischer Bereinigungsprozess wäre hier also sehr hilfreich, oder er muss manuell durchgeführt werden. Der manuelle Teil würde viel mehr Zeit in Anspruch nehmen, was der Durchführbarkeit abträglich wäre. Und hier könnte vielleicht auch der Aspekt des maschinellen Lernens helfen.

Zusätzlich zum Bereinigen wäre da noch das Compositing, das dafür sorgt, dass es in der Umgebung natürlich aussieht. All diese Dinge müssten also entweder als Kombination aus einem automatisierten Prozess oder einem manuellen Prozess durchgeführt werden. Ich könnte mir vorstellen, dass die endgültigen Modelle, die in die Show aufgenommen werden sollen, ein eher manueller Prozess sein könnten, um sicherzustellen, dass die Beleuchtung dem Anlass entspricht. Und wenn wir den von Ihnen erwähnten Weg gehen, d. h. es gleich zu Beginn der Show machen, dann haben wir einen Haufen Zeit (und ich sage einen Haufen, es sind optimistisch gesehen wirklich zwei Stunden), um all diese zeitintensiven Prozesse durchzuführen und sicherzustellen, dass es am Ende der Show relevant ist.

Moderation ist etwas, worüber wir hier auch schon oft gesprochen haben. Es gibt viele verschiedene Möglichkeiten der Moderation, aber sie konzentriert sich hauptsächlich auf Bilder, Texte und Videos. Es gibt eine Arbeit der Texas A&M University, die sich mit der Moderation von 3D-Objekten befasst, um zu verhindern, dass NSFW (not safe for work) 3D-Modelle auftauchen, wenn LehrerInnen ihren SchülerInnen nur Modelle für den 3D-Druck zeigen wollen. Das ist der eigentliche Grund für diese Arbeit. Und sie schlagen verschiedene Möglichkeiten vor, wie der Lernprozess der Moderation durchgeführt werden könnte, wobei sie das "Human-in-Loop Augmented Learning" erwähnen. Aber das ist nicht immer zuverlässig. Es handelt sich hier um ein Forschungsgebiet, für das es noch nicht viele konkrete Lösungen gibt. Das wäre also etwas, das zu den schwierigeren Dingen gehört, die zu implementieren sind, wenn man sich das gesamte Ökosystem des Konzepts ansieht, das implementiert werden muss.

Rushali: Ja, wenn man einen nachhaltigeren Weg hinzufügen müsste. Und wenn ich nachhaltig sage, meine ich nicht in Bezug auf den Planeten, denn dieses Projekt ist überhaupt nicht nachhaltig, wenn man bedenkt, dass große Mengen an Daten übertragen werden. Aber um den Moderationsprozess nachhaltiger zu gestalten, kann man ihn jederzeit für die Community öffnen. So entscheiden die Besucher des Konzerts, was aufgenommen wird. Vielleicht gibt es ein Abstimmungssystem oder eine automatische KI, die erkennen kann, ob jemand etwas Unangemessenes hochgeladen hat. Es gibt verschiedene Ansätze für die Moderation, die man wählen könnte. Aber für den Prototyp sagen wir einfach: keine Moderation, weil wir diskutieren: "Wie machen wir das?" Und die Vereinfachung ist ein Weg, um zu einem Prototyp zu gelangen.

Angelika: Genau, oder es könnte eine manuelle Moderation sein.

Rushali: Ja, ja.

Angelika: Das würde helfen, aber man müsste das Team für den Moderationsprozess bereit haben. Und es könnte für eine kleinere Gruppe von Menschen sein.

Es könnte also für ein Publikum von, sagen wir mal, 50 Leuten sein. Das ist ein viel kleineres Publikum, das die durchgeführten Scans durchsehen muss, als eine Gruppe von 20.000 Personen. Das müsste auf jeden Fall ein automatisierter Prozess sein, wenn es in kurzer Zeit geschehen soll.

Zusammenfassend haben wir also gelernt, dass diese Idee machbar ist - allerdings mit einigen Vorbehalten. Vorbehalte, die sich darauf beziehen, wie dynamisch der Scan sein muss. Muss er wirklich in Echtzeit erfolgen, oder könnte er im Laufe von ein paar Stunden oder vielleicht sogar ein paar Tagen oder Wochen stattfinden? Je nachdem, wie die Anforderungen aussehen, ist das mehr oder weniger machbar.

Der andere Aspekt ist die Säuberung, die Sicherstellung, dass der Scan in die Umgebung passt, dass er gut aussieht, all diese Dinge. Der Aspekt der Moderation, um sicherzustellen, dass die hochgeladenen Objekte zu dem passen, was implementiert werden muss. Wenn wir also sagen: "Hey, wir wollen Teddybären in diesem Erlebnis", aber jemand lädt eine Orange hoch. Wahrscheinlich wollen wir die Orange nicht, also gibt es da ein bisschen Objekterkennung.

Okay, das war's dann auch schon. Vielen Dank an alle, die bei Scrap The Manual zugehört haben, und vielen Dank an Maria für die Einsendung der Frage, die wir heute hier beantwortet haben. Weitere Informationen und Verweise auf die Dinge, die wir hier erwähnt haben, finden Sie in unseren Veranstaltungshinweisen. Und wenn Ihnen gefällt, was Sie hören, abonnieren Sie uns bitte und teilen Sie es. Sie finden uns auf Spotify, Apple Podcasts und wo auch immer Sie Ihre Podcasts beziehen.

Rushali: Und wenn Sie Themen vorschlagen möchten, Ideen für Segmente oder allgemeines Feedback, können Sie uns gerne eine E-Mail an scrapthemanual@mediamonks.com schicken. Wenn ihr mit Media.Monks Labs zusammenarbeiten wollt, könnt ihr euch auch dort an uns wenden.

Angelika: Bis zum nächsten Mal..

Rushali: Ich danke Ihnen!