Kreative Überlegungen für erweiterte Realitätserfahrungen

Diese Woche startete Fast Company sein jährliches Innovation Festival mit Fast Track Sessions, die die Teilnehmer hinter die Kulissen und in die Häuser einiger der innovativsten Unternehmen in New York City führen. Die Fast Track Sessions, die als "Fast Company's unique take on the field trip" (Fast Company's einzigartige Interpretation einer Exkursion) bezeichnet werden, beziehen Marken und Kreative durch praktische Gespräche und Erfahrungen ein, die von den teilnehmenden Unternehmen, einschließlich MediaMonks, veranstaltet werden.

Unser New Yorker Büro öffnete die Türen zum Dojo und lud Marken in unser Haus ein, um über alles zu diskutieren, was mit erweiterter Realität zu tun hat. In einer Podiumsdiskussion über Augmented Reality und ihre Anwendung in der Musik- und Unterhaltungsbranche tauchten unsere Monks tief in den Design- und Entwicklungsprozess von Pharos AR ein - einem mobilen AR-Erlebnis, das in Zusammenarbeit mit Childish Gambino, Wieden+Kennedy, Unity und Google entstand. Die App nimmt die Nutzer mit auf eine kosmische Reise zu einem exklusiven Track von Childish Gambino und ist das erste Multiplayer-Musikvideo.

Die Sitzung, an der Snider-Held (Creative Technologist, MediaMonks), Thomas Prevot (Senior Producer, MediaMonks) und Tony Parisi (Head of VR/AR Brand Solutions, Unity) teilnahmen, diente als lockeres Kamingespräch. Das Gespräch begann mit einer Bestandsaufnahme von VR und AR, die oft von dem widersprüchlichen Gefühl geprägt sind, dass VR tot ist und dass der klare Anwendungsfall für AR noch nicht gefunden wurde. Beide Technologien sind jedoch gut etabliert und eignen sich hervorragend zur Erreichung verschiedener Ziele in unterschiedlichen Umgebungen.

Snider-Held, die unser Batman-Erlebnis als starkes Beispiel für die immersiven Kräfte von VR vorstellte, merkte an, dass "diese Erlebnisse immer noch sehr installationsbasiert sind" und dass die Verbreitung von AR über Mobiltelefone das Potenzial für eine größere Reichweite mit einem einfacheren Erlebnis bietet. Bei der Erläuterung des Entwicklungsprozesses von Pharos AR untersuchte die Gruppe insbesondere die wichtigsten Überlegungen zu den Herausforderungen, die bei der Entwicklung eines erweiterten Realitätserlebnisses zu berücksichtigen sind.

AR kann sich real anfühlen, ohne fotoreal zu sein

Einschränkungen fördern die Kreativität - ein Sprichwort, das auf AR ebenso zutrifft wie auf jedes andere Medium für die Kunstproduktion. Da mobile AR-Erlebnisse für die Verwendung auf einer Vielzahl von Geräten konzipiert sind, müssen sie relativ leicht sein, um einer möglichst großen Zahl von Nutzern ein reibungsloses Erlebnis zu bieten. Wenn die technischen Einschränkungen nicht berücksichtigt werden, kann dies zu einem verzögerten, stotternden Erlebnis führen, das die Immersion unterbricht.

Dies gilt zwar für jede digitale Erfahrung, aber ganz besonders für AR, ein Medium, das laut Parisi darauf abzielt, "intelligent mit der realen Welt zu interagieren" Diese Erwartung, sich nahtlos in die Umgebung zu integrieren, kann dazu führen, dass stotternde Grafiken wie ein wunder Daumen hervorstechen. "Man sollte die Bildrate bei über 30 Bildern pro Sekunde halten", sagt Snider-Held, "denn der Nutzer vergleicht die Bewegung auf dem Bildschirm mit dem, was um ihn herum in der Realität passiert."

Das Trio nahm diese Herausforderung zum Anlass, um über den hochgradig stilisierten Look von Pharos AR zu sprechen. Während eine fotorealistische Grafik für ein mobiles Gerät unpraktisch ist, um sie in Echtzeit zu rendern, bietet ein stilisierter Look die Möglichkeit, sich durch eine strategische Wahl der Ästhetik von der Masse abzuheben. Für Pharos AR ließ sich das Team von Childish Gambinos lasergestochenen Bühnenshows inspirieren, um sicherzustellen, dass sich das Aussehen der App auf natürliche Weise mit dem Rest der visuellen Marke des Künstlers verbindet.

"Stilistisch haben wir versucht, die Beschränkungen der mobilen Verarbeitung auf eine optisch ansprechende Weise einzuhalten", so Snider-Held. Ein Beispiel dafür ist der Einsatz von Partikeleffekten, bei denen sich Lichtfunken zu einem geisterhaften Bild von Childish Gambino zusammenfügen, während er zur Musik tanzt, animiert durch Motion Capture. "Dies ist das beste Beispiel dafür, dass man keinen Fotorealismus braucht", so Parisi. "Wir waren in der Lage, die Essenz von Donald einzufangen, weil es sein Tanz ist

Sorgfältige Planung der narrativen Umgebung

Extended-Reality-Erlebnisse sind von Natur aus interaktiv, das heißt, sie erfordern einen anderen Ansatz als die Planung linearer Erlebnisse. Man muss sorgfältig abwägen, ob man den Nutzern die Zügel in die Hand gibt, damit sie die Umgebung auf eigene Faust erkunden können, oder ob man sie entlang eines narrativen Fadens an die Hand nimmt. Wesley ter Haar, Gründer und COO von MediaMonks, weist darauf hin, dass die narrative UI der Schlüssel für das Onboarding und die Führung des Nutzers in einem AR-Erlebnis ist", was es unglaublich wichtig macht, dass Sie die Interaktionen der Nutzer planen und Hinweise aus der Umgebung nutzen, um eine Erzählung zu gestalten.

Pharos AR beginnt und endet zwar mit offener Benutzerinteraktion, folgt aber dennoch einer klaren Erzählung durch die virtuelle Performance der Single Alogrhythm" von Childish Gambino Bei der Erkundung des primären Pfades durch das Erlebnis begann das Team mit der Planung in Form eines Storyboards, ähnlich wie man es für einen Film erstellen würde. "Dieser Prozess dient nicht nur der visuellen Recherche, sondern auch dazu, das Animationsteam zu informieren und sich vorzustellen, wie sich die Aktionen in der Umgebung des Benutzers abspielen werden", so Snider-Held.

Das macht Sinn - aber was unterscheidet das Storyboarding für AR oder VR von anderen Formen des digitalen Storytellings? Da die Nutzer mit der App in ihren Wohnungen spielen konnten, musste das Team für andere Variablen planen, wie groß die virtuelle Szene sein sollte und welche Aktionen für mehrere Nutzer in einer kleineren Umgebung möglich wären - etwa im beengten Wohnzimmer eines New Yorker Apartments, um ein Beispiel zu geben, mit dem sich die Fast Track-Teilnehmer identifizieren konnten. Die Herausforderung zeigt, wie wichtig es ist, die virtuelle Szene für verschiedene Szenarien und Benutzer abzubilden.

Eine interessante Erkenntnis aus dem Panel war, dass sich das Team nicht nur auf visuelle Planungsmethoden wie Karten und Storyboards verlassen hat. Aufgrund der Art der Hintergrundmusik, die sich aufbaut, während die Benutzer den Raum um sie herum erkunden, entwickelte das Team auch eine musikalische Zeitleiste, die aufzeigt, wie verschiedene Interaktionen die Überlagerung der Musik auslösen. Dieser Schritt zeigt, wie sensorische, umgebungsbezogene Hinweise die Handlung innerhalb einer immersiven, erweiterten Realitätserfahrung beeinflussen können.

Unabhängig davon, ob sie für VR oder AR entwickelt werden, erfordern Extended-Reality-Erlebnisse von den Entwicklern ein Umdenken in Bezug auf den kreativen Ansatz jenseits der linearen Standardgeschichte. Angefangen bei Überlegungen zum Setting, über technische Einschränkungen bis hin zu Variationen in der Anzahl der Nutzer auf verschiedenen Plattformen - die Entwicklung von Extended-Reality-Erlebnissen erfordert ein umfassendes Verständnis der Bausteine, aus denen sich ein Gesamterlebnis für den Nutzer zusammensetzt. Snider-Held beendete die Sitzung mit einem Ausblick darauf, was MediaMonks mit Marken durch solche Erlebnisse erreichen will: "Wir streben danach, die Nutzung der Technologie vom Unmöglichen zum Wahrscheinlichen voranzutreiben, und experimentieren damit, wie wir auch das fördern können."