Friedbert Schulze

 

Mixed Reality

 

Der Anlass

Am Anfang meines Studiums 1994 begann ich, die künstlichen Welten der Surrealisten zu entdecken. Mit den Möglichkeiten der Computersimulation schuf ich eine eigene Welt. Rechenkapazität und Berechnungsalgorithmen waren zu der Zeit noch nicht so optimiert, dass ein interaktives Arbeiten mit komplexen Welten und Modellen möglich war. So begrenzte ich mich auf die für mich wesentlichen Elemente Oberfläche und Licht.

Dazu benötigte ich nur einfache Grundkörper, denen ich eine transparente Oberfläche gab und sie der künstlichen Beleuchtung aussetzte. So entstanden die ersten mit dem Raytracing-Verfahren errechneten Bilder.

Zwei Jahre weiter waren Algorithmen und Rechenkapazität so weit entwickelt, dass ich die Bewohner meiner Welt in Echtzeit studieren konnte. Mit der Raumbeschreibungssprache VRML (virtual reality modelling language) war ich in der Lage, eine künstliche Welt zu beschreiben und sie in Echtzeit am Bildschirm zu betrachten.

Durch das jetzt flüssige Arbeiten entstanden Modelle aus verschiedenen Grundkörpern. So bevölkerten bald viele Modelle meine künstliche Welt.

Heute bietet sich mit Mixed Reality die Möglichkeit, Objekte in den realen Raum zu projizieren, und gleichzeitig können diese Objekte in einen realen Kontext gestellt werden.

Diese Ausstellung zeigt einen Anfang, einen Beginn zu einer Reise in den virtuellen Raum – einen Raum, der jetzt auch körperlich erfahren und begangen werden kann.

Die Ausstellung Mixed Reality

Der Rundgang durch die Ausstellung beginnt mit Bildern, halbtransparenten Ansichten eines Metatetraeders, eines Metaquaders, und einer Metakugel, und gegenüber auf Plasmabildschirmen denselben Objekten in Bewegung.

Zwischen den Bildern und den Bildschirmen stehen drei Steelen. Auf den Steelen ist jeweils ein Marker (16 x 16 cm) aufgebracht. Werden die Marker mit den zur Verfügung stehenden Tablett-PCs betrachtet, so erscheint eines der von den Bildern und Plasmamonitoren bekannten Objekte auf je einem der Marker. Bilder, Monitor und Steele mit dem gleiche Objekt stehen in einer Reihe.

Dieser erste Teil der Ausstellung soll vom Bekannten zum Neuen führen. Von Bildern in Bilderrahmen über bewegte Bilder auf Fernsehern zu durch Mixed Reality erzeugten räumlichen Darstellungen von Objekten.

Der größte Teil des Raumes ist mit sechs weiteren Steelen und drei auf dem Boden liegenden Markern ausgelegt. Über jedem Marker ist mit Hilfe der Tablett-PCs ein Objekt zu sehen. Manche Objekte bewegen sich, oder ändern während des Betrachtens ihre Farbe.

Mit dem Bildschirm in der Hand betrachte ich die ersten Objekte, die fest über ihren Markern stehen. Das was ich sehe, muß ich mit meiner Logik einordnen und Bekanntem zuordnen um es in meine Wirklichkeit aufzunehmen. Die Objekte nehme ich als Darstellung auf dem Bildschirm wahr. Nachdem ich eine Weile die ausgestellten Objekte studiert habe, setzt eine Gewöhnung ein, so dass ich nicht mehr nachdenken muss, um die Objekte in meine Welt einzuordnen. An diesem Punkt nehme ich die Objekte nicht mehr als Darstellung auf dem Schirm wahr, sondern als dreidimensionale Erscheinung, die tatsächlich über dem Marker im Raum schwebt. Sehe ich neben den Bildschirm direkt auf den Marker, setzt für kurze Zeit eine Ernüchterung ein, da die Repräsentation des Raumes in meiner Wirklichkeit nicht mit dem realen Raum übereinstimmt. Meine einsetzende Logik befreit mich sofort aus diesem Dilemma und erklärt mir noch einmal, dass das Objekt nur im Rechner existiert.

 

Die letzte Installation dieser Ausstellung fasst alles Gesehene noch einmal zusammen. Auf einem Tisch liegen alle schon gesehenen Marker in verschiedenen Größen. Ein modifiziertes Head Mounted Display mit einem Handgriff an der Unterseite lädt zum Betrachten der Marker ein.

Entstehung eines 3D-Modells im Computer

Um ein Drahtgittermodell zu generieren wird eine Liste der Punkte zusammengestellt, zwischen denen eine Linienverbindung besteht.

Um eine Kugel zu erzeugen genügt es den Mittelpunkt und den Radius zu kennen. Der resultierende Datensatz ist recht überschaubar. Die Oberflächeneigenschaften des 3D-Modells bekommen einen eigenen Abschnitt im Datensatz. Je nach Viewer stehen Parameter wie diffuse Farbe, Glanzeigenschaften, Grundhelligkeit und weitere Eigenschaften zur Verfügung.

Sind einmal eine Kugel, eine Lichtquelle und ein Betrachterstandpunkt definiert, lässt sich von diesem aus ein Blick auf die Kugel berechnen. Das Errechnen eines Bildes wird nachfolgend auf Basis des Raytracing Verfahrens dargestellt.

Albrecht Dürer hat in seiner Abhandlung "Underweysung der messung mit dem Zirkel und richtscheyt, in Linien Ebnen un gantzen Corporen“ 1525 dieses Verfahren skizziert.

Eines der Hilfsmittel die Dürer benutzte ist die Dürerscheibe. Auf den Rechner übertragen ist sie die Definition eines Pixelbildes. Der Betrachterstandpunkt bei Dürer ist als Kamerastandpunkt im Datensatz definiert. Die Leine in Dürers Bild ist der Strahl den der Rechner per Integralrechnung vom Betrachterstandpunkt durch jedes Pixel des Bildes in den virtuellen Raum berechnet. Da das zu berechnende Bild immer aus einer definierten Anzahl von Bildpunkten besteht, muss für jeden dieser Bildpunkte ein Farbwert errechnet werden. Dazu gibt es verschiedene mehr oder weniger schnelle Rechenverfahren. Raytracing ist eines dieser Verfahren.

Der Zeichner in Dürers Beschreibung sieht das von einer Lichtquelle kommende und von den Gegenständen zurückgeworfene Licht. Das Raytracing Verfahren geht den umgekehrten Weg. Vom Kamerastandpunkt aus wird per Integralrechnung durch jedes Pixel des Bildrasters ein Strahl berechnet. Trifft dieser Strahl auf ein Objekt werden die definierten Oberflächeneigenschaften zur Berechnung hinzugezogen. Weiter wird errechnet ob und wie die definierte Lichtquelle Einfluss auf das Objekt nimmt. Der Strahl wird nach der Regel Einfallswinkel gleich Ausfallswinkel weiter gezogen bis er kein Objekt mehr schneidet. Der kumulierte Farbwert wird in das Pixel des Bildes eingetragen. Das Verfahren wird für jeden Pixel des Bildes wiederholt.

Resume

Nur sehen macht nicht satt, doch befriedigt es die Neugier.

Eine neue Erfahrung und Einordnung von Realität und Simulation in das eigene Weltbild ist mit dieser Ausstellung angefangen.

Für die 3D-Modelle ist mit Mixed Reality eine angenehmere Art gefunden sie zu studieren. In wenigen Jahren werden neue Techniken und Medien erfunden sein, um einen immer genaueren und natürlicheren Weg zu beschreiten, um mit 3D-Modellen zu arbeiten.

Durch Mixed Reality ist ein intuitiver Blick in eine virtuelle Realität möglich.

Die Grenze zwischen Realität und Simulation löst sich kontinuierlich auf.

Seit geraumer Zeit befasse ich mich mit virtueller Realität und Simulation. Und doch fiel mir beim Lesen des Romans Otherland von Tad Williams auf, dass auch ich Realität und Simulation nicht immer getrennt auffasse.

Auf die Frage, was das Thema ür die Diplomarbeit sei, sind oft lange Erklärungen nötig um das Medium Mixed Reality zu beschreiben. Dabei stellt sich heraus,dass noch keine geeigneten Worte gefunden sind, um Mixed Reality, so wie sie hier in der Ausstellung angewandt wird, einfach und prägnant zu beschreiben. Ich bin zu der Auffassung gekommen, dass die entsprechenden Worte in unserem Sprachgebrauch fehlen. Eine kurze Vorführung nur eines Beispiels aus der Ausstellung und der Betrachter war sich sofort bewusst, um was es sich bei Mixed Reality handelt.

Virtuelle Welten finden in internetbasierten Spielen eine immer größere Bedeutung.

Nicht nur, dass die virtuellen Gegenstände aus den Online Spielen für reale Euro verkauft werden, es hat sich hier ein Markt etabliert durch den Designer von virtuellen Landschaften und Avataren ihren Lebensunterhalt verdienen. Es wird nur kurze Zeit dauern bis Mixed Reality in diesem Bereich Einzug hält. Wir sollten vorbereitet sein, intellektuell, wie auch für die Nutzung und Gestaltung des

Mediums.

Mixed Reality bietet die Möglichkeit computergenerierte Daten, insbesondere 3D-Modelle, räumlich erfahrbar zumachen. Eine Aufgabe für Kommunikationsdesigner ist, dieses Medium in eine alltagstaugliche zu Form zu bringen und Inhalte für die verschiedenen Anwendungen zu kreieren und aufzubereiten.

"Mixed Reality" wurde präsentiert bei der Diplomausstellung am Fachbereich Gestaltung der FH Bielefeld, 8. - 10.7.2005

 

 

http://www.friedbertschulze.de/mixed-reality