Aufmerksamkeit in Computerspielen und Selective Rendering

Titel:
Aufmerksamkeit in Computerspielen und Selective Rendering

Beschreibung:

Neben technischen Herausforderungen beschäftigt sich die Computergraphik auch mit Wahrnehmung. Schließlich kommt es darauf an wie die dargestellten Bilder vom Betrachter wahrgenommen werden. Daraus ergibt sich ein weiterer Ansatz zur Qualitätsverbesserung, nämlich den Rechenaufwand so zu verteilen dass die wahrgenommene Qualität verbessert wird.
Unserer Idee ist ein Rendering Algorithmus mit zwei Komponenten zu entwickeln: eine sogenannte "Importance Map" und einen - wir nennen es - "Perceptual Rendering Controller". Erstere soll vorhersagen wie gut ein zu renderndes Objekt vom Spieler wahrgenommen wird und die zweite Komponente soll diese Information verwenden um das begrenzte Rechen-Budget auf die Objekte so zu verteilen dass die wahrgenommene Qualität maximiert wird. Also ein wichtiges Objekt soll mit hoher Qualität, d.h. auch hohem Rechenaufwand, gerendert werden, während ein unwichtiges Objekt mit schlechterer Qualität dargestellt werden kann, und somit dort Rechenzeit gespart wird.
Wir vergeben daher 2 PR/DA Themen die sich schwerpunktmäßig zum einem mit dem Thema "Aufmerksamkeit und Wahrnehmung" oder zum anderen mit dem Thema "Selective Level of Detail Rendering" befassen.

Messung der Aufmerksamkeit für Importance Maps:
Um herauszufinden welche Objekte im Fokus der Aufmerksamkeit liegen werden wir einen Eyetracker verwenden. Dazu sind Experimente mit einem Computerspiel geplant, bei denen wir die Blickpunkte der Spieler aufzeichnen und anschließend analysieren welche Objekt-Eigenschaften statistisch mit der Aufmerksamkeit korrelieren. Bei der Analyse wollen wir möglichst alle Einflussfaktoren, wie semantische Eigenschaften der Objekte, ihre Bedeutung für die Aufgaben im Spiel, räumliche Eigenschaften wie Position und Bewegung, miteinbeziehen. Aber auch Töne und crossmodale Ereignisse beeinflussen die Aufmerksamkeit. Letzteres bedeutet dass gleichzeitige und konkruente Bild und Ton Stimuli in unserer Wahrnehmung integriert werden und - so vermuten wir - zu einer besonderen Aufmerksamkeits-Reaktion führen. Zum Beispiel wir hören ein Telefon klingeln und suchen nach dem Objekt, sprich irgendetwas das zumindest wie ein Telefon aussieht, und lenken darauf unsere Aufmerksamkeit (und den Blick). Ziel ist es geeignete Modelle zu entwickeln, die eine probabilistische Vorhersage der Aufmerksamkeit für jedes einzelne Objekt anhand dessen Eigenschaften und dem Gesamtkontext im aktuellen Frame erlauben. Diese Modelle sollen empirisch parameterisiert und evaluiert werden. Sind stabile Modelle gefunden, so werden diese als Basis für die Importance Map Generierung benützt
Die erste Aufgabe wird sein ein geeignete Game-Levels zu editieren. Dazu steht eine Game Engine und auch ein damit entwickelter Egoshooter zur Verfügung, der allerdings für die Experimente angepasst werden muss. Weitere Aufgaben sind u.a. die Mithilfe bei der Vorbereitung und Durchführung der Experimente, sowie die Weiterentwicklung unserer Analysesoftware. Je nach Interessen und Fähigkeiten des Diplomanden, werden dann die Aufgaben bei der Analyse und Modellentwicklung angepasst.

Selective Rendering:
Weiters ist auch eine Diplomarbeit/Praktikum über Selective Rendering vorgesehen. Dabei soll der letzte Schritt, das Proof of Concept von Attention Predicing Importance Maps in einer praktischen Anwendung, gemacht werden. D.h. geeignete Level of Detail Verfahren sollen in die Engine eingebaut werden und zusätzlich ein Algorithmus der die bestmögliche Verteilung der Renderingkosten durch die geeignete LOD Auswahl bewerkstelligt. Dieser bekommt als Eingabe die Importance Werte einzelner Objekte und soll die wahrgenommene Renderingqualität maximieren während aber eine minimale Framerate nicht unterschritten werden darf. Dafür muss dieser sowohl die Renderingkosten für einzelne LODs abschätzen können, als auch den Benefit, der aus der Importance des Objekts und dem Qualitätsverlust des angewendeten LODs bestimmt wird, evaluieren. Die Aufgabe besteht darin geeignete LODs (z.B. Shader LODs) auszuwählen, diese in die Engine des oben genannten Spieles einzubauen, und einen einfachen Algorithmus zur LOD Auswahl zu verfeinern und auf dieses Spiel anzupassen. Zusätzliche Probleme die es zu lösen gibt sind LOD popping Artefakte, welche mit geeigneten LOD Blendingverfahren unterdrückt werden können. Schlußendlich wird dann eine Experiment (Userstudy) durchgeführt welches evaluieren soll ob die wahrgenommene Qualität durch Attention Predicting Selective Rendering tatsächlich verbessert werden kann.

Anmerkung:
Die Anfertigung beider Diplomarbeiten soll in enger Zusammenarbeit mit dem Betreuer, der sich in seiner eigenen Forschungsarbeit mit diesem Thema beschäftigt, geschehen. Daher ist auch die Einhaltung eines konkreten Zeitplans erwünscht, da sonst die Zusammenarbeit erschwert wird. D.h. Studenten die "irgendwann" ihre Arbeit abschließen wollen oder zeitlich relativ eingeschränkt sind, sollten sich besser nicht melden. Beide Themen können auch als (Master-)Praktikum begonnen werden, und bei vertiefendem Interesse und Eignung mit einer Diplomarbeit weitergeführt werden.

Vorkenntnisse:

C++ Programmiererfahrung, gute Englischkenntnisse, gute Kenntnisse aus Computergraphik, Grundkenntnisse in Statistik, Interesse für Wahrnehmung und Aufmerksamkeit

Werkzeuge:

Visual C++ (VS8), eine kleine Gameengine mit Level-Editor, Tobii x50 Eyetracker

Kontakt:

Matthias Bernhard  <matthias.bernhard@cg.tuwien.ac.at>
Tel.: 58801-18686