Viele Vorträge des Game-Developers-Kongresses in Köln waren schablonenhaft und brachten wenig Neues. Veteranen der Spieleindustrie erzählten, wie es früher war und dass man vor allem Spaß mitbringen soll, wenn man heute Spiele entwickelt.
Spannend dagegen war insbesondere die Vortragsreihe der Independents, also der von der großen Industrie unabhängigen Entwickler. Amir Hoffnung aus Tel Aviv in Israel etwa stellte einen handgroßen Sensor vor sich auf ein Stativ. Während seines Vortrags programmierte er eine kleine Anwendung. Schon nach fünf Minuten war er damit fertig, stellte sich mitten auf die Bühne, mit erhobenen Armen, und auf der Leinwand hinter ihm sahen die Zuschauer schematisch einen Menschen, der auch die Arme hob. Amir Hoffnung bewegte sich, drehte sich, die Figur auf dem Bildschirm machte ihm alles nach, ohne Verzögerung, und das alles ohne Joystick, ohne Controller, ohne Maus. Auch ohne spezielle Markierungen auf seiner Kleidung. Nur der Sensor und ein kleines Computerprogramm.
"Wenn Sie sich all die Mensch-Maschine-Schnittstellen ansehen, die uns umgeben: Da haben wir Fernbedienungen, Beschleunigungssensoren in Smartphones, 3D-Mäuse, revolutionäre Controller wie damals bei der Spielekonsole Wii. Sie alle sind künstlich eingeführte Objekte, um zwischen dem Anwender und dem Endgerät zu vermitteln. Sie übersetzen seine Wünsche.
Wir dagegen glauben an natürliche Interaktion, wo dieses Zwischenglied nicht nötig ist. Wir ermöglichen es, dass jemand mit seiner normalen Körpersprache und natürlichen Bewegungen Geräte bedient. Wenn ich etwas auswähle, schiebe ich keine Maus mehr herum und klicke dann nicht mehr auf eine bestimmte Stelle am Bildschirm, sondern ich strecke einfach meine Hand aus und greife da oder da hin."
Mit ein paar weiteren Klicks erzeugt der Programmierer weiße Kugeln, die medizinballgroß von der virtuellen Decke fallen, und boxt und kickt sie weg. Er steht da und boxt und kickt mit der Luft.
Technisch funktioniert das mit einem Infrarot-Sensor, der ein unsichtbares Messgitter auf die Person und ihre Umgebung wirft und sich ansieht, was davon zurückkommt. Eine von Amir Hoffnung geschriebene sogenannte Middleware interpretiert die rohen Sensordaten dieses Infrarotradars; sie rechnet zum Beispiel heraus, was sich in dem Raum bewegt und was nicht, und versucht, Körperteile der sich bewegenden Struktur zu erkennen. Diese Daten können dann verwendet werden, um einen Menschen eben Kugeln kicken zu lassen, die nicht wirklich vorhanden sind, oder um mit Wischbewegungen von ZDF auf ARTE zu wechseln. Manche Sensoren können neben der 3D-Tiefen-Information auch Farben und Töne aufnehmen und verwerten.
Die Firma, bei der Amir Hoffnung arbeitet, stellt die Sensoren und die Middleware her, sie lebt vom Verkauf der Sensoren. Auf dem Kongress warb er für eine viel weiter reichende Neuheit, nämlich eine Freigabe des Codes. Der Datenfluss vom Sensor über die Middleware bis zum Endprogramm ist jetzt frei, kostenlos, Open Source.
Das ist ein Blankoscheck für all die Menschen, die ohne große Programmierkenntnisse ihre Ideen neuer Mensch-Maschine-Schnittstellen umsetzen wollen. In der Computertechnik heißt das "Augmented Reality", und das Open Source Projekt nennt sich OpenNI.org, wobei NI für "natürliche Interaktion" steht. Der Fantasie sind hier keine Grenzen gesetzt. Zwei technische Grenzen allerdings hat das System: Es funktioniert im Freien schlecht, weil dem Infrarotsignal da die reflektierenden Wände fehlen, um sich selbst zu kalibrieren. Und, gibt Amir Hoffnung zu:
"Leider reicht die Auflösung des Sensors im Moment nicht, um Finger voneinander zu unterscheiden. Wenn man also in drei Metern Entfernung auf dem Sofa sitzt, sieht der Sensor nur die ganze Hand, und das ist uns zu wenig, das werden wir ändern."
Spannend dagegen war insbesondere die Vortragsreihe der Independents, also der von der großen Industrie unabhängigen Entwickler. Amir Hoffnung aus Tel Aviv in Israel etwa stellte einen handgroßen Sensor vor sich auf ein Stativ. Während seines Vortrags programmierte er eine kleine Anwendung. Schon nach fünf Minuten war er damit fertig, stellte sich mitten auf die Bühne, mit erhobenen Armen, und auf der Leinwand hinter ihm sahen die Zuschauer schematisch einen Menschen, der auch die Arme hob. Amir Hoffnung bewegte sich, drehte sich, die Figur auf dem Bildschirm machte ihm alles nach, ohne Verzögerung, und das alles ohne Joystick, ohne Controller, ohne Maus. Auch ohne spezielle Markierungen auf seiner Kleidung. Nur der Sensor und ein kleines Computerprogramm.
"Wenn Sie sich all die Mensch-Maschine-Schnittstellen ansehen, die uns umgeben: Da haben wir Fernbedienungen, Beschleunigungssensoren in Smartphones, 3D-Mäuse, revolutionäre Controller wie damals bei der Spielekonsole Wii. Sie alle sind künstlich eingeführte Objekte, um zwischen dem Anwender und dem Endgerät zu vermitteln. Sie übersetzen seine Wünsche.
Wir dagegen glauben an natürliche Interaktion, wo dieses Zwischenglied nicht nötig ist. Wir ermöglichen es, dass jemand mit seiner normalen Körpersprache und natürlichen Bewegungen Geräte bedient. Wenn ich etwas auswähle, schiebe ich keine Maus mehr herum und klicke dann nicht mehr auf eine bestimmte Stelle am Bildschirm, sondern ich strecke einfach meine Hand aus und greife da oder da hin."
Mit ein paar weiteren Klicks erzeugt der Programmierer weiße Kugeln, die medizinballgroß von der virtuellen Decke fallen, und boxt und kickt sie weg. Er steht da und boxt und kickt mit der Luft.
Technisch funktioniert das mit einem Infrarot-Sensor, der ein unsichtbares Messgitter auf die Person und ihre Umgebung wirft und sich ansieht, was davon zurückkommt. Eine von Amir Hoffnung geschriebene sogenannte Middleware interpretiert die rohen Sensordaten dieses Infrarotradars; sie rechnet zum Beispiel heraus, was sich in dem Raum bewegt und was nicht, und versucht, Körperteile der sich bewegenden Struktur zu erkennen. Diese Daten können dann verwendet werden, um einen Menschen eben Kugeln kicken zu lassen, die nicht wirklich vorhanden sind, oder um mit Wischbewegungen von ZDF auf ARTE zu wechseln. Manche Sensoren können neben der 3D-Tiefen-Information auch Farben und Töne aufnehmen und verwerten.
Die Firma, bei der Amir Hoffnung arbeitet, stellt die Sensoren und die Middleware her, sie lebt vom Verkauf der Sensoren. Auf dem Kongress warb er für eine viel weiter reichende Neuheit, nämlich eine Freigabe des Codes. Der Datenfluss vom Sensor über die Middleware bis zum Endprogramm ist jetzt frei, kostenlos, Open Source.
Das ist ein Blankoscheck für all die Menschen, die ohne große Programmierkenntnisse ihre Ideen neuer Mensch-Maschine-Schnittstellen umsetzen wollen. In der Computertechnik heißt das "Augmented Reality", und das Open Source Projekt nennt sich OpenNI.org, wobei NI für "natürliche Interaktion" steht. Der Fantasie sind hier keine Grenzen gesetzt. Zwei technische Grenzen allerdings hat das System: Es funktioniert im Freien schlecht, weil dem Infrarotsignal da die reflektierenden Wände fehlen, um sich selbst zu kalibrieren. Und, gibt Amir Hoffnung zu:
"Leider reicht die Auflösung des Sensors im Moment nicht, um Finger voneinander zu unterscheiden. Wenn man also in drei Metern Entfernung auf dem Sofa sitzt, sieht der Sensor nur die ganze Hand, und das ist uns zu wenig, das werden wir ändern."