NMC Horizon Report > 2017 Higher Education Edition (German)
>Wichtige lehr-/lerntechnologische Entwicklungen für den Hochschulbereich
>>Zeithorizont: vier bis fünf Jahre

Natürliche Benutzerschnittstellen

Zeithorizont: vier bis fünf Jahre

Zusammenfassung

Einführung

Schlüsseltrends, die den Einsatz von Technologien im Hochschulbereich befördern

Langfristige Trends: Antriebsfaktoren für die Technologieeinführung im Zeithorizont fünf oder mehr Jahre

 > Beförderung von Innovationskulturen
 > Deeper-Learning-Methoden

Mittelfristige Trends: Antriebsfaktoren für die Technologieeinführung im Zeithorizont drei bis fünf Jahre

 > Zunehmender Fokus auf der Messung von Lernprozessen
 > Neugestaltung von Lernräumen

Kurzfristige Trends: Antriebsfaktoren für die Technologieeinführung im Zeithorizont ein bis zwei Jahre

 > Blended-Learning-Designs
 > Kollaboratives Lernen

Besondere Herausforderungen, die den Einsatz von Technologien im Hochschulbereich behindern

Bezwingbare Herausforderungen: begreifbar und lösbar

 > Zusammenführung von formellem und informellem Lernen
 > Verbesserung der Digital- und Medienkompetenz

Schwierige Herausforderungen: begreifbar, aber schwer lösbar

 > Die Leistungskluft
 > Förderung der digitalen Gleichberechtigung

Komplexe Herausforderungen: schwer definierbar und umso schwerer lösbar

 > Neue Rolle(n) der Lehrenden
 > Der richtige Umgang mit Wissensverschleiß

Wichtige lehr-/lerntechnologische Entwicklungen für den Hochschulbereich

Zeithorizont: ein Jahr oder weniger

 > Adaptive Lerntechnologien
 > Mobiles Lernen

Zeithorizont: zwei bis drei Jahre

 > Internet der Dinge (IoT)
 > Next-Generation-LMS

Zeithorizont: vier bis fünf Jahre

 > Künstliche Intelligenz
 > Natürliche Benutzerschnittstellen

Methodologie

Expert/innenbeirat der Hochschulausgabe 2017

Geräte, die über natürliche Benutzerschnittstellen (Natural User Interface, NUI) verfügen, verarbeiten Eingaben in Form von: Antippen, Wischen und anderen Berührungen; Hand- und Armbewegungen; Körperbewegungen; und zunehmend auch natürlicher Sprache. Tablets und Smartphones gehörten zu den ersten Geräten, die physische Gesten als Steuerungseingaben erkennen und interpretieren konnten.[i] Durch NUIs kann man mit Bewegungen virtuelle Aktivitäten ähnlich wie in der realen Welt ausführen und Inhalte intuitiv steuern. Es gibt immer mehr interaktive Wiedergabemöglichkeiten in Systemen, die Gesten, Gesichtsausdrücke und ihre Nuancen verstehen, ebenso wie die Konvergenz von gestenempfindlicher Technologie mit Stimmerkennung. Gesten- und Stimmerkennung sind bereits weit verbreitet. Darüber hinaus eröffnen Entwicklungen in der haptischen Technologie – taktile Signale, die Informationen an den Nutzer übertragen – neue Bereiche der wissenschaftlichen Forschung und Einsatzmöglichkeiten in der Bildung.[ii]

Überblick

Natürliche Benutzerschnittstellen wurden 2007 durch die Markteinführung des iPhone mit seinem Touchscreen populär, aber das Konzept gab es bereits lange zuvor. Diskussionen rund um die Entwicklung von Schnittstellen, die über Befehlszeile und grafische Benutzeroberfläche hinausgehen, kamen in den 1970ern und 80ern auf, als Steve Mann, der weithin als Vater der Wearables betrachtet wird, mit Mensch-Maschine-Interaktionen zu experimentieren begann, aus denen sich NUIs entwickelten.[iii] Laut einem Bericht von Tracxn wurden seit 2010 über 800 Millionen US-Dollar in NUIs in sechs Hauptkategorien investiert: Spracherkennung, Touchscreen Interfaces, Gestenerkennung, Blickbewegungsmesser (Eye-Tracker), Haptik sowie Gehirn-Computer-Schnittstellen. Der akademische Bildungsbereich spielt eine wesentliche Rolle bei diesen Entwicklungen, da viele der Technologien an Universitäten entwickelt werden und sich darauf auswirken, wie Studierende zukünftig mit Lerntechnologien umgehen werden.[iv]

Die Entwicklung von NUIs im Konsumentenbereich wird sich sehr wahrscheinlich auf die Hochschullehre auswirken, da Bildungseinrichtungen auf die sich verändernden Erwartungen der Lernenden reagieren müssen. Führende Unternehmen wie Amazon, Apple und Google haben Sprachassistenten entwickelt, die immer beliebter werden. Die jüngste Studie des Marktforschungsinstituts NDP Group hat ergeben, dass 73% der Smartphone-Besitzer bereits Stimmbefehle benutzen, um ihre Geräte zu steuern. Apple experimentiert bei der Weiterentwicklung seiner virtuellen Assistentin Siri mit Sprechererkennung, bei der die Authentifizierung des Nutzers über Stimmbiometrie erfolgt.[v] Die Entwickler von Wearables setzen bei der Weiterentwicklung ihrer Schnittstellen auch auf Gestenerkennung. Die dritte Generation intelligenter Brillen namens K-Glass 3 des Korea Advanced Institute of Science and Technology (KAIST) kann mittlerweile Handbewegungen erkennen und virtuelle Text- oder Klaviertastaturen anbieten, um die Schnittstellen intuitiver und komfortabler zu machen.[vi]

Haptische Technologie, bei der die Zusammenwirkung von Sensoren, Aktuatoren und Software eine physische Berührung simuliert, ist eine NUI-Kategorie, mit der im Konsumenten- und Bildungsbereich intensiv experimentiert wird.[vii] Forscher an der University of Sussex erproben Schnittstellen, die die Haut zur Touchscreen machen – eine Antwort auf die immer kleiner werdenden Wearables, z.B. Smartwatches. Das Tool “SkinHaptics” sendet Ultraschallwellen durch den Handrücken auf ein Display in der Handfläche.[viii] Auch wenn die Hochschulen noch Jahre davon entfernt sind, das Potenzial von NUIs vollständig zu erschließen, um das technologiegestützte Lernen dramatisch zu verändern, so werden doch in der medizinischen Ausbildung bereits überzeugende Erfahrungen gesammelt. Haptische Technologie mit Kraftrückkopplung (Force-Feedback) erweitert die bisherige robotische Chirurgie: Chirurgen können dadurch während des Eingriffs in Gewebe das Innere des menschlichen Körpers genauer erfühlen. Auch in der Anatomie gibt es Anwendungsszenarien. Die Studierenden haben dort eine begrenzte Anzahl von Leichnamen zur Verfügung. Durch haptische Technologie hätten sie die Möglichkeit, darüber hinaus an digitalen Patienten sehr realistisch zu üben.[ix]

Relevanz für Lehre, Lernen oder kreative Forschung

Natürliche Benutzerschnittstellen gewinnen in der medizinischen Forschung und Ausbildung zunehmend an Bedeutung. Das Mechatronics and Haptic Interfaces Lab an der Rice University experimentiert mit Neurotechnologie, um Schlaganfallpatienten bei der Bewegungsrehabilitation zu helfen. Dortige Forscher haben eine robotische Orthese entwickelt, die durch die Gehirnwellen eines Schlaganfallpatienten ein Exoskelett steuert, das den Arm vom Ellenbogen bis zu den Fingerspitzen umschließt.[x] An der Stanford University wurde die Wolverine entwickelt, ein mobiles, haptisches Wearable, das das Greifen eines festen Gegenstands in der virtuellen Realität simuliert.[xi] An der Hong Kong Polytechnic University üben Pflegestudierende mit einem haptischen Feedbacksystem das Legen einer nasogastralen Sonde. Das Einführen eines Kunststoffschlauchs in den Magen zur Ernährung oder Drainage ist ein grundlegender Bestandteil der Pflegeausbildung. Eine Fehlplatzierung kann zu Komplikationen oder sogar zum Tod führen. Eine Computer-simulierte virtuelle Umgebung verringert das Risiko und sorgt für größere Genauigkeit.[xii]

Fortschritte in der NUI-Entwicklung ermöglichen Menschen mit Behinderungen einen besseren Zugang zur Bildung. Sehbehinderte werden bald von der Arbeit eines interdisziplinären Forscherteams aus den Fakultäten Technik, Musik, Theater und Tanz an der University of Michigan profitieren können. Das Team entwickelt ein Tablet mit einer ganzseitig aktualisierbaren Browseranzeige, das durch Luft- oder Flüssigkeitsdruck Punkte bewegt und so viele Zeilen Brailleschrift ebenso wie Grafiken, Tabellenkalkulationen und andere voluminöse mathematische und wissenschaftliche Informationsdarstellungen auf dem kleinen Display lesbar machen kann.[xiii] An der Deakin University wird gezielte Forschung im Bereich der Haptik betrieben, um den Kunstgenuss zu ermöglichen. Das Projekt “Haptic-Enabled Art Realization (HEAR)” ist eine Plattform, durch die Sehbehinderte die visuellen Informationen in einem zweidimensionalen Kunstwerk erfühlen können.[xiv]

Durch Experimente mit NUIs können neue Lern- und Kommunikationsformen erschlossen werden. Disney Research hat eine elektrostatische Vibrationstechnologie mit dem Spitznamen TeslaTouch entwickelt, die glatte Glasdisplays mit taktiler Sinneswahrnehmung anreichert. Dadurch lassen sich Buckel, Kanten und andere Texturen ertasten. Diese Technologie ermöglicht tiefergehende Interaktionen mit Lerninhalten. Auf Mobilgeräten können durch elektrisch induzierte taktile Sinneswahrnehmungen interaktive Lehrbücher entstehen, in denen Studierende 3D-Objekte direkt auf der Seite bearbeiten können.[xv] An der Universität Tampere in Finnland wird in laufenden Projekten eine komplett neue Form von Mensch-Technik-Interaktionen untersucht, die der im realen Leben primär audiovisuellen Kommunikation eine frische Dimension verleiht. Das Projekt “Digital Scents” misst Gerüche durch eine elektronische Nase und überträgt diese Informationen in ein Zahlensystem. Dadurch können Geruchswahrnehmungen und -eindrücke weltweit digital transferiert werden.[xvi]

Natürliche Benutzerschnittstellen in der Praxis

Die folgenden Links liefern Beispiele für natürliche Benutzerschnittstellen, die unmittelbare Implikationen für den akademischen Bildungsbereich haben:

Computer Aided Engineering Design and Virtual Prototyping

go.nmc.org/pvamu

Ein Maschinenbauprojekt an der Prairie View A&M University kombiniert Freiformmodellierung mit Virtual-Reality-Techniken, um Prototypen für Luft- und Raumfahrt, Automobil- und Modellbau zu verbessern. Der virtuelle Modellierungsprozess verwendet ein PowerWall VR-System und eine haptische Steuerung.

HoloMed: A Low-Cost Gesture-Based Holographic System to Learn Normal Delivery Process (PDF)

go.nmc.org/arxiv

Im Medizinstudium werden häufig Fotos als Anschauungsmaterial verwendet, die aber aufgrund ihrer statischen Natur ungenügend sind. HoloMed ist ein holografisches System mit einer gestenbasierten Schnittstelle, mit dem der Geburtsvorgang realitätsnah veranschaulicht werden kann.

Improving Motivation in a Haptic Teaching/Learning Framework

go.nmc.org/improm

Ingenieurwissenschaftler in Spanien haben eine Umgebung für den Bau haptischer Feedback-Simulatoren geschaffen. Durch die Simulatoren können Studierende in Fächern wie Bauwesen, Ingenieurwissenschaft und Chirurgie virtuell mit Infrastrukturen und Geräten, respektive Körpergewebe und Organen arbeiten.

Literaturempfehlungen

Denjenigen, die mehr über natürliche Benutzerschnittstellen erfahren möchten, empfehlen wir die folgenden Artikel und Quellen:

Augmented Reality and Virtual Reality Go to Work

go.nmc.org/arandvr

(Nelson Kunkel, Deloitte University Press, 24. Februar 2016.) Technologien wie Augmented und Virtual Reality haben neue Schnittstellen eingeführt, die die Art und Weise verändern, wie Organisationen arbeiten – sie verbessern die Intentionswiedergabe, erhöhen die Effizienz und fördern die Innovation.

A Tactile Palette to Translate Graphics for the Visually Impaired

go.nmc.org/tacolor

(Muhammad Usman Raza et al., National Braille Technology, aufgerufen am 18. Januar 2017.) Forschungsarbeiten unter der Leitung von Disney und der National Braille Press untersuchen den Einsatz von elektrostatischer Vibration auf reibungsempfindlichen Displays, um Farbinformationen zu übermitteln. Mit einer taktilen Palette von sechs Stimuli, die mit sechs spezifischen Farben korrespondieren, werden Sehbehinderte Farben in zweidimensionalen Grafiken wahrnehmen können.

Why Conversational UI is the Next Big Digital Disruption

go.nmc.org/cuiss

(Sarat Pediredla, IT Pro Portal, 1. April 2016.) Benutzerschnittstellen entwickeln sich von grafischen Interfaces hin zu Dialogschnittstellen, so dass man Geräte über die eigene Stimme steuern kann. Durch maschinelles Lernen und Fortschritte im Bereich Big Data werden Computer zunehmend auch hypothetische Gegenstände und zukünftige Ereignisse nachvollziehen können.

[i] http://arstechnica.com/gadgets/2013/04/from-touch-displays-to-the-surface-a-brief-history-of-touchscreen-technology/

[ii] https://www.fastcodesign.com/3049577/wears/the-newest-user-interface-rhythm

[iii] https://www.interaction-design.org/encyclopedia/wearable_computing.html

[iv] https://blog.tracxn.com/2016/02/11/tracxn-report-natural-user-interface/

[v] http://findbiometrics.com/natural-speech-iot-311-96/

[vi] https://www.sciencedaily.com/releases/2016/02/160226125315.htm

[vii] http://www.sigmadzn.com/user-experience-emerging-use-haptics/

[viii] https://thestack.com/world/2016/04/11/skinhaptics-turns-your-palm-into-a-touchscreen/

[ix] https://www.vancouver.wsu.edu/haptic-touch

[x] https://www.aau.edu/research/article4.aspx?id=17857

[xi] http://shape.stanford.edu/research/wolverine/

[xii]https://docs.google.com/document/d/1k4gAtOvO3jMUJeKz4p5YzuBESjBHXqDvBQzclcvEyiw/edit#

[xiii] http://www.engin.umich.edu/college/about/news/stories/2015/december/refreshable-braille-device

[xiv] http://www.deakin.edu.au/iisri/our-research/haptics-research

[xv] https://blog.somaticlabs.io/electrovibration-electrostatic-vibration-and-touchscreens/

[xvi] http://www2.uta.fi/en/ajankohtaista/uutinen/universities-tampere-develop-digital-scent-technology