NMC Horizon Report > 2017 Higher Education Edition (Korean)
>고등교육 분야에서 에듀 테크의 중대한 발전들
>>도입 기간 전망: 4~5년

자연스러운 사용자 인터페이스 Natural User Interfaces

도입 기간 전망: 4~5년

서론

요약

고등교육 분야에 기술 도입을 가속화하는 핵심 트렌드

장기 트렌드: 5 년 이상의 기간 동안 고등교육에서의 에듀 테크 도입 추진

 > 혁신 문화 촉진 Advancing Cultures of Innovation
 > 심층 학습법 Deeper Learning Approaches

중기 트렌드 : 향후 3 ~ 5 년간 고등교육에서의 에듀 테크 도입 추진

 > 학습 측정에 대한 관심 증가 Growing Focus on Measuring Learning
 > 학습 공간 재설계 Redesigning Learning Spaces

단기 동향: 향후 1 ~ 2 년간 고등교육에서의 에듀 테크 도입 추진

 > 협력 학습 Collaborative Learning
 > 혼합 학습 설계 Blended Learning Designs

고등교육 분야에 기술 도입을 저해하는 심각한 도전들

해결 가능한 도전: 문제를 이해하고 있고 해결 방법도 알고 있는 문제

 > 디지털 리터러시 증진Improving Digital Literacy
 > 형식과 무형식 학습의 통합 Integrating Formal and Informal Learning

어려운 도전: 문제를 이해하고 있지만 해결 방법을 찾기 어려운 문제

 > 성취도 격차Achievement Gap
 > 디지털 형평성 증진 Advancing Digital Equity

힘겨운 도전: 정의하기도 복잡하고, 언급 조차 잘 안 되는 문제

 > 지식 노후화 관리 Managing Knowledge Obsolescence
 > 교육자의 역할 재검토 Rethinking the Roles of Educators

고등교육 분야에서 에듀 테크의 중대한 발전들

도입 기간 전망: 1년 이하

 > 적응형 학습 기술 Adaptive Learning Technologies
 > 모바일 학습 Mobile Learning

도입 기간 전망: 2~3년

 > 사물 인터넷 The Internet of Things
 > 차세대LMS Next-Generation LMS

도입 기간 전망: 4~5년

 > 자연스러운 사용자 인터페이스 Natural User Interfaces
 > 인공지능 Artificial Intelligence

방법론 Methodology

The 2017 Higher Education Expert Panel

자연스러운 사용자 인터페이스natural user interfaces(NUI) 탑재된 기기가 많아지면서 두드리고taps, 문지르고swipes, 손과 팔을 움직이고, 몸을 움직이는 것과 같이 점점 자연스러운 방식의 정보 입력이 가능해졌. 태블릿과 스마트폰은 컴퓨터가 물리적인 동작을 인식하고 제어할 있는 최초의 기기 하나였다.[i] 사용자는 NUI 이용하여 현실세계에서 하는 것과 유사한 움직임으로 가상 활동에 참여하고 직관적으로 콘텐츠를 조작 수도 있다. 제스처 센싱 기술과 음성 인식 기술의 융합 뿐만 아니라 제스처, 표정, 뉘앙스를 이해하는 시스템에 대한 인터액티브 정확interactive fidelity 높아지고 있다. 제스처와 음성 인식에 대한 많은 애플리케이션 있지만 사용자에게 정보를 전달하는 촉각과 관련된 햅틱 기술이 발전하면서 과학 탐구와 교육 응용의 새로운 영역을 만들어내 있다.[ii]

개요
2007년 iPhone과 터치 스크린이 출시되며 자연스러운 사용자 인터페이스가 대중화 되기는 했지만 NUI의 개념은 훨씬 전에 형성되었다. 커맨드라인과 그래픽 사용자 인터페이스를 넘어서는 인터페이스 개발에 대한 논의는 웨어러블 컴퓨팅의 아버지로 널리 알려진 Steve Mann이 NUI로 발전한 인간과 기계의 상호작용을 실험하기 시작한 1970~80년대에 있었다.[iii] Tracxn의 보고서에 의하면, 2010년 이후 음성 인식, 터치 스크린 인터페이스, 제스처 인식, 안구 추적, 햅틱, 두뇌 컴퓨터 인터페이스와 같은 6개 주요 카테고리에서 8억 달러 이상의 예산이 NUI에 투자되었다. 고등교육은 이러한 기술 발전에서 중요한 역할을 하고 있는데, 많은 기술들이 대학에서 구현되고 있으며 향후 학생들이 학습 기술에 참여하는 방식에도 영향을 미치게 될 것이다.[iv]

소비자 영역에서의 NUI 의 발전은 학습자의 발전적인 기대를 충족시켜야 하는 학습 조직인 고등교육에 영향을 줄 것으로 보인다. Amazon, Apple, Google과 같은 산업계 선두 기업들은 모두 시장에서 주목받고 있는 음성 지원 제품을 개발했다. NDP 그룹의 최근 연구에 따르면 스마트폰 소유자의 73%가 이미 음성 명령을 사용하여 장치와 상호작용하고 있다. Apple은 가상 비서인 Siri로 음성 생체 인증 방식이 사용자 인증에 활용될 수 있는지 실험하고 있다.[v] 웨어러블 장치 개발자들은 인터페이스가 발전함에 따라 제스처 인식 기능을 활용하고 있다. Korean Institute of Science and Technology가 개발한 K-Glass 3이라는 스마트 안경의 세 번째 버전은 더욱 직관적이고 편리한 인터페이스를 위해 손의 움직임을 감지해서 가상 텍스트나 피아노 키보드를 제공한다.[vi]

사용자가 센서, 액추에이터, 소프트웨어와 상호작용하는 햅틱 기술을 물리적인 터치로 시뮬레이션으로 연결하는 기술은 소비 및 교육 부문에서 상당한 실험적인 NUI 기술이다.[vii] University of Sussex는 스마트시계와 같은 웨어러블 기기의 소형화에 대한 솔루션으로 피부를 터치스크린으로 사용하는 인터페이스를 실험하고 있다. SkinHaptics라고 불리는 이 도구는 초음파를 손등으로 보내서 손바닥에 스크린을 나타낸다.[viii] 고등교육 분야에서 NUI를 활용해서 학습자가 컴퓨터를 활용하는 방식을 획기적으로 변화시키기 까지는 많은 기간이 소요되겠지만 의료 훈련 분야는 이미 NUI를 도입하기 시작했다. 포스 피드백 햅틱 기술Force feedback haptic technology은 로봇 수술에서 외과의가 조직을 다룰 때 실제 인체 내부처럼 정확하게 느끼게 해준다. 이 기술은 실습용 사체가 부족한 의대생들이 해부학 수업을 수강할 때도 응용될 수 있다. 햅틱 기술을 통해 좀 더 생생한 방법으로 디지털 환자를 만날 수 있다.[ix]

교수, 학습, 창의적 탐구와의 관련성
자연스러운 사용자 인터페이스는 의료 전문가의 연구와 훈련에 유용한 도구가 되고 있다. Rice University의 Mechatronics and Haptic Interfaces Lab은 뇌졸중 환자의 재활을 위한 신경학 실험을 진행하고 있다. 연구자들은 팔꿈치에서 손가락 끝까지 팔을 에워싸는 외골격을 움직이기 위해 뇌졸중 환자의 뇌파를 사용하는 로봇 보조 장치를 개발했다.[x] Stanford University의 연구자들은 가상 현실에서 딱딱한 물체를 잡는 행동을 시뮬레이션하기 위해 웨어러블 햅틱 장치인 Wolverine을 개발했다.[xi] Hong Kong Polytechnic University의 간호과 학생들은 비위관 튜브를 넣는 실습을 할 때 햅틱 피드백 시스템을 사용하고 있다. 위에 음식물을 공급하거나 배액을 위해 플라스틱 튜브를 삽입하는 것은 간호 훈련에서 중요한데, 잘못 배치하면 합병증이나 사망으로 이어질 수 있기 때문이다. 이와 같이 컴퓨터 시뮬레이션 가상 환경을 사용하면 위험을 줄이고 정확도를 향상시킬 수 있다.[xii]

NUI의 발전으로 장애가 있는 사람들이 교육 기회를 더 많이 가질 수 있게 되었다. University of Michigan에서는 공학, 음악, 연극, 무용 분야의 학제 간 연구가 진행되고 있는데, 시각 장애가 있는 학습자들이 곧 혜택을 받게 될 것으로 보인다. 연구팀은 점자를 위아래로 밀어 넣기 위해 공기 또는 유체의 힘을 이용할 수 있는 디스플레이를 탑재한 태블릿을 개발하고 있는데, 이 기기를 통해 여러 줄의 점자뿐만 아니라 그래프, 스프레드시트, 기타 공간적으로 분산되어있는 수학 및 과학적 정보도 읽을 수 있다.[xiii] Deakin University에서는 예술 감상을 위한 맞춤식 햅틱 관련 연구를 개발하고 있다. Haptic-Enabled Art Realization(HEAR) 프로젝트는 시각 장애인이 2차원 예술 작품 안에서 정보를 느낄 수 있는 플랫폼이다.[xiv]

NUI에 관한 실험은 교육에서 새로운 형식과 학습과 커뮤니티케이션의 가능성을 보여주고 있다. Disney Research는 TeslaTouch라는 정전기 진동 기술을 개발하고 있는데, 사용자는 디스플레이에서 촉각으로 진동, 굴곡, 기타 질감 등을 느낄 수 있다. 이 기술을 활용하면 교육 콘텐츠와 깊이 있는 상호작용이 가능해질 것으로 보인다. 전기적으로 유도된 촉각이 모바일 기기에 적용되면 학생들은 대화형 교과서를 통해 페이지에서 직접 3D 개체를 조작할 수 있다.[xv] 핀란드의 Tampere University는 시청각 기반의 커뮤니케이션에 새로운 차원을 더하는 완전히 새로운 형태의 인간-기술 인터페이스를 연구하고 있다. Digital Scents 프로젝트는 전자코electronic nose를 통해 향기를 측정하고 그 정보를 숫자체계로 변환하는 연구인데, 후각 인식을 디지털로 변환해서 전 세계의 다양한 향을 경험할 수 있을 것으로 기대된다.[xvi]

자연스러운 사용자 인터페이스 실행 사례
다음은 자연스러운 사용자 인터페이스가 고등교육 환경에 미치는 직접적인 영향에 대한 실제 사례이다.

컴퓨터 공학 설계 가상 프로토타입
go.nmc.org/pvamu
Prairie View A & M 대학의 기계 연구 프로젝트는 자유형 모델링freeform shape modeling과 가상현실 기술을 결합해서 우주 항공, 자동차, 모형 시제품 제작 작업을 개선했다. 가상으로 진행되는 제작 프로세스는 PowerWall VR 시스템과 햅틱 컨트롤러를 사용한다.

HoloMed: 정상적인 전달 과정을 배우기 위한 저가의 제스처 기반 홀로그램 시스템 (PDF)
go.nmc.org/arxiv
사진은 종종 의료 연구에서 특정 요소를 시각화하는데 사용되기는 하지만 사진의 정적인 특성으로 인해 충분하지 않다. HoloMed는 출생 과정을 정확하게 시각화 할 수 있는 제스처 기반 인터페이스와 결합된 홀로그램 시스템이다.

햅틱 교수/학습 프레임워크에서 동기 부여 개선
go.nmc.org/improm
스페인의 공학 연구원은 교육에서 햅틱 피드백 시뮬레이터를 구축하기 위한 프레임워크를 개발하고 있다. 시뮬레이터는 토목공학, 전자공학, 외과수술과 같은 분야에서 학생들은 인프라, 핵심 기기, 신체 조직 및 인체기관 등과 상호작용할 수 있다.

더 읽을거리
아래 목록은 자연스러운 사용자 인터페이스에 대한 유용한 참고자료이다.

업무에서 증강현실과 가상현실
go.nmc.org/arandvr
(Nelson Kunkel, Deloite University Press, 2016. 2. 24.) 증강현실, 가상현실과 같은 기술은 의도의 명확성, 효율성 제고, 혁신 촉진 등 기관의 사업방식을 변화시키는 새로운 인터페이스를 선보이고 있다

시각 장애인용 그래픽을 변환하는 촉각 팔레트
go.nmc.org/tacolor
(Muhammad Usman Raza et al, National Braille Technology, 2017. 1. 18. 조회) Disney와 National Braille Press는 색상 정보를 전달하기 위해 마찰식 디스플레이에서 정전기 진동을 사용하는 방법을 연구한다. 시각 장애가 있는 사용자는 여섯 가지 특정 색상에 해당하는 여섯 가지 자극의 촉각 팔레트를 사용하여 2차원 그래픽에서 색상을 인식할 수 있다.

대화식 UI 차세대 디지털 파괴인가
go.nmc.org/cuiss
(Sarat Pediredla, IT Pro Portal, 2016. 4. 1.) 사용자 인터페이스는 그래픽 사용자 인터페이스에서 사람의 음성을 사용하여 장치와 상호작용하는 방식의 대화형 사용자 인터페이스로 변화하고 있다. 기계학습과 빅데이터 기술의 발전은 컴퓨터가 가상의 대상과 미래의 사건을 더 잘 이해할 수 있을 것으로 전망된다.

 

 

[i] http://arstechnica.com/gadgets/2013/04/from-touch-displays-to-the-surface-a-brief-history-of-touchscreen-technology/

[ii] https://www.fastcodesign.com/3049577/wears/the-newest-user-interface-rhythm

[iii] https://www.interaction-design.org/encyclopedia/wearable_computing.html

[iv] https://blog.tracxn.com/2016/02/11/tracxn-report-natural-user-interface/

[v] http://findbiometrics.com/natural-speech-iot-311-96/

[vi] https://www.sciencedaily.com/releases/2016/02/160226125315.htm

[vii] http://www.sigmadzn.com/user-experience-emerging-use-haptics/

[viii] https://thestack.com/world/2016/04/11/skinhaptics-turns-your-palm-into-a-touchscreen/

[ix] https://www.vancouver.wsu.edu/haptic-touch

[x] https://www.aau.edu/research/article4.aspx?id=17857

[xi] http://shape.stanford.edu/research/wolverine/

[xii]https://docs.google.com/document/d/1k4gAtOvO3jMUJeKz4p5YzuBESjBHXqDvBQzclcvEyiw/edit#

[xiii] http://www.engin.umich.edu/college/about/news/stories/2015/december/refreshable-braille-device

[xiv] http://www.deakin.edu.au/iisri/our-research/haptics-research

[xv] https://blog.somaticlabs.io/electrovibration-electrostatic-vibration-and-touchscreens/

[xvi] http://www2.uta.fi/en/ajankohtaista/uutinen/universities-tampere-develop-digital-scent-technology