NMC Horizon Report > 2017 Higher Education Edition (Japanese)
>高等教育向けの教育テクノロジーにおける重要な発展
>>導入ホライズン:4年から5年以内

ナチュラルユーザーインターフェース(NUI)

導入ホライズン:4年から5年以内

要旨

序文

高等教育へのテクノロジー適用を推進する重要な傾向

長期間にわたる傾向:今後5年以上の期間にわたる高等教育の変化を推進

 > イノベーション文化の進展
 > より深い学習アプローチ

中期間の傾向: :今後3-5年の高等教育の変化を推進

 > 学習度測定への注目の高まり
 > 学習スペースの再設計

当面の傾向:今後1-2年の高等教育の変化を推進

 > ブレンド型学習デザイン
 > 協調学習

高等教育における技術導入の妨げとなる重大な課題

解決可能な課題:課題を理解しその解決方法も分かっている

 > デジタル・リテラシーの向上
 > フォーマル/非公式学習の統合

解決困難な課題:課題を理解しているが、解決策は明確になっていない

 > 教育格差
 > デジタルエクイティ(公平性)の向上

深刻な課題:取り組むのはおろか、定義すらできないほど複雑な課題

 > 知識の陳腐化の管理
 > 教育者の役割の再考

高等教育向けの教育テクノロジーにおける重要な発展

導入ホライズン:1年以内

 > 適応学習テクノロジー
 > モバイル学習

導入ホライズン:2年から3年以内

 > モノのインターネット(IoT)
 > 次世代 LMS

導入ホライズン:4年から5年以内

 > 人工知能(AI)
 > ナチュラルユーザーインターフェース(NUI)

調査手法

2017年高等教育専門家パネル

ナチュラル・ユーザー・インターフェース(NUI)を用いるデバイスは増え続けており、タップ、スワイプなどのタッチ操作、手や腕の動き、体の動き、さらには近頃急速に普及している自然言語による入力が可能になっている。タブレットやスマートフォンは、コンピューターがジェスチャーを制御手段として認識し解釈することを可能にした最初のデバイスのうちの一つである[i]。NUIを使うとユーザーは実世界と同様の動作でバーチャルな活動を行うことが可能になり、直感的にコンテンツを操作できる。ジェスチャーや表情ならびにそのニュアンスを理解するシステムのインタラクティブな忠実性が向上しているのと同様に、音声認識を伴うジェスチャー検出技術のコンバージェンスも向上している。ジェスチャーや音声を認識するアプリケーションは既に多数存在するが、触覚技術、すなわちユーザーに情報を伝達する触感が開発され、科学研究や教育への応用など新しい分野が広がっている[ii]

概要

2007年にiPhoneとそのタッチスクリーンが発表され、NUIは一般に広く普及したが、その概念は既に形成されていた。コマンドラインやグラフィカルユーザーインターフェース(GUI)に勝るインターフェースの開発に関する議論は、ウェラブルコンピューティングの父として広く知られるスティーブ・マンが後にNUIへと進化するヒューマンマシンインタラクションの試験を開始した1970年代から80年代に生まれた[iii]。トラクソンの報告によると、2010年以降、音声認識、タッチスクリーンインターフェース、ジェスチャー認識、視線追跡、触覚、脳コンピューターインターフェースの6つの主要カテゴリーのNUIに8億ドル以上が投資されている。多くの実現技術が大学で立案され、生徒の将来の学習技術への関与の仕方に影響を与えており、高等教育はこれらの技術の発展に重要な役割を果たしている[iv]

コンシューマーレルムにおけるNUIの開発は、高等教育に影響を与えているようであり、学習組織は進化していく学習者の期待に応じる必要がある。Amazon、Apple、Googleなどの業界リーダーは揃って、市場における勢いを増している音声対応型製品を開発している。NDPグループが行った最近の調査研究によると、スマートフォン利用者の73%が端末とのやりとりに既に音声コマンドを利用しているという。Appleは、仮想アシスタントSiriの起動の際に、音声を利用者認証に活用する話者認識を試みている[v]。ウェアラブルの開発者もまた、インターフェースが進化する際にジェスチャー認識を取り入れている。韓国科学技術研究所が開発した K-Glass 3と呼ばれる第三世代のスマートグラスは、手の動きを検出してバーチャルに文字を入力したり、ピアノの鍵盤をたたいたりすることができ、インターフェースをさらに直感的かつ便利なものにしている[vi]

ユーザーがセンサー、アクチュエーターおよびそれらの機器と連動して身体的接触をシミュレーションするソフトウェアとインタラクトする触覚技術(haptic technology)は、消費者部門と教育部門で多くの試験が行われているNUIのカテゴリーである[vii]。サセックス大学の研究者らは、スマートウォッチなどのウェアラブル端末の小型化に対応するために、皮膚をタッチスクリーンに見立てるインターフェースを試験的に導入している。スキンハプティクスとよばれるこのツールは、手のひらに映し出されたスクリーンディスプレイに手の甲を通して超音波を送る[viii]。高等教育の分野でNUIの可能性が十分生かされて、学習者のコンピューターの使い方が劇的に変化するようになるまでにはあと数年かかるものの、医療研修分野では既に強い需要がある。フォースフィードバック触覚技術は、組織に実際に触れているかのような、より正確な人体内部の感触を医師が得るのを手助けし、既に進んでいるロボット外科手術を向上させている。数に限りがある検体を用いて医学部生が実習を行っている解剖研究の分野では、この技術は有用性が高い[ix]

授業、学習、創造的探究との関連性

ナチュラル・ユーザー・インターフェースは、医療従事者の研究と実習の分野で役立っている。ライス大学のメカトロニクス・触覚インターフェース研究所では、脳梗塞患者が運動機能を取り戻すのを助けるためにニューロテクノロジーを試みている。そこでは研究者らは、脳梗塞患者の脳波を用いて肘から指先までを覆う外骨格型ロボットを操作できるロボット装着装具を開発している[x]。また、スタンフォード大学の研究者らは、VRで固い物質をつかむ感覚をシミュレートできるモバイル・ウェアラブル触覚デバイスWolverineを開発した[xi]。香港理工大学では、看護学生が触覚フィードバックシステムを用いて経鼻胃管挿入練習を行っている。栄養補給やドレナージのためにプラスティックチューブを胃に挿入するが、挿入時のミスが合併症や最悪の場合は死にもつながることから、看護実習の現場では大切な練習である。コンピューターでシミュレーションしたバーチャルな環境での練習を経て、リスク軽減やさらなる精度向上が可能になる[xii]

NUIの発達により、障害を抱える人たちが教育を受けやすくなっている。視覚障害を持つ学習者は、まもなく、ミシガン大学工学部、音楽学部ならびに演劇・ダンス学部の学際的な研究者チームによる研究成果の恩恵を受けるだろう。この研究チームは、平坦な画面に点字が浮き上がるフルスケールのブラウザディスプレイを備えたタブレット端末を開発している。ここでは空気や液体力学を用いてドットを上下させることにより点字の長い文章を表示できるだけでなく、グラフ、スプレッドシートなどの空間的に分布する数学や科学の情報の読み取りも可能になる[xiii]。ディーキン大学の研究者らは、アートの分野で鑑賞力を高めるカスタムメイドの触覚関連研究を行っている。彼らがすすめる触覚可能型芸術認識プロジェクト(HEAR)は、視覚障害者が二次元の美術品の情報を感じ取れるプラットフォームである[xiv]

NUIに関する試みにより、教育分野における学習とコミュニケーションの新しい形が発掘される可能性がある。ディズニーリサーチは「テスラタッチ」と呼ばれる静電気振動技術を開発している。テスラタッチは平らなガラスのディスプレイの触感を高め、ユーザーが凹凸などの手触りを感じることができる。この技術を用いれば、教育的コンテンツとより深くインタラクトできる可能性が広がる。モバイル機器に応用されれば、電気的に誘導させた触感の現象を用いて生徒がページの上で直接3Dの物体を操れるような双方向型学習用テキストにつながるかもしれない[xv]。フィンランドのタンペレ大学で進行中のプロジェクトは、全く新しい形のヒューマンテクノロジーインターフェースであり、もともと音響と映像で構成されるコミュニケ-ションに新しい広がりを加えるものである。彼らのすすめるデジタル嗅覚プロジェクトは、電子嗅覚システムを通してにおいを測定し、ナンバリングシステムに情報を変換することにより、嗅覚やにおいを通じた世界中の体験をデジタル転送することができる[xvi]

ナチュラル・ユーザー・インターフェースの実例

以下のリンク先は、高等教育環境に直接の影響を及ぼすナチュラル・ユーザー・インターフェースの利用例を示している。

コンピューターを用いた工学的設計と仮想プロトタイピング

go.nmc.org/pvamu

プレーリービューA&M大学の機械技術研究プロジェクトでは、航空宇宙産業、自動車産業ならびにモデルプロトタイピングを向上させるために自由形状モデリングとバーチャルリアリティ技術を結びつけている。仮想彫刻プロセスにはパワーウォールVRシステムと触感コントローラーを使用している。

HoloMed:正常分娩プロセスを学ぶための低価格ジェスチャーベースホログラフィックシステム(PDF)

go.nmc.org/arxiv

医学分野では、ある種の基本事項を視覚化する際に写真を用いることが多いが、写真は静止画像であるため十分な役割を果たすとは言えない。HoloMedは、学生のより正確な出産プロセスへの理解を促すジェスチャーベースのインターフェースと組み合わせたホログラフィックシステムである。

触覚を利用した指導/学習の枠組みにおける意欲向上

go.nmc.org/improm

スペインの工学系研究者らは、教育における触覚フィードバックシミュレーターを作成する枠組みを開発している。土木工学教育、電子工学教育、外科学などを専門に学ぶ生徒たちは、それぞれ、インフラ、重要機器、人体組織や臓器にシミュレーターを通じてバーチャルにインタラクトできる機会を与えられる。

推薦文献  

ナチュラル・ユーザー・インターフェースについてさらに学びたい方のために以下の記事および資料を推薦する。

ビジネスに関わりはじめる拡張現実と仮想現実

go.nmc.org/arandvr

(Nelson Kunkel, デロイト大学プレス, 2016年2月24日) 拡張現実や仮想現実などの技術により、意思の忠実性の向上、効率改善、改革促進などの企業のビジネスの進め方に変化をもたらす新たなインターフェースが導入されている。

視覚障害者のための画像翻訳触覚パレット

go.nmc.org/tacolor

(Muhammad Usman Razaら,ナショナル ブライユ テクノロジー,2017年1月18日) ディズニーとナショナル・ブライユ・プレスは、色彩情報を伝達するために、静電気振動を利用して手触りを伝えるフリクションディスプレイを研究している。6種の色に応じた6種の刺激を与える触覚パレットを使って、視覚障害者は二次元の画像の色を認識できるようになるだろう。

会話型ユーザーインターフェースはなぜ次なるデジタルディスラプションになるのか

go.nmc.org/cuiss

(Sarat Pediredla, IT Pro Portal,2016年4月1日) ユーザーインターフェースは、グラフィック型ユーザーインターフェースから音声を用いてデバイスとインタラクトできる会話型ユーザーインターフェースへと変化している。機械学習とビッグデータの進歩により、コンピューターが仮想物体や未来の出来事をますます理解するようになるだろう

[i] http://arstechnica.com/gadgets/2013/04/from-touch-displays-to-the-surface-a-brief-history-of-touchscreen-technology/

[ii] https://www.fastcodesign.com/3049577/wears/the-newest-user-interface-rhythm

[iii] https://www.interaction-design.org/encyclopedia/wearable_computing.html

[iv] https://blog.tracxn.com/2016/02/11/tracxn-report-natural-user-interface/

[v] http://findbiometrics.com/natural-speech-iot-311-96/

[vi] https://www.sciencedaily.com/releases/2016/02/160226125315.htm

[vii] http://www.sigmadzn.com/user-experience-emerging-use-haptics/

[viii] https://thestack.com/world/2016/04/11/skinhaptics-turns-your-palm-into-a-touchscreen/

[ix] https://www.vancouver.wsu.edu/haptic-touch

[x] https://www.aau.edu/research/article4.aspx?id=17857

[xi] http://shape.stanford.edu/research/wolverine/

[xii]https://docs.google.com/document/d/1k4gAtOvO3jMUJeKz4p5YzuBESjBHXqDvBQzclcvEyiw/edit#

[xiii] http://www.engin.umich.edu/college/about/news/stories/2015/december/refreshable-braille-device

[xiv] http://www.deakin.edu.au/iisri/our-research/haptics-research

[xv] https://blog.somaticlabs.io/electrovibration-electrostatic-vibration-and-touchscreens/

[xvi] http://www2.uta.fi/en/ajankohtaista/uutinen/universities-tampere-develop-digital-scent-technology