Electronics

2013.04.15

WiiリモコンとKinectで手術室用のジェスチャー式入力装置

Text by kanai

Future OR

Tamaraの装置が設置された未来の手術室のレンダリング画像。

学生のTamara Worstは、インタラクションデザイングループ、IxD Hofとのプロジェクトをシーメンス・ヘルスケアとの共同で完成させた。これは、手術中の医師の両手を雑用から解放するためのものだ。シーメンスは、手術室での非接触型のインタラクションの方法を探っていた。そこでTamaraは、3Dセンサー、つまりWiiリモコンとMicrosoft Kinectを使い、医師の右足の方向と位置を感知することを考えた。彼女はそのためのソフトウェアをProcessingで書き、手を使わずに画像や3Dモデルを見たり操作したりできるようにした。

Shoes + Wiimote

右の靴にWiiリモコンが装着されている。将来的には、大きなリモコンではなく、小さい加速度センサーひとつに収めたいとTamaraは考えている。

WiiリモコンとKinectセンサーは、それぞれ異なる仕事をこなす。Wiiリモコンは医師の足の角度を感知して、画像やモデルの角度調整を行う。Kinectは、医師の右足の位置を感知して、足が置かれた位置に従って作業の内容を切り替える。

画像用アクション

  1. 画像のカタログを閲覧する – 足を前後に傾けると、カタログが前後にスクロールする。
  2. 画像のコントラストを変える – 足を左右に傾けると画像のコントラストが変化する。
  3. ズーム – 一歩前に踏み出すとズームイン、足を後ろにするとズームアウト。

Floor Setup

医師は、足を右側に踏み出して前後に傾けることで3Dと2Dを切り替えられる。「ホーム」ポジションに戻すと、現在のモードを選択できる。

3Dモデル用のアクション

  1. オブジェクトの回転 – 足を左右に傾ける。
  2. オブジェクトを傾ける – 足を前に傾けるとオブジェクトは向こうに倒れ、足を後ろに傾けるとオブジェクトは手前に倒れる。

3D Part Manipulation

3Dオブジェクトの操作。

この長い記事で、Tamaraはプロトタイピング工程について詳しく語っている。最初は、シンプルな圧力センサーを使って足の動きや方向を検知しようとしたのだが、センサーに接続しなければならないケーブルが邪魔で、手術室での医師の動きも制約されてしまうことがわかった。

私は、彼女が話しているひとつの可能性が気に入った。ワイヤレスのマルチタッチシステムを靴に組み込んで、足からかかる圧力の分布から、それを履いた医師を識別するというものだ。これにより、医師ごとに特定の操作に足の動きを割り当てることができる。違う医師が靴を履けば、その人用のインターフェイスと機能に自動的に切り替わるのだ。

みんなは、この2つのパワフルなセンサーをどんなふうに活用している? 3Dモデルビューワーが、これ以外の分野でどう活用できるだろうか。意見を聞かせてほしい。

– Eric Weinhoffer

原文