2013.04.15
WiiリモコンとKinectで手術室用のジェスチャー式入力装置
Tamaraの装置が設置された未来の手術室のレンダリング画像。
学生のTamara Worstは、インタラクションデザイングループ、IxD Hofとのプロジェクトをシーメンス・ヘルスケアとの共同で完成させた。これは、手術中の医師の両手を雑用から解放するためのものだ。シーメンスは、手術室での非接触型のインタラクションの方法を探っていた。そこでTamaraは、3Dセンサー、つまりWiiリモコンとMicrosoft Kinectを使い、医師の右足の方向と位置を感知することを考えた。彼女はそのためのソフトウェアをProcessingで書き、手を使わずに画像や3Dモデルを見たり操作したりできるようにした。
右の靴にWiiリモコンが装着されている。将来的には、大きなリモコンではなく、小さい加速度センサーひとつに収めたいとTamaraは考えている。
WiiリモコンとKinectセンサーは、それぞれ異なる仕事をこなす。Wiiリモコンは医師の足の角度を感知して、画像やモデルの角度調整を行う。Kinectは、医師の右足の位置を感知して、足が置かれた位置に従って作業の内容を切り替える。
画像用アクション
- 画像のカタログを閲覧する – 足を前後に傾けると、カタログが前後にスクロールする。
- 画像のコントラストを変える – 足を左右に傾けると画像のコントラストが変化する。
- ズーム – 一歩前に踏み出すとズームイン、足を後ろにするとズームアウト。
医師は、足を右側に踏み出して前後に傾けることで3Dと2Dを切り替えられる。「ホーム」ポジションに戻すと、現在のモードを選択できる。
3Dモデル用のアクション
- オブジェクトの回転 – 足を左右に傾ける。
- オブジェクトを傾ける – 足を前に傾けるとオブジェクトは向こうに倒れ、足を後ろに傾けるとオブジェクトは手前に倒れる。
3Dオブジェクトの操作。
この長い記事で、Tamaraはプロトタイピング工程について詳しく語っている。最初は、シンプルな圧力センサーを使って足の動きや方向を検知しようとしたのだが、センサーに接続しなければならないケーブルが邪魔で、手術室での医師の動きも制約されてしまうことがわかった。
私は、彼女が話しているひとつの可能性が気に入った。ワイヤレスのマルチタッチシステムを靴に組み込んで、足からかかる圧力の分布から、それを履いた医師を識別するというものだ。これにより、医師ごとに特定の操作に足の動きを割り当てることができる。違う医師が靴を履けば、その人用のインターフェイスと機能に自動的に切り替わるのだ。
みんなは、この2つのパワフルなセンサーをどんなふうに活用している? 3Dモデルビューワーが、これ以外の分野でどう活用できるだろうか。意見を聞かせてほしい。
– Eric Weinhoffer
[原文]