自分の手がコントローラーに？　リクルートと東北大が共同研究

リクルートは10月26日、同社研究機関のアドバンスドテクノロジーラボ（ATL／東京都千代田区）と東北大学大学院医工学研究科（宮城県仙台市）との共同研究の成果を発表した。人工知能（AI）と爪に装着するデバイス「ネイルコンダクター」の連携により、自身の手をデバイスや家電製品のコントローラーにするといった複数の活用方法が見いだされる結果になった。

将来的にはメタバース向けの仮想／拡張空間内コントローラーとしての活用も期待されるという。今後、さらに同技術の活用の幅を拡大し、ビジネスや社会課題の解決への貢献を目指す。具体的には「VR空間内で物をつかむ・操作する・キー入力の操作支援を行う」、「遠隔手術に活用し医師不足や医療格差の問題に貢献する」など。

指の所作・ジェスチャーを検知　デバイスに触らなくても操作

同研究は2021年12月にスタート。リザバーコンピューティングAI（AIの高速学習・高速実行を実現したニューラルネットワーク）の開発をATLが、ネイルコンダクターの開発を東北大学が実施した。ネイルコンダクターは、爪に装着して指先の血流情報を測定する。有線タイプは開発済みで、現在Bluetooth接続のワイヤレスネイルコンダクターの開発を進めている。

今回の研究では、ネイルコンダクターが取得した指先の血流情報をリザバーコンピューティングAIに学習させモデル化した。同モデルを用いることで、指の所作・ジェスチャーを検知し、デバイスに触らなくても操作ができるようになるという。なお同研究では、指の状態を判定する研究用アプリケーション上で、Recall（再現率）100%と Precision（適合率）94.11%の精度を達成したという。

同研究の成果として、自身の手をデバイスや家電製品のコントローラーにするなど、複数の活用方法が見いだされたという。また、同技術を応用して実現可能な「鼓動で奏でるシンフォニー」イメージ動画を、ATLのYouTubeにて公開中だ。