次世代技術へつながるxR（VR/AR/MR）、UX/UI、サスティナブル（SDGs）を現実社会に浸透させるための研究を実施しています。これらはエルゴノミクス（人間工学）、DX、情報工学、教育工学、ものづくり（電子?機械工学）を幅広く結びつけ、人に役に立つものを造り出すことができます。研究生活を通して画像処理、メカトロニクス、CG、センシング、機械学習を統合する技術が身につきます。現在は、xR（特にVR/AR）の開発やxRと機械学習を組み合わせた研究を中心としています。失敗を恐れることなく新しい世界を果敢にチャレンジしてください。

AR（拡張現実）技術と図形ブロック操作によるPCファイル（Officeおよびプログラミング）作成ツール開発を目的とします。DX推進に伴い、ソフトウェアや電子データ作成?保守?管理スキルのある人材創出が必要とされていますが、キーボードやマウス操作の難易度の高さが障壁となり、図形作成や図形への文字入力などの複雑かつ詳細なコマンド操作を苦手とする人が増えてきました。そこで、AR技術と図形ブロック操作を組み合わせることで、物理的なブロック配置と音声入力の直感的操作による素早く容易にファイルを作成するツールを開発しました。ARブロック操作による使用者の作成傾向、作成に必要なツール機能、および段階的操作学習方法の有効性を解明することで、ARブロック操作がPC操作から変更できる可能性を明らかにします。本研究はPC操作のUIの見える化に貢献し、その知見をPCスキル教育などにも応用することで、DXを支える人材創出にもつながることを期待しています。最近は、視覚障がい者（医学用語として全盲者）を対象とした触知によるプログラミング図解の開発にも取り組んでいます。

熟練者の動作を初心者に伝えるとき、言葉やジェスチャーだけでは伝わりにくく、優れた技能を定量的に評価することは困難です。本研究では、複数関節の挙動軌跡を曲面化し（挙動曲面）、熟練者と初心者の挙動の違いを明らかにします。挙動曲面は曲面形状、曲率、面積等にて評価し、曲率はカラーグラデーションで視覚的に理解できるように表現します。動作のリズムやタイミングなどの可視化するために、軌跡だけでなく、速度?加速度?推進作用力情報をカラーグラデーションで付加した挙動曲面を作成し、熟練者の挙動を評価します。現在は、スポーツ動作だけでなく、浜松イノベーション推進機構および藤本工業株式会社と共同研究にてバリ取り動作などの職人動作の技能伝承なども対象としています。さらに、指の挙動も曲面化または立体化に挑戦しています。

職業訓練における技能動作は、熟練者の動作を見様見真似で覚えて訓練することが多いため、設備と時間と人手を要します。これを解決する方法の1つとして、フライトシミュレーターなどのシミュレーションがありますが、高い再現性を有するため、専用機器を用意する必要があり、現実性を重視しすぎるために訓練効果は不明です。そこで、本研究では得点を競技を加えた娯楽性を重視し、現実にはありえない複数視点機能を有するモーション訓練ゲームを構築します。今までは、旋盤の芯出し、フライス盤の平行出し、アーク溶接作業のゲームを提案し、現実の職業訓練動作を比較することで、モーション訓練ゲームの有効性を評価してきました。現在は、飲食業の職業動作をゲーム化することや整理整頓作業の普及のためのゲーミング化を推奨しています。