Skip to the content
研究者紹介
- カメラや他のセンサによる計測値をもとに、シーン中の人やモノの状態を理解するためのコンピュータビジョン技術や、より良い情報を生成するための画像・映像合成技術を主な研究テーマとしています。また、これらを支える機械学習やセンシング技術の研究にも取り組んでいます。特に、計測対象の一部または全体がセンサから遮蔽されていて直接観測が困難な状況や、暗所、ノイズの多い環境などのシビアな計測条件下でのシーン理解に強い関心を持っており、被遮蔽領域センシングや多様なセンサを用いた推定技術に取り組んでいます。他にも画像認識や医用画像処理に関する研究にも広く取り組んでいます。
研究業績紹介
- ■ 多様なセンサを活用した人物姿勢や形状の推定技術
一般的なカメラ動画像では観測することが難しい暗所や遮蔽のあるシーン，高速な計測を必要とするシーン，計測対象人物のプライバシーをより考慮する必要があるシーンに対応する目的で，音響信号や無線信号，イベントベースドカメラなどの多様なセンサを活用した推定手法の開発に取り組んでいます．
- Ryosuke Hori, Mariko Isogawa, Dan Mikami, Hideo Saito, "EventPointMesh: Human Mesh Recovery Solely from Event Point Clouds", IEEE TVCG, pp. 1-18, 2024.
- Kotaro Amaya, Mariko Isogawa. "Adaptive and Robust mmWave-based 3D Human Mesh Estimation for Diverse Poses", IEEE International Conference on Image Processing (ICIP), pp.455-459, 2023.
- Yuto Shibata, Yutaka Kawashima, Mariko Isogawa, Go Irie, Akisato Kimura, Yoshimitsu Aoki. "Listening Human Behavior: 3D Human Pose Estimation with Acoustic Signals", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.13323-13332, 2023.
■ 被遮蔽領域イメージング
計測対象がセンサから直接観測できない場合でも遮蔽された領域にいる人物の姿勢や被遮蔽領域のイメージングを可能にすることで，危険予測やセキュリティ，見守り等に活用可能な技術の提案を行っています．
- Dixin Yang, Mariko Isogawa. "Efficient Circular and Confocal Non-Line-of-Sight Imaging with Transient Sinogram Super Resolution", IEEE International Conference on Image Processing (ICIP), pp. 2751-2757, 2024.
- Mariko Isogawa, Dorian Chan, Ye Yuan, Kris Kitani, and Matthew O'Toole, "Efficient Non-Line-of-Sight Imaging from Transient Sinograms", 16th European Conference on Computer Vision (ECCV), pp. 193-208, 2020.
- Mariko Isogawa, Ye Yuan, Matthew O'Toole, and Kris Kitani, "Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation", IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7013-7022.
■ 画像・映像の修復・補完
カメラで撮影された画像や映像には，意図せず映り込んだ不要な領域が含まれることが多々あります．これらの領域を除去し，違和感なく補完する画像映像インペインティング技術の構築に取り組んでいます．
- Mariko Isogawa, Dan Mikami, Kosuke Takahashi, Daisuke Iwai, Kosuke Sato, and Hideaki Kimata, "Which is the better inpainted image? Training data generation without any manual operations", International Journal of Computer Vision (IJCV), vol. 127, no. 11, pp. 1751-1766, 2019.
■ 医用画像処理
慶大医学部との共同研究により，医用画像処理にも取り組んでいます．手術中の映像を後から見返すことは教育用途や手術の確認のために有用ですが，一方で，手術シーン動画にはどうしても手術者の頭や手が映り込み，重要なシーンが遮蔽されてしまいます．このような場合でもあっても複数台のカメラで同時に撮影しておき，それらを合成することによって，遮蔽の少ない視点映像を生成する手法の開発に取り組んでいます．
- Yuna Kato, Mariko Isogawa, Shohei Mori, Hideo Saito, Hiroki Kajita, Yoshifumi Takatsume. "High-Quality Virtual Single-Viewpoint Surgical Video: Geometric Autocalibration of Multiple Cameras in Surgical Lights", International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), pp.271–280, 2023.
社会的意義
- ・高齢者の見守り、防犯、災害時の救助支援などへの応用
・セキュリティ分野やスマートシティ、交通安全システムなどへの応用
・画像映像生成技術による映像メディアの品質向上
・医療教育、術後の確認、手術の質の向上への貢献
