About Me

• History (my CV is here)
  • Born at Nishinomiya, Hyogo in November 1980
  • 2003–2005: Master student, Audio Media Processing Group (Okuno Lab), Department of Intelligence Science and Technology, Graduate School of Informatics, Kyoto University
  • 2005–2008: Ph.D. student, ditto.
  • 2005–2008: JSPS Research Fellowship for Young Scientists (DC1)
  • 2008–2013: Research Scientist, Media Interaction Research Group (Goto Group), Information Technology Research Institute (ITRI), National Institute of Advanced Industrial Science and Technology (AIST)
  • 2013–2014: Senior Researcher, ditto.
  • 2014–2018: Senior Lecturer, Graduate School of Informatics, Kyoto University
  • 2018–2024: Associate Professor, Graduate School of Informatics, Kyoto University
  • 2024–present: Professor, Graduate School of Engineering, Kyoto University
  • 2017–present: Team Director (concurrent post), Sound Scene Understanding Team, Center for Advanced Intelligence Project (AIP), RIKEN
• Ph.D. (Informatics) from Kyoto University, March 2008
• A member of IPSJ, IEICE, IEEE, and ISMIR
• Research interests
  • Music information processing (statistical analysis and generation of music signals and scores)
  • Audio signal processing (source separation, source localization, and speech enhancement)
  • Statistical machine learning (nonparametric, hierarchical, and deep Bayesian models)
• Hobbies
  • Swimming
  • Hiking
  • Cycling: Strava

Resources

• Publications
  • English papers
  • Japanese papers
  • Tutorials and talks
  • Awards and activities
• External sites
  • Google Scholar
  • DBLP
  • Researchmap
  • Activity Database on Education and Research (京大DB)
  • Database of Grants-in-Aid for Scientific Research (科研費)
• Lectures
  • Slides

本研究室に興味をお持ちの学生や研究員の方へ

本研究室では，生体や環境の理解を目的として，種々のセンサによる信号計測（ハード）から計算機による信号解析（ソフト）まで包括的に取り扱います．人の感覚器官は周囲環境からの視聴覚刺激に随時さらされており，脳が過去の記憶・経験に基づく情報処理を行うことで，周囲で何が起きているかを理解します．このような，抹消系（目・耳）から中枢系（脳）に至る視聴覚情報処理に対する構成論的アプローチとして，マイクアレイを用いた音響信号処理（例：音源分離・定位・識別，音場推定・再現），カメラアレイを用いた画像信号処理（例：三次元形状推定・再現），MRI や光ポンピング磁気センサ (OPM) を用いた脳信号処理（例：脳・筋・神経活動推定），それらを統合したマルチモーダル信号処理に取り組みます．

これらに共通して，対象信号の性質をよく観察した上で，事前知識と物理的拘束に基づく確率的生成モデルを定式化し，逆問題を解くという普遍的なアプローチを用います．観測信号は，環境中でしばしば同時発生する様々なイベントを要因として生起され，何らかのセンサで一挙に計測されます．したがって，観測信号から潜在要因を逆に推論するなら，物理的な計測機構を含む階層的な生成過程を精緻にモデル化する必要があります．具体的には，信号計測を支える物理モデル（ブロッホ方程式・ヘルムホルツ方程式等）に加えて，各種確率モデル（混合・因子・時系列モデル等）を組み合わせた統一的な生成モデルを構成し，様々な最適化技法（変分法・マルコフ連鎖モンテカルロ法・確率的勾配降下法等）および深層学習技法（変分自己符号化器・拡散モデル・トランスフォーマ等）を駆使して，潜在変数およびパラメータを一挙に推定します．豊富な計算資源が利用可能で，LLM の学習も可能です．

本研究室は伝統的に，電気工学としての脳信号計測に強みを持ちます．最近では，予防医療の実現による医療イノベーションを目指し，小型化・省コスト化と世界最高感度を実現可能な OPM を用いた脳磁図 (MEG) 計測に取り組んできました．また機能的 MRI についても，既存の計測原理における時間分解能の限界を凌駕し，低磁場・超低磁場 MRI でも運用可能なスピンロックシーケンスを用いた脳機能計測にも取り組んでいます. いま，新たに情報学の見 地から統計的推論を融合させ，物理的計測限界を突破することに挑戦します．さらに，これら基盤技術のアプリケーションとして，日常生活をより便利にするためのウェアラブルデバイス（AR スマートグラス）向けの人間拡張技術およびブレイン・マシンインターフェースの研究も行います．

Demonstrations

I'm one of the Songle Developer Team (Director: Masataka Goto).
The active music listening Web service "Songle" is open to the public!