現在，心理学や認知科学の分野において，情報技術の発展やマルチモーダル情報の活用に伴い，データマイニングや社会的信号処理の技術を応用する試みが行われています．そうした試みによって今まで検討できなかった，あるいは発見できなかった側面を明らかにすることができます．特に，協同場面において，さまざまな種類があり，複雑であるデータを紐解くのは容易ではありません．そこで，本研究室では，協同における人間のマルチモーダル情報（視線，表情，音声など）に着目し，学習パフォーマンスや学習プロセスの推定を検討しています．また，大学生を対象としたカウンセリング場面での言語・非言語情報の解析についても現在進めております．
学習活動におけるコミュニケーション/Communication during learning
視線
Hayashi, Y. & Shimojo, S.(2021). Investigating gaze behavior of dyads in a collaborative explanation task using a concept map: Influence of facilitation prompts on perspective taking. Proceedings of the1st Annual Meeting of the International Society of Learning Sciences(ISLS2021), 149?152.
視線＋言語
林 勇吾 (2019). 知的学習支援システムによる協同学習の支援に向けて：視線情報と言語情報を用いた学習プロセスの推定モデル 認知科学, 26(3), 343-356.
表情
Hayashi, Y. (2019). Detecting Collaborative Learning through Emotions: An Investigation using Facial Expression Recognition. Proceeding of the 15th International Conference on Intelligent Tutoring Systems(ITS’19), 89-98.
CAI, Y., Shimojo, S., & Hayashi, Y. (2020). Observing Facial Muscles to Estimate the Learning State During Collaborative Learning: A Focus on the ICAP Framework. Proceedings of the 28th International Conference on Computers in Education(ICCE2020), 119-126.
視線＋表情＋音声
Ohmoto, Y., Shimojo, S., Morita, J., & Hayashi, Y. (2021). Investigating Clues for Estimating ICAP States based on Learners’ Behavioural Data during Collaborative Learning, Proceedings of the 17th International Conference on Intelligent Tutoring Systems (ITS2021), 224-231.
大本・下條・森田・林（投稿中）
傾聴コミュニケーション/Listening communication
ビデオ情報（態度・音声・表情など）
黄 宏軒・澁澤 紗優美・林 勇吾・川越 恭二 (2016). 傾聴エージェントの実現に向けた傾聴会話参加者の自他評価による数値化モデルの提案 ヒューマンインタフェース学会論文誌, 18(4), 373-384.
Huang, H., Shibusawa, S., Hayashi, Y., & Kawagoe, K. (2013). Toward a Virtual Companion for the Elderly: an Investigation on the Interaction between the Attitude and Mood of the Participants during Active Listening. Proceedings of the 1st international conference on Human-Agent Interaction (iHAI 2013), 112–0.
