本学の中野 有紀子客員研究員（成蹊大学教授）、人間情報学研究領域の岡田 将吾准教授およびLIMSI-CNRS, Université Paris Saclay（フランス）のJean-Claude Martin教授らの研究グループの論文が国際会議24th ACM International Conference on Multimodal Interaction（ICMI 2022）においてBest Paper Award-Runner Upを受賞しました。

　ICMIは、マルチモーダルインタラクションに関する分野（視覚＋聴覚など複数のモダリティの情報を統合することで理解できる現象のモデル化に関する分野）のトップカンファレンスで、Best Paper Award-Runner Upは、この会議で発表された論文のうち、優れた論文に与えられる賞（Best Paperに次ぐ論文）です。今回、ICMI 2022へは201件の論文の投稿があり、うち30件の論文が口頭発表として採択され、この中から本論文が表彰されました。
　ICMI 2022は、令和4年11月7日～11日にかけてインドのバンガロールにて開催されました。

■受賞年月日
令和4年11月10日

■論文タイトル
Detecting Change Talk in Motivational Interviewing using Verbal and Facial Information

■研究者、著者
Yukiko I. Nakano (Seikei University), Eri Hirose (Seikei University), Tatsuya Sakato (Seikei University), Shogo Okada (JAIST), Jean-Claude Martin (LISN, Université Paris-Saclay, France)

■受賞対象となった研究の内容
Behavior change is one of the most important goals in psychotherapy. This study focuses on Motivational Interviewing (MI), which is collaborative communication aimed at eliciting the client's own reasons for behavior change. To investigate the effectiveness of facial information in modeling MI, we collected an MI encounter corpus with speech and video data in the nutrition and fitness domains and annotated client utterances using the Manual for the Motivational Interviewing Skill Code (MISC). By analyzing client answers to the questions after the session, we found that clients who expressed more Change Talk were more motivated to change their behavior than those who expressed less Change Talk. We then proposed RNN-based multimodal models to detect Change Talk by setting a 2-class classification task: "Change Talk" and "not Change Talk." Our experiment showed that the best performing model was a multimodal BiLSTM model that fused language and client facial information. We also found that fusing language and facial information as context achieved better performance than the unimodal and no-context models. Moreover, we discuss the label imbalance problem and conduct an additional analysis using turns as a unit of analysis. As a result, our best model reached F1-score of 0.65 for Change Talk detection.

■受賞にあたって一言
【岡田 将吾准教授（受賞論文の第4著者）】
　このような賞を頂き大変光栄に思います。本研究の遂行にあたり、中野有紀子先生（成蹊大学教授、本学客員研究員）が中心となり、研究を進めた末に得られた成果となります。また、本研究は科学技術振興機構（JST）日独仏AI研究プロジェクトの一環として、フランスと日本の国際的なコラボレーションから生まれた研究成果です。

令和4年12月7日