学位論文 【 表示 ／ 非表示 】

学位論文 【 表示 ／ 非表示 】

• 時系列画像に基づく動的事象の推測に関する研究

  大塚和弘

  2007年3月

  学位論文（博士）   単著  

論文 【 表示 ／ 非表示 】

論文 【 表示 ／ 非表示 】

• 言語特徴を利用した対話中の頭部運動機能の認識

  城戸 祐世, 杉山 隼大, 大塚 和弘

  電子電子情報通信学会論文誌A 基礎・境界   J107-A ( 1 )   6 - 18   2024年1月  [査読有り]

  DOI CiNii Research

  　詳細を見る

  記述言語：日本語   掲載種別：研究論文（学術雑誌）   出版者・発行元：電子情報通信学会   共著  

  対話において，頷きや首振りなどの頭部運動は，様々重要な機能を担うことが知られている．従来，頭部運動からその機能を認識するための畳み込みニューラルネット(CNN)が提案されている．本論文では頭部運動機能の認識性能の向上を目指し，頭部運動に加えて新たに言語特徴を入力とするモデルを提案する．このモデルは言語・非言語情報を統合するため，各々の特徴を表現する埋め込みベクトルを算出し，これらを全結合ニューラルネットに入力するというモデル構造をもつ．頭部運動に関して，既存のCNNの中間層出力を特徴ベクトルとして利用する．言語特徴として，BERTに基づく時間粒度の異なる3種の特徴表現として，トークン単位，及び，発話区間単位の埋め込みベクトル，並びにトークン系列の動的特性をLSTMを用いて表現したベクトルを比較検討する．実験の結果，トークン単位の言語特徴を用いたモデルにより頭部運動機能10種の平均で4.7ポイントのF値の向上が確認された．また，「相槌」の認識において，発話区間単位の言語特徴を用いたモデルにより最大10.4ポイントのF値の向上を達成した．これらより頭部運動機能認識において言語特徴が有効な手がかりとなることが示唆された．

• マルチモーダル非言語行動に基づく対話者の視線機能の認識

  田代 絢子, 今村 まい, 熊野 史朗, 大塚 和弘

  電子電子情報通信学会論文誌A 基礎・境界   J106-A ( 12 )   296 - 311   2023年12月  [査読有り]

  DOI CiNii Research

  　詳細を見る

  記述言語：日本語   掲載種別：研究論文（学術雑誌）   出版者・発行元：電子情報通信学会   共著  

  人の対話における視線の機能に焦点を当て，これを対話者の非言語行動から認識するための研究の枠組みを提案する．対話において視線行動は，他者を観察する以外にも，感情・態度の表出や対話の流れの調整などの重要な役割を果たす．従来，対話中の対人視線方向を頭部姿勢や眼球方向などから推定する方法が提案されているが，視線の機能を認識の対象とした取り組みはまだ行われていない．そこで本論文では視線機能の認識という新たな問題を設定し，その解決の枠組みを示す．まず最初に43種の視線機能を定義し，対話中の時刻ごとに各機能の有無を非排他的に記述したコーパス，及び，その分析例を示す．次に14種の視線機能を対象とし，これを対話者の非言語行動から認識する深層学習モデルを提案する．具体的には入力モダリティとして，頭部運動，発話状態，注視状態，眼球方向，及び，顔表情を用い，各々の視線機能の有無の認識を行う畳み込みニューラルネット(CNN)を提案する．実験の結果，14機能の平均認識性能（F値）がチャンスレートから0.243の大幅な向上を遂げ，また，他者を見ながら傾聴するという機能において，最高0.839のF値を達成するなど，視線機能の認識可能性が示唆された．

• 対話中の頭部運動機能がもつ解釈の曖昧性を推定する深層回帰モデル

  武田 一輝, 今村 まい, 大塚 和弘

  電子電子情報通信学会論文誌A 基礎・境界   J106-A ( 10 )   255 - 266   2023年6月  [査読有り]

  DOI CiNii Research

  　詳細を見る

  記述言語：日本語   掲載種別：研究論文（学術雑誌）   出版者・発行元：電子情報通信学会   共著  

  対話者の頭部運動は相槌や相手に対して反応を促す等，多様な機能を担うが，その表出や解釈には曖昧性が伴う．従来，それらの機能を認識するため，複数の観察者による解釈を集約した2値データを訓練データとして用い，機能の有無を認識する畳み込みニューラルネット(CNN)が構築されているが，観察者の評定値の論理和が正解とされ，機能の曖昧性を十分に捉えることができなかった．そこで本論文では，この機能の曖昧性を，複数の外部観察者による評定値の平均値と標準偏差により捉え，前者を機能の表出明瞭度，後者を解釈多様性と定義し，これらを頭部姿勢角の時系列などから推定する回帰問題として定式化する．その解法として，本論文では，畳み込みニューラルネット(CNN)に着目し，表出明瞭度と解釈多様性を同時に推定するCNNモデル（μ-σ CNNと呼ぶ）を提案する．このモデルの性能を表出明瞭度と解釈多様性をそれぞれ単独に推定するCNN回帰モデルと比較した結果，同時推定を行うμ-σ CNNが，単独推定を行うモデルよりも高い推定性能を発揮する可能性があることが確認された．これらの実験結果より頭部運動機能の曖昧性の推定可能性が示唆された．

• 頭部運動機能特徴に基づく対話者の主観的印象の予測・説明モデルの構築

  大土 隼平, 三好 一輝, 石井 陽子, 石井 亮, 永徳 真一郎, 大塚 和弘

  人工知能学会論文誌   38 ( 3 )   H-M74_1 - 13   2023年5月  [査読有り]

  DOI CiNii Research

  　詳細を見る

  記述言語：日本語   掲載種別：研究論文（学術雑誌）   出版者・発行元：一般社団法人 人工知能学会   共著  

  <p>An explainable model is proposed to automatically explain when and what kind of behaviors affected interlocutors’ impressions in group discussions. Focusing on self-reported scores on the impressions such as atmosphere and enjoyment felt during the discussions, we tackle a new problem that identifies both influential behaviors and their timings that were related to impression formation. To that end, this paper formulates the problem as the identification of behavioral features, which contributed to the impression prediction and the detection of the timings when such behaviors occurred very frequently. To solve this problem, this paper presents a two-fold framework consisting of a prediction model using random forest regressors, followed by an explanation model using a SHAP analysis. The prediction part employs functional head-movement features, which can capture the various aspects of interactive conversational behaviors. The key feature of the latter explanation part is the temporal decomposition of features’ contributions by integrating the SHAP values and the temporal distributions of the occurrence probabilities of the behavioral features, which were computed by a kernel density estimation method from the detected samples of head movements and their functions. To derive this process, we exploit the dual additivity in the SHAP values and the functional head-movement features over time. Finally, the influential behaviors and their timings are identified from the temporal local maximums of the features’ contribution distributions. Targeting 17-group 4-female discussions included in a SA-Off corpus, this paper shows some case studies and the results of quantitative evaluations, which compared the reported overall scores and two-minute-wise scores at the timings found by the model. These results confirmed the predictability and explainability of the proposed model.</p>

• 対話中における聞き手の頭部運動と相槌の相乗機能の解析

  飯塚 海斗, 大塚 和弘

  人工知能学会論文誌   38 ( 3 )   J-M91_1 - 17   2023年5月

  DOI CiNii Research

  　詳細を見る

  記述言語：日本語   掲載種別：研究論文（学術雑誌）   出版者・発行元：一般社団法人 人工知能学会   共著  

  <p>A novel machine learning framework is proposed to automatically recognize the synergetic functions of the Aizuchi and the head movements of listeners in conversations. The listeners’ head movements, such as nodding, and Aizuchi, i.e., listeners’ short back-channel utterances, play a variety of functions, such as expressing the sign of listening, agreement, and emotions. This paper presents a functional Aizuchi corpus and analyzes it with the functional head-movement corpus that the authors have previously created. The analysis reveals the synergetic relationship between Aizuchi and head movements including reinforcement, multiplexing, and complementary. Then, this paper defines a functional category system called synergetic functions, which classifies reinforcement and multiplexing as product functions and complementary as sum functions. Next, several models using convolutional neural networks (CNNs) are designed to recognize such synergetic functions from the time series of the prosodic features and the head pose of the listeners. More specifically, we compare some different architectures, which employ early/late feature fusions and single/two-stage decision-making. The experimental results shows the proposed models achieved the maximum F1-score of 0.71 for the product function of Aizuchi’s continuer and head movement back-channel and that of 0.88 for a sum function called back-channel acknowledgment that was complementarily expressed by head movements and Aizuchi. These results confirms the potential of the proposed framework.</p>

全件表示 >>

総説・解説記事等 【 表示 ／ 非表示 】

総説・解説記事等 【 表示 ／ 非表示 】

• 非言語情報が生み出すコミュニケーションのリアリティ

  大塚和弘

  NTT研究所発 触感コンテンツ専門誌ふるえ   8 ( 5 )   2016年12月  [依頼有り]

  　詳細を見る

  記述言語：日本語   掲載種別：記事・総説・解説・論説等（その他）   単著  

• Prediction of "Who Will Be Next Speaker and When" in Multi-Party Meetings

  Ryo Ishii, Kazuhiro Otsuka, Shiro Kumano, Junji Yamato

  NTT Technical Review   13 ( 7 )   2015年  [依頼有り]

  　詳細を見る

  記述言語：英語   掲載種別：機関テクニカルレポート，技術報告書，プレプリント等   共著  

• The Future of Idobata Kaigi (“Congregation at the Well”): Realizing Natural Conversations with Distance Access

  Kazuhiro Otsuka, Nobuhiro Furuyama, Mayumi Bono

  NII Today   48   6 - 7   2014年1月  [依頼有り]

  　詳細を見る

  記述言語：英語   掲載種別：機関テクニカルレポート，技術報告書，プレプリント等   共著  

• 遠隔地間でも自然な会話を実現する、未来の井戸端会議とは

  大塚和弘，古山宣洋，坊農真弓

  国立情報学研究所 NII Today   62   6 - 7   2013年12月  [依頼有り]

  　詳細を見る

  記述言語：日本語   掲載種別：機関テクニカルレポート，技術報告書，プレプリント等   共著  

• MM-Space: Recreating Multiparty Conversation Space by Using Dynamic Displays

  Kazuhiro Otsuka

  NTT Technical Review   10 ( 11 )   2012年11月  [依頼有り]

  　詳細を見る

  記述言語：英語   掲載種別：機関テクニカルレポート，技術報告書，プレプリント等   単著  

全件表示 >>

受賞 【 表示 ／ 非表示 】

受賞 【 表示 ／ 非表示 】

• 特集テーマセッション賞（ソーシャル・インタラクション）

  2023年12月   電子情報通信学会 HCGシンポジウム2023   複数モダリティの非言語情報に基づく対話者の視線機能の分析と認識  

  受賞者：田代絢子、今村まい、熊野史朗、大塚和弘

• HCS研究会賞

  2022年01月   電子情報通信学会 ヒューマンコミュニケーション基礎研究専門委員会   「対話中の非言語行動の機能スペクトラム解析に向けて〜頭部運動を対象とした機能コーパスと深層学習モデルの構築事例〜」  

  受賞者：大塚和弘

• 特集テーマセッション賞

  2021年12月   電子情報通信学会 HCGシンポジウム2021   複数人対話における深層転移学習による頭部運動相互作用の機能認識  

  受賞者：森　駿志, 大塚和弘

• 情報処理学会論文誌ジャーナル特選論文賞

  2021年01月   情報処理学会   話者継続・交替時における対話行為と視線行動に基づく共感スキルの推定  

  受賞者：石井 亮, 大塚和弘, 熊野史朗, 東中竜一郎, 青野裕司

• 電子情報通信学会 HCGシンポジウム2018 特集テーマセッション賞

  2018年12月   電子情報通信学会  

  受賞者：石井 亮，大塚和弘，熊野史朗，東中竜一郎，富田準二

全件表示 >>

研究発表 【 表示 ／ 非表示 】

研究発表 【 表示 ／ 非表示 】

• 対話中の頭部運動機能の解釈の曖昧性を推定する深層回帰モデルの検討

  武田 一輝, 大塚 和弘

  第21回情報科学技術フォーラム(FIT2022)  

  　詳細を見る

  開催年月日： 2022年9月

  記述言語：日本語   会議種別：口頭発表（一般）  

• 複数人対話における深層転移学習による頭部運動相互作用の機能認識

  森　駿志, 大塚和弘

  電子情報通信学会HCGシンポジウム2021   2021年12月  電子情報通信学会

  　詳細を見る

  開催年月日： 2021年12月

  記述言語：日本語   会議種別：口頭発表（一般）  

• Prediction of Interlocutors’ Subjective Impressions Based on Functional Head-Movement Features in Group Meetings

  Shumepi Otsuchi, Yoko Ishii, Momoko Nakatani, Kazuhiro Otsuka

  23rd ACM International Conference on Multimodal Interaction (ICMI2021)  2021年10月  ACM

  DOI

  　詳細を見る

  開催年月日： 2021年10月

  記述言語：英語   会議種別：ポスター発表  

  開催地：Montreal, Canada   国名：カナダ  

• Deep Transfer Learning for Recognizing Functional Interactions via Head Movements in Multiparty Conversations

  Takashi Mori, Kazuhiro Otsuka

  23rd ACM International Conference on Multimodal Interaction (ICMI2021)  2021年10月  ACM

  DOI

  　詳細を見る

  開催年月日： 2021年10月

  記述言語：英語   会議種別：ポスター発表  

  開催地：Montreal, Canada   国名：カナダ  

• Inflation-Deflation Networks for Recognizing Head-Movement Functions in Face-to-Face Conversations

  Kazuki Takeda, Kazuhiro Otsuka

  23rd ACM International Conference on Multimodal Interaction (ICMI2021)  2021年10月  ACM

  DOI

  　詳細を見る

  開催年月日： 2021年10月

  記述言語：英語   会議種別：ポスター発表  

  開催地：Montreal, Canada   国名：カナダ  

全件表示 >>

学会誌・論文誌編集等 【 表示 ／ 非表示 】

学会誌・論文誌編集等 【 表示 ／ 非表示 】

• 電子情報通信学会論文誌D

  編集委員 

  2010年5月

  -

  2014月6日

   

• 情報処理学会 コンピュータビジョンとイメージメディア論文誌

  編集委員 

  2004年4月

  -

  2008月7日

   

担当授業科目（学内） 【 表示 ／ 非表示 】

担当授業科目（学内） 【 表示 ／ 非表示 】

• 2024年度   マルチモーダル社会的信号処理

  大学院理工学府

• 2024年度   イノベーションと課題発見Ⅱ

  大学院理工学府

• 2024年度   イノベーションと課題発見Ⅰ

  大学院理工学府

• 2024年度   イノベーションと起業Ⅱ

  大学院理工学府

• 2024年度   電子情報工学実験

  理工学部

全件表示 >>

担当経験のある授業科目(学外) 【 表示 ／ 非表示 】

担当経験のある授業科目(学外) 【 表示 ／ 非表示 】

• 画像ハンドリング工学

  機関名：東海大学 工学部光・画像工学科

その他教育活動及び特記事項 【 表示 ／ 非表示 】

その他教育活動及び特記事項 【 表示 ／ 非表示 】

• 2022年09月

  　

  　

  FIT奨励賞（FIT2022 第21回情報科学技術フォーラム）   (学生の学会賞等の受賞実績)

  　詳細を見る

  受賞者：武田一輝（横浜国立大学大学院理工学府 博士課程前期2年） 指導教員：大塚和弘 准教授 授与機関：FIT運営委員会 授与年月：2022(R4)年9月15日 https://www.ipsj.or.jp/award/fit-syorei.html

• 2021年12月

  　

  　

  FIT2021 ヤングリサーチャー賞   (学生の学会賞等の受賞実績)

  　詳細を見る

  受賞者：武田一輝（横浜国立大学大学院理工学府 博士課程前期1年） 指導教員：大塚和弘 准教授 受賞論文：「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」 授与者：情報処理学会 第20回情報科学技術フォーラム 受賞日：2021(R3)年12月21日受賞通知（2022(R4)年9月14日授賞式） https://www.ipsj.or.jp/award/fit-young.html

• 2021年08月

  　

  　

  FIT奨励賞（FIT2021 第20回情報科学技術フォーラム）   (学生の学会賞等の受賞実績)

  　詳細を見る

  受賞者：武田一輝（横浜国立大学大学院理工学府 博士課程前期1年） 指導教員：大塚和弘 准教授 受賞論文：「対話中の頭部運動機能を認識する特徴膨張収縮ニューラルネットワーク」 授与機関：FIT運営委員会 授与年月：2021(R3)年8月27日 https://www.ipsj.or.jp/award/fit-syorei.html

委員歴 【 表示 ／ 非表示 】

委員歴 【 表示 ／ 非表示 】

• 情報処理学会 情報規格調査会

  2018年07月 - 2020年3月  専門委員

  　詳細を見る

  委員区分：学協会 

• 電子情報通信学会 ヴァーバル・ノンヴァーバル・コミュニケーション研究会

  2016年04月 - 2020年3月  委員長

  　詳細を見る

  委員区分：学協会 

• 電子情報通信学会 和文論文誌D編集委員会

  2010年05月 - 2014年6月  編集委員

  　詳細を見る

  委員区分：学協会 

• 電子情報通信学会 ヴァーバル・ノンヴァーバル・コミュニケーション研究会

  2010年04月 - 2016年3月  副委員長（会計）

  　詳細を見る

  委員区分：学協会 

• 電子情報通信学会 ヴァーバル・ノンヴァーバル・コミュニケーション研究会

  2008年04月 - 現在  専門委員，運営委員

  　詳細を見る

  委員区分：学協会 

全件表示 >>