取組概要
対面コミュニケーションでは、言葉だけでなく、音声の韻律、表情、視線、ジェスチャ等の非言語情報が会話参加者間で互いにやり取りされる。このような、会話中の言語・非言語情報を解釈する人間の社会的知性の計算モデルを構築する。さらに、社会的知性の計算モデルを搭載し、言語・非言語情報を解釈・表出しながら人と会話ができるロボットやアニメーションエージェント等の先進的な人工知能を実現する。
（1）マルチモーダルなコミュニケーション理解の研究
会議の要約はグループメンバ間での知識の共有に有用であるが、要約の作成には経験や人手を要する。本研究では、会話の要約を自動生成することを目指し、会話参加者が表出するマルチモーダルな行動データに基づき議論中の重要発言を推定する手法を提案した。画像処理により得られる頭部動作情報、音声情報、発言の言語情報について、4名のグループ議論参加者間の共起関係を表す特徴表現を学習するマルチモーダルフュージョンモデルを深層学習を用いて作成した。作成した学習モデルにより、重要発言の推定性能85％を達成した。
（2）対話システムの研究開発
対話システムプラットフォームの開発：ロボット開発で広く用いられているROSアーキテクチャに基づく対話システムのプラットフォームを開発した。ROSベースの音声対話システムは世界的にも新しく、また、対話の文脈管理と、他のROSモジュールとの情報統合・共有の両方を行うことができる情報管理モジュールを有するものは他に例がない。大規模知識を利用した対話システムの研究：会話を通して料理に関するユーザの嗜好を獲得する対話システムの実現に向け、グラフ構造を持つ大規模知識Freebaseに基づいて、話題を選択し、質問を生成する手法を提案した。話題間の関連の強さや、欠損している知識の予測・補完を行う学習モデルを作成し、様々の料理やその材料に関連する話題提供を可能にした。
成果
研究内容（1）の成果：提案モデルを利用した議論要約システムを実装し、重要発言がハイライトされる議論ブラウザを開発した。本技術は、オフィスコミュニケーションの支援技術として企業から関心を示されている。
研究内容（2）の成果：対話プラットフォームの応用として、慶応大学と共同で、ロボット喫茶店を実施し、テーブルに着席している客に対して、注文受付を行う対話システムを開発した。総計250人を超える来訪者の注文受付を行った。
言語・非言語コミュニケーションを理解・生成することができる人工知能は、オフィスや公共施設、また教育の場でも人を助け、人同士の活動を支援する重要な技術となる。
※この取組は、提言・事例集『私立大学理工系分野の研究基盤の強化と向上－科学技術イノベーションの推進に向けて－』で紹介した研究事例です。
詳細等は関連リンクをご覧ください。
2022.04.19
研究
