メタバースでの対話を科学する──芝浦工大とDNP、産学連携で挑む次世代コミュニケーション研究

DNPは、あらゆる年齢・性別・言語等の人々が互いに分け隔てられることなく、リアルとバーチャルの双方を行き来できる新しい体験と経済圏を創出する「XRコミュニケーション®*1」を2021年から展開しています。メタバースを活用した教育支援や自治体の地域活性化、DNPの「メタバース役所」*2等の行政サービス向上と窓口業務のDX（デジタルトランスフォーメーション）を支援しています。

メタバースを活用したさまざまなサービスの実証が進む中、DNPでは「ユーザーにとって使いやすいメタバース空間」の実現に向けたコミュニケーションの工夫やUI・UXデザインについて日々検討を重ねています。こうした背景から、DNPは芝浦工業大学デザイン工学部との共同研究を2024年より開始しました。

本記事では、共同研究の内容と今後の展望についてご紹介します。

芝浦工業大学デザイン工学部 益子ゼミとの共同研究

2024年度、DNPは芝浦工業大学デザイン工学部の益子宗教授と、XR技術を活用したメタバース空間におけるコミュニケーション効果の可視化に向けた共同研究を実施しました。

益子教授は国内IT大手の研究開発部門において、「遠隔コミュニケーション」や「サイバーフィジカルインタラクション」「生体情報を用いたインタラクティブシステムの研究」などを研究テーマに、身体性の伴う体験とバーチャルをつなぐ取り組み中心に多数手掛けられ、2023年より芝浦工業大学デザイン工学部にて教鞭をとられています。
芝浦工業大学デザイン工学部益子研究室では、メタバースやデジタルサイネージ、VRなどを活用した場合のユーザーの認知や印象の検証などを中心に、「フィジカルとデジタルの境界をあわくするデザイン」をテーマに掲げ、研究を行っています。
（芝浦工業大学 デザイン工学部 益子研究室： https://masuko-lab.jp/）

こうした実績と研究テーマを持つ益子研究室と、「リアルとバーチャルの双方を行き来できる新しい体験と経済圏を創出する」ことを目指すDNPが連携し、アカデミアとビジネスの知見を融合することで、仮想空間におけるコミュニケーションの“質”を高め、社会実装につなげることを目指しています。
一例として、DNPが展開する「メタバース役所」での自治体支援や「3Dメタバース空間を活用したラーニングシステム*3」での教育支援といった社会実装の進む事業の更なるサービスの品質向上や、他事業への展開可能性も視野に入れています。

研究の観点

今回の研究は、次のような観点を重視して実施されました。

• バーチャル空間でのサービスやイベントの効果測定の際に、来場者数や滞在時間のような従来の指標に加え、アバターを通じたコミュニケーションの質を定量的に評価する新たな視点を確立すること
• 調査研究によって得られたデータをもとに、DNPのメタバース関連サービスの信頼性や説得力を高め、より具体的で実効性のあるサービス設計につなげること

共同研究を通じて、これまでよりも使いやすく、没入して楽しむことのできるUI・UXを兼ね備えた「メタバース」が活用されたスマートサービスを提供できる未来を目指します。
ここでは、2024年度に実施した研究テーマと概要をご紹介します。

研究テーマ①　

メタバースイベントにおける定量的評価指標の検討　～ イベントの“熱量”をどう測るか ― 定量評価指標の検討 ～
メタバースイベントの価値は、来場者数やログイン回数などの数字だけでは測ることができません。より本質的な価値を評価するには、参加者の関心度や没入感、心理的な変化に着目する必要があります。
本研究では、アバターの移動（滞在時間、移動情報等）に加え、視線の動きといったライフログを組み合わせることで、イベント参加者の「没入度」や「興味関心」を数値化する手法を検討しました。この結果から、空間設計やコンテンツ配置といったイベントの設計に活かせる示唆を得ることができました。

なおこの手法については、2025年6月19日から開催される「NICOGRAPH International 2025（https://www.art-science.org/nicograph/nicoint2025/）」にてポスター発表を行う予定です。

研究テーマ②　

メタバース空間での対話促進に向けた視覚的要素の影響調査　～ アバターの視線が空気を変える ― 対話促進に向けた視覚的要素の研究 ～
本研究では、メタバース空間での対話のしやすさが、ユーザーの視点の違いや、対話相手のアバターの振る舞いによって変わる傾向がみられることがわかりました。
まずユーザーの視点に関する検証では、ユーザーのアバターが１人称/３人称のどちらの視点がコミュニケーションに良い影響を与えるかを比較しました。
調査した結果、1人称視点のアバターのほうが相手を注視する時間がより長くなり、対話する相手に対してあたたかさ、協調性といった好印象を持ちやすいということがわかりました。

また、相手の振る舞いについての検証では、対話中に相手のアバターの視線が常に正面を向いている（凝視している）状態と、視線が少しずれる（凝視していない）状態を比較しました。その結果、相手のアバターの視線がわずかにずれることでより自然な印象で親しみやすい印象を与えることがわかりました。
こうした視覚的要素は、メタバース空間での対話や相談といったコミュニケーション設計に重要な要素であるといえます。
本研究成果は、DNPのメタバース標準機能に活用する方向で検討を進めており、今後のメタバース空間の利便性・操作性の向上に寄与する研究となりました。

研究テーマ③

メタバース環境における視線と音声制御を用いた話者選択手法の検討
～ バーチャル空間での複数人による対話 ─ 視線×音声制御による話者選択 ～
バーチャル空間でのコミュニケーションの特徴の一つに、複数人で会話できる点があります。しかし、バーチャル空間で音声会話を行うと同時発信による音声の混在により、発話者の音声が聞き取りにくく、どのアバターが自分に話しかけているのかがわかりにくくなったり、不要な会話音声が聞こえてしまったりというコミュニケーションの課題があります。

これに対して、ユーザーの視線方向に応じて音声のボリュームを調整する仕組みを検証しました。ユーザーが話したい相手を注視することで、その相手の声が自動的に強調される仕組みです。さらに、バーチャル空間でも現実の世界のように周囲の環境音や喧噪音が聞こえるほうが、無音の空間よりも話しやすくなるといった傾向も見られました。
そこで、周囲の会話の音量が一定量聞こえる環境で、ユーザーが会話したい相手に注視することでその相手との会話音量が大きくなるという制御をすることにより、複数人の中でもスムーズに会話ができ、ユーザーにとって自然な対話体験を提供できることが示されました。
この手法については、「INTERACTION2025*4」にてポスター発表を行いました。

2024年度の研究活動を振り返って

本共同研究について、年度を通じて益子研究室と活動したDNP外山のコメントを紹介します。
「2024年の研究活動を振り返ると、学術的な観点からDNPが目指すXRコミュニケーション事業の強みを深く検討することができました。特に、学生との共同研究を進める中で、メタバースの活用について具体的に考える貴重な機会がありました。このような取り組みを通じて基礎研究を進めることができ、DNPの今後の強みを育てるための土台を築けたと感じています。
今後は、研究活動をもとに、より明確な強みを形成し、機能開発につなげていきたいと考えています。この挑戦を通じて、DNPならではの独自の価値を創出し、社会に貢献できる成果を実現することを目指していきます。」

より自然で豊かなメタバース体験のために

2025年度も芝浦工業大学・益子宗教授との共同研究を予定しており、引き続きXR空間やアバター（AI含む）を活用したコミュニケーションの体験価値向上を目指します。
今後は、得られた知見をもとに、自治体サービスや教育現場など多様なフィールドでの活用や実証実験の場を拡大していく方針です。メタバース技術がもたらす新たな価値を社会へ還元していくため、基盤づくりを着実に進めてまいります。

＜参考＞
＊1　DNPのXRコミュニケーション事業について
あらゆる年齢・性別・言語等の人々が互いに分け隔てられることなく、リアルとバーチャルの双方を行き来できる新しい体験と経済圏を創出する「XRコミュニケーション事業」を2021年より展開し、メタバースを活用した教育支援や、自治体の地域活性化、「メタバース役所」等の行政サービス向上と窓口業務のデジタルトランスフォーメーション（DX）を支援しています。
DNP独自の「P&I」（印刷と情報：Printing & Information）の強みである表現技術や、安全・安心に大量の情報を処理する能力、リアルとバーチャルを融合するXR技術を活かし、多くのパートナーの強みなどを掛け合わせて、多様な価値を創出します。
詳細はこちら → https://www.dnp.co.jp/biz/products/maintag/xr.html
＊2　DNPの「メタバース役所」について → https://www.dnp.co.jp/biz/products/detail/20175184_4986.html
＊3 「メタバース空間を利用したラーニングシステム」について
→ https://www.dnp.co.jp/biz/products/detail/20172710_4986.html
＊4　INTERACTION2025についてはこちら
→ https://www.interaction-ipsj.org/2025/

こちらの記事は、益子宗教授の研究室で実施した下記の研究より作成し、監修をいただきました。
・メタバースにおける円滑な対話促進に向けた視覚的要素の影響の調査
・メタバース環境における視線と音声制御を用いた話者選択手法の検討
・アバターの視線方向に応じた話者選択と音声制御手法の検討（https://www.interaction-ipsj.org/proceedings/2025/data/pdf/2B-23.pdf）

※本記事は、DNP Innovation Portに掲載の記事を基にしています。原文記事はこちら（https://www.dnp-innovationport.com/news-report/co_creation_20250520/）
※記載されている会社名・商品名は、各社の商標または登録商標です。
※記載された製品の仕様、サービス内容などは発表日現在のものです。その後予告なしに変更されることがありますので、あらかじめご了承ください。