Body and face motion play an integral role in communication. They convey crucial information on the participants. Advances in generative modeling and multi-modal learning have enabled motion generation from signals such as speech, conversational context and visual cues. However, generating expressive and coherent face and body dynamics remains challenging due to the complex interplay of verbal / non-verbal cues and individual personality traits. This survey reviews body and face motion generation, covering core concepts, representations techniques, generative approaches, datasets and evaluation metrics. We highlight future directions to enhance the realism, coherence and expressiveness of avatars in dyadic settings. To the best of our knowledge, this work is the first comprehensive review to cover both body and face motion. Detailed resources are listed on https://lownish23csz0010.github.io/mogen/.


翻译:人体与面部动作在交流中扮演着不可或缺的角色,它们传递着参与者的关键信息。生成建模与多模态学习的进展使得从语音、对话上下文及视觉线索等信号生成动作成为可能。然而,由于言语/非言语线索与个体人格特质之间复杂的相互作用,生成富有表现力且连贯的面部与身体动态仍具挑战性。本综述系统回顾了人体与面部动作生成领域,涵盖核心概念、表示技术、生成方法、数据集及评估指标。我们强调了未来研究方向,旨在提升二元交互场景中虚拟形象的真实性、连贯性与表现力。据我们所知,本文是首个全面涵盖人体与面部动作的综述性工作。详细资源列表发布于 https://lownish23csz0010.github.io/mogen/。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员