SCI论文（www.lunwensci.com）:
摘 要 ：为实现青藏高原地区传统舞蹈类国家级非物质文化遗产的数字化保护,利用 ZBrush 和 Maya 软件基于 UV 贴 图、虚幻引擎实时效果渲染和布料动力学解算模拟等技术创建了写实数字虚拟人的三维模型,基于动作捕捉技术利用 C# 和 Unity3D 软件设计开发了具有青藏高原民族特色的数字虚拟人舞蹈采集展示系统。此系统不仅可以将舞蹈传承人动作细节精准 记录为 MD 格式的数据文件,并且可以通过不同虚拟人物形象录制或再现舞蹈动作视频,为后续青藏高原地区藏族舞蹈这一国 家级非物质文化遗产的交互学习、数字化保护以及传承推广提供了有效途径。
关键词 ：动作捕捉 ；Maya ；数字虚拟人 ；C# ；Unity3D
Design and Implementation of a Dance Display System Based on Motion Capture
HE Gangbo1,2, PENG Chunyan1,2, ZHANG Xiaojuan1,2
(1.The College of Computer, Qinghai Normal University, Xi'ning Qinghai 810016;2.State Key Laboratory of TibetanIntelligent Information Processing and Application, Qinghai Normal University, Xi'ning Qinghai 810016)
【Abstract】： In order to achieve the digital protection of national intangible cultural heritage related to traditional dance in the Qinghai Tibet Plateau region, ZBrush and Maya software were used to create a three- dimensional model of a realistic digital virtual human based on UV mapping, virtual engine real-time rendering, and fabric dynamics simulation. Based on motion capture technology, a digital virtual human dance collection and display system with ethnic characteristics of the Qinghai Tibet Plateau was designed and developed using C # and Unity3D software. The system can not only accurately record the details of dance inheritors' movements into MD format data files, but also record or reproduce dance action videos through different virtual character images, providing an effective way for the subsequent interactive learning, digital protection, and inheritance promotion of Tibetan dance, a national intangible cultural heritage in the Qinghai Tibet Plateau region.
【Key words】：motion capture;Maya;digital virtual human;C#;Unity3D
0 引言
青藏高原地区藏族舞蹈,如锅庄舞、热巴舞和弦子 舞等在 2006 年第一批被列入国家级非物质文化遗产名 录。藏族舞蹈极具高原民族特色,是在独特的地理和人 文环境下,经过自然环境、社会变迁和自身族群发展的 历程,创造出的形态多样、特色鲜明的非物质文化遗 产。过去藏族舞蹈通常采用“口传身授”的方式进行传 承,随着社会经济和文化体系的不断发展,这种传承方 式已不适用于非遗保护。目前常用的保护方法是采用视频、图像、文字记录的方法对舞蹈演员的动作进行记录 保存,学习者只能通过观看视频、照片或者阅读文字简 单模仿传承人的舞蹈动作,无法精准模仿或者再现传承 人的舞蹈动作,尤其在模仿舞蹈动作细节方面远远不能 满足学习交互需求。
近年来, 虚拟仿真和三维建模技术发展迅猛, 使用 3D 建模技术构建虚拟场景和人物模型进行舞蹈动作的 采集和展示已成为当下流行的趋势。利用惯性动作捕捉 设备可以精确采集且记录舞蹈传承人的每一个关节动作数据,这种新颖的形式不仅能够增添舞蹈的表现形式, 而且能够给观赏者带来全新的体验感受,同时也对藏族 特色舞蹈的数字化保护、交互学习提供了行之有效的途 径。本文基于动作捕捉技术设计开发的虚拟人舞蹈采集 展示系统,利用惯性捕捉设备,通过可视化界面的简单 操作将虚拟人和实体人穿戴的惯性捕捉设备进行网络连 接后便可精确化采集舞蹈动作,且将这些数据文件进行 数字化永久保存,在使用过程中可通过系统附加功能选 择不同的写实虚拟人物形象进行展示,更加有利于舞蹈 类国家级非物质文化遗产今后的交互学习和保护传承。
1 系统分析及总体设计
1.1 需求分析
随着经济全球化、文化多元化的快速发展, 一方面 使人类生活便捷的同时,对非物质文化遗产中藏族舞蹈 领域的保护与传承也极具冲击与影响。实地考察调研得 知,青藏高原地区藏族舞蹈的代表性产地逐年萎缩,传 承艺人寥寥无几。目前对于藏族舞蹈的保存多局限于传 统的音视频形式,这种形式对优秀传承人舞蹈动作缺乏 精确采集和数字化记录,不仅不能够形成标准体系的信 息管理手段,也无法将这些优秀藏族舞蹈作品进行批量 化永久保存。通过惯性捕捉设备可以实现对藏族舞蹈传 承人的各关节动作数据的精准采集,对非物质文化遗产 藏族舞蹈进行数字化、永久化的记录与保存,能够随时 再现舞蹈动作视频,还能通过不同的虚拟人形象以多种 风格呈现藏族舞蹈,以现代信息化手段对所采集的优秀 非遗舞蹈作品进行管理、归类与保存,为后续学者、专 家及各界人士相互交流与学习提供文化资源支撑。
基于动作捕捉技术的虚拟人舞蹈采集展示系统主要 包含以下功能 ：虚拟模型人物的连接和标定、舞蹈动作 的采集和存储、舞蹈数据的导入和回放、虚拟人物模型 的参数调节、虚拟人物模型和舞蹈场景的更换、虚拟视 频的输出和录制。普通用户利用该系统可以通过界面菜 单、按钮等简单直观操作实现舞蹈动作采集和保存。
1.2 可行性分析
系统使用 ZBrush 和 Maya 进行三维人物模型的雕 刻和精磨,Unreal Engine 4 实现场景效果的渲染, C# 构建系统, Unity 进行 3D 场景的构建及三维人物模型 的重构, Microsoft 的 SQL Server 2012 数据持久化存 储 [1]。多种软件和技术结合的系统开发,模拟真实场景 和舞蹈动作画面。
舞蹈传承人身穿的惯性动作捕捉设备中集成了加速 计、陀螺仪和磁力计等惯性传感器,在舞蹈者运动过程 中捕捉跟踪运动数据,将运动数据传输至接收设备中, 使其驱动三维人物模型,完成对舞蹈动作的数字化采集 与优化存储 [2]。同时可以利用 LiveLink 软件进行面部 表情捕捉,设置 LiveLink 软件网关地址可以使人物模 型同步舞蹈演员的面部表情这一操作更加稳定和便捷。 另外,系统界面设计简洁易操作,可同时满足不同软件 接口需求、易扩展需求、稳定性需求和系统安全性需求 等非功能性需求,以方便用户更加方便、快捷、安全、 高效地采集并展示舞蹈动作。
本系统的工作原理如图 1 所示。
1.3 系统主要功能的设计与实现
为满足青藏地区藏族舞蹈非物质文化遗产的数字化 保护和传承需求,系统由虚拟人物模型的连接模块、舞 蹈的采集和存储模块、人物模型和场景更换模块、虚拟 场景中特效画面模块、虚拟摄像头和屏幕录制模块、系 统设置和快捷操作模块等六大功能模块组成,系统功能 结构如图 2 所示。
1.3.1 虚拟人物模型的连接模块
该功能模块首先利用 Maya 软件构造虚拟人物的低 模,再利用 ZBrush 软件对模型头发和服饰进行精细打 磨,并转换为 UV 多边形模式,对模型人物与服饰进行 贴图映射 [3],在 Maya 中为虚拟人物模型服饰添加动力 学解算,以达到更加逼真的模拟效果。其次,需要驱动 虚拟人物模型,先利用 Maya 软件对模型骨骼进行绑定,将模型身体主躯干分为 21 个节点,并细分手指的 关节点后逐一进行绑定,规范命名各个节点,确保系统 在替换人物模型时随时调配。
模型制作和骨骼绑定完成后将人物模型加载至系统 当中,进行模型的稳定性测试,即进行人物模型的连接 和标定,具体步骤如下 ：
（1）连接。为舞蹈者穿戴惯性动作捕捉设备, 打开 控制器开关,将接收器接入工作站,在系统中进行虚拟 人物模型和动作捕捉设备的连接,其中 21 个惯性动作 捕捉设备的传感器节点分布如表 1 所示。
连接惯性动作捕捉设备后,可通过首页骨骼关节标 记点检测传感器是否成功连接,若关节标记点显示为黄 色,表明连接不稳定,需检查对应传感器接口 ；若显示 红色,表明该关节点的连接不稳定,需重新检查 ；若标 记点显示全为绿色,继续完成标定操作即可。
（2）标定。为使虚拟人物模型和舞蹈者的关节部位 信息同步校准,标定时舞蹈者需做出双手放在身体两侧 正常站立、双手平行向前伸展的姿势,以达到模型人物 精准同步舞蹈演员动作。其中进行标定时的模型与舞蹈 演员动作如图 3 所示。
此外,舞蹈者的体格与虚拟模型人物不符合时,在 参数调节面板可对模型人物手臂和手掌的张合度进行调 节,使演员的舞蹈动作和人物模型动作高度拟合 [4]。
1.3.2 舞蹈的采集和存储模块
此模块功能是对舞蹈动作进行数字化采集和保存。 人物模型和动作捕捉设备连接完成标定后,选择对应存 储路径,开始录制,可对人物模型的舞蹈画面和动作进 行录制和保存,生成精准舞蹈动作的 MD 格式数据文 件和虚拟人物模型舞蹈画面的视频文件。同时,存储后 MD 格式的数据文件可通过导入动作数据库中进行舞蹈 动作的回放, MD 格式的运动数据部分展示如图 4 所示, 数据中包含舞蹈演员身体各个关节点在运动过程中的位 移、旋转和方位等信息。
1.3.3 人物模型和场景更换模块
该模块主要负责系统模型人物与场景的变换。为防止 舞蹈演员在舞蹈动作的表演过程中产生较大的位移偏差, 导致虚拟人物模型移出虚拟场景,可在模型更换界面限 定虚拟人物的移动范围,具体的操作界面如图 5 所示。
将制作完成的虚拟模型和 3D 场景也可以选择 2D 背景图片一起加载至系统中,即可实现人物模型或者虚 拟场景的替换,其中虚拟场景的更换效果如图 6 所示。
1.3.4 虚拟场景中特效画面模块
此模块主要利用 Unity 软件制作了风格不同的 3D 场景和功能道具,方便舞蹈演员实时采集舞蹈动作时切 换 3D 场景,并可以在人物模型上添加虚拟功能道具和 特效展示画面,使人物模型的舞蹈动作展示更加生动化 和多元化。
1.3.5 虚拟摄像头和屏幕录制模块
此功能模块可以通过添加虚拟摄像头与直播平台结 合使用,使虚拟人物形象展示在相应的平台中实现虚拟 人物和现实人物互动的画面。同时,可对录制画面进行 不同帧数的设置。
1.3.6 系统设置和快捷操作模块
这一模块的主要功能可以帮助用户设置系统中常用
操作的快捷键,并且保存个人在软件平台操作过程中对 于快捷键的操作习惯,实现用户更加灵活快捷的操作。
2 系统主要功能模块的测试
系统进行舞蹈动作采集录制的操作流程如图 7 所 示。用户先通过注册的用户名和密码登录系统,为非遗 传承人穿戴惯性动作捕捉设备,通过穿戴设备的传感器 和计算机上的接收器进行无线对接,完成系统中虚拟人 物和动作捕捉设备关键节点的匹配与连接,检查系统中 骨骼模型关节点指示灯的状态,若关节指示标志全为绿 色显示,则表明系统与设备连接正常,然后为虚拟人物 模型和舞蹈者的身体关节点传感器进行校准和标定 [5]。
上述准备工作就绪后,开始舞蹈动作的采集和录 制, 录制完成后系统会生成舞蹈者动作的 MD 数据文件 和虚拟人物舞蹈画面的录制视频。此外,若要对演员的 面部表情进行采集,需将计算机设备与手机设备连在同 一局域网下,利用安装在手机上的 LiveLink 软件进行 演员面部表情的捕捉,其中面部表情捕捉示例如图 8 所 示中的模型驱动展示分块 [6]。
利用惯性动作捕捉设备对舞蹈者的动作数据进行记 录和保存,不仅可以弥补文字、图片和视频等记录方式 的不准确,同时,相较于这些记录方式还具有更全面和 灵活的观看视角。动作捕捉技术对舞蹈动作的记录可以 精准到手指关节的细微变化,以这种数字化形式记录舞 蹈动作的方式可以永久地将舞蹈类非物质文化遗产保存 下来,为后期的舞蹈教学、研究和再编创等提供了精确 的数据资源。在采集舞蹈动作过程中,可以将舞蹈动作 的数据文件与视频相结合,使用视频来记录舞蹈者的真 实表现情况,惯性动作捕捉设备则用来记录精准的舞蹈 动作,使用这种结合的方式对传统民族特色舞蹈进行采 集和数字化资源建设,可以更加方便高效地实现对传统 舞蹈艺术的学习、创新和传承。
本系统的部分功能运行测试图以及对舞蹈者进行舞蹈动作的采集和录制部分画面如图 8 所示。
3 总结
本文开发设计的基于动作捕捉技术的虚拟人舞蹈采 集展示系统已经完成了对藏族舞蹈非物质文化遗产的采 集和展示,验证了该系统的高效性、延展性和安全性。 系统不仅实现了对藏族舞蹈传承人舞蹈动作的精确采集 和数字化记录,而且可以使用不同的写实虚拟人物模型 进行舞蹈再现,减少文字与图片资料记录的不准确性,为传统民族特色舞蹈提供多样化的展示方式,并为后期 的相关教学、研究和创新等提供了精确的数据资源,也 为藏族舞蹈的传承发展提供了行之有效的途径。系统在 使用期间运行状况良好,易于维护,同时受到了民众和 国家级非物质文化遗产舞蹈传承人的一致好评。
参考文献
[1] 曲蕴慧,白新国.基于3D Max及Unity3D的博物虚拟展示系 统设计与实现[J].微型电脑应用,2022,38(4):1-3.
[2] 汪涛,周柯宇.基于动作捕捉技术的云南民俗舞蹈类非物质 文化遗产保护研究[J].红河学院学报,2019,2(1):77-79.
[3] 赵海英,朱鹤,穆晓峰,等.基于动捕数据驱动的三维民族舞蹈 展示方法[J].计算机系统应用,2016,25(6):136-140.
[4] 熊亮,郭焕璋,罗裕,等.基于NM通讯机的智能网络分析系统 研究[J].软件,2023,44(6):147-150.
[5] 肖巍,冯时,王选遥.基于虚幻4引擎的长白山虚拟现实场景 地形制作[J].长春理工大学学报(自然科学版),2019,42(6):133- 137.
[6] 丁艺.基于虚拟现实技术的信息管理系统设计和实现[J].软 件,2022,43(12):109-111.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！v
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/74390.html
