智东西（公众号：zhidxcom）
作者| 香草
编辑| 李水青
智东西2月3日报道，正值小年夜，一场主题为“当科技遇见戏曲之美-甲辰龙年小年夜戏曲焕新”的直播活动拉开了“中国戏曲文化数字焕新行动”的序幕。该直播由文化和旅游部艺术发展中心联合腾讯共同发起，围绕词韵之美、程式之美、影像之美和焕新之美四个篇章，创新演绎了京剧、越剧、昆曲、川剧等剧种的经典唱段。
▲戏曲演员现场表演（图源：腾讯）
除了现场表演外，直播还通过腾讯多媒体实验室的AI修复、6DoF等数字技术高清再现了近50部经典剧目，让观众“零距离”体验戏曲的“唱念做打”，在一招一式中沉浸式感受中国传统文化的魅力，共吸引超700万名线上观众。
在直播之前，智东西与少数媒体与戏曲焕新项目的负责人进行了深入交流。
腾讯可持续社会价值事业部数字文化实验室负责人舒展告诉智东西，在戏曲等传统文化的传承中，面临的挑战一是许多经典曲目格式老旧，传播方式固化，难以引起年轻人的共鸣；其次，大量珍贵的戏曲影像资料以胶片形式留存，很多因保管不善已经残损；第三，传统的师傅带徒弟教学方式比较受限。
面对这些挑战，团队选择通过新兴的数字技术，从保护到传承，再到活化、利用，从各个维度来助力戏曲文化的传播。其中，团队基于腾讯多媒体实验室自研的AI影像修复技术，对经典戏曲剧目影像资料进行数字化的抢救、抢修，以保障珍贵艺作品得以流转；团队还聚焦重点剧种，建设戏曲数字资源库，启动程式录制工作，利用体积摄影录制专业戏曲演员经典程式，并以6DoF流媒体传输技术最终交互呈现。
一、AI
修复残损影像，打造经典作品数字修复样板
老一辈艺术家的珍贵影像大多数上世纪五六十年代拍摄录制，多以胶片、磁带为存储介质，由于时间推移，已出现褪色、划痕、噪点等视听问题。
针对这些问题，腾讯多媒体实验室基于多年的多媒体通信和处理研发经验，利用AI影像修复技术对经典戏曲影像资料进行修复和呈现。据悉，此前面向老片修复场景还专门推出“超清沉浸感修复引擎”技术解决方案。
▲修复前后的《花木兰》戏剧影像资料（图源：腾讯）
在修复的过程中，团队也不免遇到许多技术层面的难题。如影像资料时间跨度大、数据量少、灯光色彩复杂等，对算法带来一定的挑战。
腾讯多媒体实验室扩展媒体中心负责人、国际标准专家许晓中谈道，为了克服数据量少的困难，团队做了很多方面的尝试，如给定一个可以用作训练的数据内容，想办法充分挖掘其中的信息，包括对一些相关的片段进行各种组合，使它产生多样化的数据等方式。
据介绍，AI影像修复技术主要分为四大模块：智能分析、画质修复、画质增强以及智能编码。
智能分析指的是利用多种人工智能评估算法，对视频内容进行帧级别、场景级别和视频级别等多维度的分析，评估视频的运动和纹理复杂度、压缩失真程度等，得到不同维度的内容分析结果。
结合智能分析得到的信息，画质修复模块可针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复。其中“人脸修复”的步骤基于团队自研的人脸修复模型，利用人脸检测、人脸修复和融合模块，将图像修复迁移到视频过程中并加入帧间稳定性处理，解决了人脸检测稳定性。
在修复模块的基础上，画质增强模块将利用最佳视频增强算法，对画面进行多维度画质提升，包括在空间、时间上对视频的分辨率和帧率进行提升，在空域上提升细节清晰度、色彩丰富度等。
最后，根据视频分析以及预编码的结果，智能编码模块自适应调整视频输出码率以及各种编码参数，并结合ROI（感兴趣区域）编码、场景自适应编码，在减小输出视频文件大孝降低视频传输成本的同时，保证视频的主观质量不受影响，实现最佳的画面效果。
▲修复前后的《雁荡山》戏剧影像资料（图源：腾讯）
在这四个模块中，每个算法都由腾讯云多媒体实验室自研自发，实现了优质的划痕修复和“超分辨率”，在放大视频分辨率时明显提升细节清晰度，同时通过GAN（生成对抗网络）生成一些细节。
二、3D
老师打破时空壁垒，传统戏曲“活”起来了
除了AI修复影像资料外，本次直播还有另一项引人注目的演示6DoF视频，也叫体积视频。
6DoF是指6自由度视频技术，不同于传统平面视频只能看固定视角画面、VR360视频以用户为中心看360度场景，6DoF在360度基础上增加位移，用户可以在观看画面中自由行走，选择自己的视角进行观看。
对戏曲行业来说，基于6DoF技术录制专业戏曲演员的经典程式，能为戏曲教学、研究等呈现立体、多维的细节。在“抖水袖”和“卧鱼”视频中，6DoF技术展现了演员手腕转动、眼波流转等十分微小的动作和情绪。
▲6DoF视频演示“抖水袖”（图源：腾讯）
在技术层面，6DoF技术主要面临的难点包括数据量大、计算量大、下载时间长、无现成文件标准、终端应用受限等。
体积视频每一帧都是一个3D模型，数据量大带来传输困难，同时3D模型数据编码压缩、解码渲染计算量大，需要终端具有较好的性能进行播放渲染。不同于普通视频能够边下边播，传统体积视频文件需全部下载完成才能播放，下载耗时长。此外，体积视频没有现成的文件标准，无法使用现有的视频基础设施，在视频传输、播放等应用生态受限。
▲6DoF视频演示“卧鱼”（图源：腾讯）
针对这些痛点，腾讯多媒体实验室6DoF视频技术解决方案分为三大模块。
首先是数据压缩。团队采用自研新一代3D mesh编解码器，在保持模型细节质量的前提下，大幅度减少模型表达所需要的面片数量，从而有效降低存储和传输动态高质量3D模型所需要的带宽，对比传统方案降低50%以上数据量。
针对Texture纹理数据，团队采用实验室自研编码器，分析纹理数据在时域和空间相关性，同时结合场景自适应编码，进一步提升压缩效率，减少数据量。整体实现多维数据25-50倍高压缩比，从根源上解决多维数据数据量大的问题。
其次是数据封装。针对现有体积视频文件无统一标准、需整体下载完才能播放等难点，实验室研发了mesh数据和纹理数据融合方案，采用流媒体格式标准，能够复用现有视频基础设施，实现渐进式文件加载，从而实现边下载边播放。
最后是播放渲染。在播放端，团队通过自研高效解码渲染算法，实现支持多模型、多材质和物理渲染，同时支持4K/8K超高清纹理图，满足对图形质量有更高要求的应用场景。在播放能力上，突破APP限制，实现轻量化网页端播放支持，同时实现包括手机、头显、PC等全终端播放支持。
结语：数字技术助力传统文化走向年轻观众
在采访过程中，中国艺术研究院戏曲研究所所长王馗屡次提到“年轻观众”。长期以来，戏曲界一直把争取年轻观众当作很重要的发展的目标。因为有了年轻的观众，一代代的传承才有真正生态的空间。
如今在数字技术的加持下，戏曲的生态空间远远超过了局限于具体的区域、地方的限制，变得更加的宽广。科技手段在戏曲的教育、传承、表演、推广等多个方面是起着非常重要的作用，介入到戏曲传承发展的各个节点。
未来，我们希望能看到更多新兴技术应用在戏曲及更多传统文化当中，并推动传统文化面向大众层面的创新传播，拉近其与当代年轻人的距离。
