纪念张国荣，以更“清晰”的方式

文丨猎云网 ID：ilieyun
作者丨林京

22年前，张国荣在香港红磡举办了《热·情》演唱会，这场演唱会是他生前的经典绝唱，由其亲自担任艺术总监，知名时尚设计师Jean Paul Gaultier负责服装设计。
从艺术构思、到剧情式曲目编排、再到“天使到魔鬼”的系列造型，皆为彼时首创。演唱会以《我》为压轴曲目，他想表达的主题之一是，“人要懂得怎样去爱人之外，最重要的是懂得去欣赏你自己。”
4月1日，是粉丝们集体怀念张国荣的日子，如今，他已经阔别世间19载。荣迷们或重温影视片段，或再播放一首经典歌曲，或翻开在相册里保存了很久的照片，去怀念心目中的哥哥。
这一天，这场22年前的演唱会通过AI修复，以更清晰的“面貌”在腾讯云、微信视频号、腾讯视频共同呈现，仅宝丽金唱片微信视频号观看人次就超千万，并刷屏社交网络平台。
“从《共同渡过》就已经绷不住了”、“这是一个感动的夜晚”、“风继续吹，我们继续想念你”……无数留言不断刷屏着演唱会直播间。

修复尘封22年的演唱会母带
2000年《热·情》演唱会母带由唱片公司宝丽金珍藏，分辨率是720×480，加之岁月带来的划痕、噪点等问题，都让这张唱片无法呈现较好的播放效果，也更无法适用于当下4K等智能设备。
在一次偶然的机会下，腾讯云多媒体实验室接触到环球音乐旗下厂牌宝丽金，后者正好有对演唱会一些片段做修复的意愿，双方很快达成共识——希望在4月1日这天，以这场修复版的演唱会，缅怀张国荣。
腾讯云多媒体实验室专家研究员夏珍是张国荣的粉丝，参与到这次修复工作，他感到很荣幸。从初中开始，他就在听哥哥的作品，只不过之前都是CD版本，他特别喜欢两首歌，一首是《风继续吹》，另一首是《春夏秋冬》，其中一句是——春天该很好，倘若你在场。
在修复过程中，他无数次观看着这场演唱会，有了更多感受。“从舞台设计、服装到整个人的状态，他（张国荣）投入特别多心血，是一个特别有魅力的人。希望修复版能让这个经典作品更好地展现在大众面前。”
依托于腾讯云多媒体实验室的智能影像修复技术，修复工作从三月初开始。尽管实验室此前有过修复《康熙王朝》《天下人家》等影视剧的经验，但接到这个项目时依旧很忐忑。
腾讯多媒体实验室总监李松南介绍，电视剧和电影场景相对固定，人物运动比较稳定，整部影片从头至尾所表达的艺术风格、画面色彩都一脉相承。但演唱会不同，灯光切换、镜头旋转和远景、近景及特写切换等等，场景更加复杂，带给团队诸多挑战。

演唱会修复工作流程包括“智能分析—画质修复—画质增强—智能编码”四个步骤。
智能分析是指利用多种人工智能评估算法，对视频内容进行帧级别、场景级别和视频级别等多维度的智能分析。比如分析视频的质量、失帧的类型、失帧的程度以及人脸的位置等等。
根据分析结果，画质修复则是利用多种人工智能修复算法，针对老片场景下进行训练和优化，可修复多种破坏画质内容的因素，主要针对老片中常见的竖线、雪花点、噪声、压缩失真、抖动等问题进行修复。
人脸修复是画质修复的难点之一。因为视频中动态人脸遇到场景更复杂，比如《热·情》演唱会有红色、蓝色和绿色等不同色彩，不同的灯光打到张国荣脸上时，他面部颜色和正常面部颜色不一样，修复结果会出现不太好的效果，就需团队去不断做优化。

再比如，脸的角度不一样，侧脸、正脸以及面部表情等，都需要优化算法去解决这些问题。
腾讯相关负责人进一步补充道，可以理解为演唱会有很多的长尾“场景”，比如影视剧中演员与观众并无互动，但演唱会现场感更强一些，舞台切到近景时，张国荣跟粉丝有眼神交流。“因此，除了纯算法跑之外，也会有一些人工参数调整，费了许多心思。”

在画质增强上，对腾讯云多媒体实验室而言，需要更好地驾驭和平衡CNN(卷积神经网络)和GAN(生成对抗网络)两种智能算法。
其中，CNN是经过大量图像数据训练而成的“熟练工”，它修复的结果比较真实，但有时细节会不够丰富；而GAN经过自我博弈成长而来，它修复的结果更为丰富细腻，但有时会显得不太真实。
李松南介绍，比如演唱会有很多远景比较模糊，会用GAN去做修复，清晰度、纹理都会变得特别清晰。

“修旧如旧”
对于老片修复来讲，包含物理修复和数字修复，前者是指对于胶片的修复，包括去除杂质等流程。后者则主要集中在基于机器学习、深度学习这方面的全自动修复，希望尽可能去减少人力介入，减少修复成本。
腾讯多媒体实验室隶属于腾讯的CSIG事业群。本次演唱会用到的是实验室旗下的“超清沉浸感修复引擎”，这是其面向老片修复场景的技术解决方案，包含多种自研人工智能算法，在智能模式驱动下自动为老电影匹配最佳的算法组合和参数。
“人工修复比较依赖修复者的经验和其对于画面的理解度，不同人修复的同一个画面可能会存在较大差别。”腾讯云多媒体实验室专家研究员夏珍介绍，超清沉浸感修复引擎则可以很好地规避这个问题，在尊重历史和原版的基础上，保证画质的提升。
夏珍表示，单纯的算法修复环节耗时并不长，大概只用了2天，“但演唱会所体现的艺术价值很高，要在算法与艺术性之间去做一些平衡，尽量做到‘修旧如旧’的宗旨。”
他进一步阐述道，比如舞台想表达的氛围，尽量去在算法方面进行调整，修复过程中会不断跟原片做对比，从艺术和感官上，看能否达到当时那个“旧”的感觉。
据悉，针对整体效果和特殊场景，腾讯多媒体实验室进行了十多次的算法升级和优化，为技术应用提供了稳定性和鲁棒性更强、跟踪速度更快的技术支撑。
在一些复杂的情况下，也会由人工介入，比如演唱会场景比较暗的时候，需要手工进行一些修复以及算法参数的调整。

从画面角度来看，修复完的人脸清晰度非常高，尤其在一些近景特写切换时，更为明显，比如脸上的皮肤、皱纹、毛发甚至胡渣，比如偶尔略显忧郁的眼神，比如眼睛里泛的泪光。
据悉，为了给人营造一种“面对面”的效果，实验室团队还对张国荣演唱会的眼神细节做了特别算法调优。从修复后视频中截取一帧张国荣在舞台中央的静态画面，放大后仿佛可以透过其眼眸看到舞台折射的影像轮廓。
从视频角度来看，当时团队拿到的母带是720×480分辨率，修复后的分辨率提升了6倍，接近4K的分辨率。
据悉，宝丽金对修复的效果很满意，并对腾讯多媒体实验室表达了后续和其他IP合作的诉求。

更多的怀念方式
近几年，利用互联网技术，公众与逝去的偶像及他们的作品，有了更多形式的接触，比如当下火热的3D全息投影技术，去重现他们的昔日音容。
也得益于技术的发展迭代，公众的怀念有了更多可以实现的形式，思念情绪也有更多输出渠道。
“每年的4月1日，荣粉们都会发自内心地去回顾以前哥哥的一些片段或者记录他之前的诸多小事，这给了我们团队很大的鼓励和动力。”夏珍说，在这样的需求之下，加之腾讯多媒体实验室的技术不断迭代，演唱会修复工作是一件水到渠成的事情。
据悉，后续腾讯多媒体实验室会把“超清沉浸感修复引擎”的能力，去跟更多的合作伙伴合作，助力经典影视剧、电影以及演唱会，还有一些珍贵的历史影像，更好地传承下去。
这也践行着腾讯科技向善的理念，以及可持续社会价值创新战略。

《超高清视频产业发展行动计划》显示，到2022年，超高清视频产业总规模要超4万亿元。超高清视频修复市场也蕴藏巨大潜力。
据悉，未来智能影像修复技术在广电或者传媒行业也将有很大的应用市场，比如对老旧影片进行重新上映的需求，或者让其适配到现在的4K或者8K电视上，都需要做智能影像的修复，才能达到更好的感官体验。
夏珍认为，老片修复是一个长远的工作，“比如现在质量还不错的视频，放到三五年之后，质量肯定又不行了。亦或者观看设备升级，比如未来用VR显示器等，展现方式又要进行新的更新换代。”
据悉，腾讯多媒体实验室跟宝丽金这场合作是基于对张国荣先生的缅怀，没有任何的商业元素。“对于我们来说，有基础的服务器成本加人力投入，还有所有直播的渠道，以往可能对于一些还在世的明星会有一些打赏功能等等，但是对于张国荣这场演唱会完全没有。”夏珍说。