数字媒体如何丰富人类视听体验？

北京青年报记者 陈斯

超写实数字人小诤成为全球首位数字航天员，在航天新闻报道、知识科普等领域和年轻人群建立了沟通；“故宫最大裸眼3D文物”实现了22倍高清放大文物，让观众在千里之外也可体验到实物展也难以感受的丰富细节；“光影焕新智能修复引擎”技术让张国荣“跨时空”举行了高清演唱会……数字媒体领域正处在快速发展和变革之中。

未来，随着技术的不断创新和发展，数字媒体领域将会呈现出更为多元、丰富、创新的发展态势，给人类带来更加丰富的视听体验和商业机会。腾讯研究院发布报告认为，2022年，文化科技的应用整体呈现虚实共生、视听多维、跨界应用等新的趋势。

亮点1

AI作画领域被引爆

生成式AI技术为AIGC（人工智能生成内容）注入新动能，变革了大众内容生产与交互范式。

AIGC即“人工智能生成内容”（AI-generated Content），代表着AI技术向创造力的跃迁。2022年无疑是生成式AI的“高光时刻”：例如，AI生成内容的质量、类型的丰富性得到了极大提升，并且进一步提升了 AIGC 内容的多样性，文字转图像、文字转视频、静态图片转3D动态场景、3D内容创建等应用类型不断涌现。例如，OpenAI的DALL-E 2、Stable Diffusion、MidJourney等可以生成图片的AIGC模型引爆了AI作画领域，让AIGC加速进入公众视野，各主流互联网公司也纷纷推出自己的图片、视频生成模型。

同时，AI大模型的发展能够给大众内容生产“提质增效”，AIGC应用为文化艺术创作提供了创意辅助工具，甚至降低了文化艺术创作门槛，或将促使文化生产与消费进一步“大众化”。游戏设计师杰森·艾伦使用MidJourney模型生成的《太空歌剧院》就成为首个获奖的AI生成艺术。

亮点2

综艺、晚会广泛应用虚拟制作技术

2019年上线的美剧《曼达洛人》在拍摄过程中采用了突破性的虚拟制作方法，为内容制作领域带来了革命性的影响。虚拟制作主要借助LED和游戏引擎打造虚拟场景，并与拍摄现场的真实人物实时融合。

2022年，随着虚拟制作硬件成本下降、技术成熟，虚拟制作在国内的应用提速，尤其在综艺、晚会等领域实现了广泛的应用。例如，2022年，河南卫视“奇妙游”系列节目通过“5G+XR”技术实现舞台与虚拟场景特效的结合，将河南历史文化中最耀眼的元素与精彩的歌舞、戏曲、武术等艺术表演结合起来。

另一方面，虚拟制作技术增强了实时交互体验，塑造了“虚拟化在场+实时互动”的内容直播效果。2022年腾讯冬奥会节目《赢战冰雪》邀请了数字人“星瞳”在演播室参与赛事解说，借助远程动捕技术和自研的“交互连线系统”，使“星瞳”与真人嘉宾同台互动长达8小时，丰富了传统的演播室内容效果。

亮点3

数字人社会服务场景广泛拓展

伴随数字人生产效能的提升，2022年高保真数字人、超写实数字人、AI数字人在多方向的应用进一步成熟，为行业效率提升、服务升级提供人性化的工具，引发了数字人社会应用的新爆发。

2022年，伴随数字人生产效能的提升，社会生活与服务场景下的“数字人含量”实现爆发式增长。

一方面，高保真数字人、超写实数字人提升了信息交互的沉浸感，为新闻报道、直播、综艺等领域提供了创新业务形态、吸引年轻人的突破口。例如新华社联手NExT Studios打造的全球首位数字航天员小诤，作为超写实数字人实现了逼真、细腻的外形塑造，在航天新闻报道、知识科普等领域和年轻人群建立沟通，成为数字人助力媒体融合的典型案例。

另一方面，AI驱动的数字人能够在各类场景提供接近真人的服务，成为传媒、文旅、金融等行业数字化转型的“加速器”。2022年，数字人整合语音交互、自然语言理解、图像识别等AI能力，成为“数字员工”，进入传媒、文旅、金融、电子商务等领域，承担资讯播报、文旅导览、坐席客服等多元角色。例如，央视频AI手语主播“聆语”参与国际冰雪赛事，首次实现了AI手语解说赛事直播，可以用手语表达超过160万个词汇和短语。在企业服务领域，结合行业知识图谱，数字人能够通过不断的自学习、自适应提升服务能力，助力企业数字化转型力，越来越多的“数字员工”开始走进千行百业。

亮点4

3D数字建模助力传统文化“数字永生”

通过3D数字建模对文化遗产进行数字化生成，真实再现或者还原已经消失在历史长河中的遗迹，这种文化数字化的路径在2022年步入应用爆发期。文化遗产的3D还原走向更加精细、逼真，具有沉浸感，开辟了传统文化“数字永生”的新路径，也进一步拉近大众与文化遗产之间的距离。

故宫和腾讯联合主办的沉浸式数字体验展，向大众展示了“故宫最大裸眼3D文物”，让文物实现22倍高清放大，使观众体验到实物展也难以感受的丰富细节，同时打破物理空间限制，将故宫文物展览“搬运”到距离故宫博物院两千余公里外的广东深圳，以数字技术助力文化遗产焕发新的活力。

亮点5

超高清视频实现“经典重生”

2022年，演唱会在“云模式”下重新构建了内容的供给与分发方式，探索出相对成熟的市场模式。其中，“超高清视频技术+社交推荐技术”的结合，还原了线下演出的沉浸感、实时性、社交性三大优势，也引发了演出市场的现象级热点。

一方面，超高清视频技术的成熟，保障了线上演唱会的高质量内容供给，为用户提供了接近现场般的观看体验。同时，智能超高清视频修复技术进一步丰富了超高清内容的供给。在超高清内容生产端，长期存在着超高清内容制作、经典老片及视频转高清的成本高、效率低等痛点，通过AI视频修复技术，能够使大量画质欠佳的经典文化作品“经典重生”。

例如，2022年微信视频号联合腾讯多媒体实验室、TME live推出的张国荣《热·情》演唱会，采用多媒体实验室研发的“光影焕新智能修复引擎”，利用该引擎的智能分析、画质修复、画质增强、智能编码四大模块，修复了因时间跨度大带来的划痕、噪点、失真、色彩等问题，使演唱会内容的分辨率提升了6倍。

另一方面，直播技术与社交推荐技术的结合，提升了演唱会的线上分发效率，进一步还原线下演出的实时性、社交性等优势。直播能通过实时的表演赋予受众 “参与感”和“共享感”。

亮点6

游戏引擎成长为“新型工业软件”

2022年，游戏产业在硬件和软件突破的加持下，向实现更大规模、更流畅、更逼真的实时3D体验进发，也推动游戏引擎实现了更广泛的跨界应用。

一方面，游戏引擎能支持文化创意活动，丰富沉浸式体验，并有望打造文化领域通用、开放的技术能力。例如，2022年北京冬奥会开幕式的表演创意先在游戏引擎中进行模拟呈现、预览调整，然后才落地真实世界，有效提升了内容制作、表演协同的效率。

文保场景中，敦煌研究院联合腾讯推出“数字敦煌”项目，通过数字照扫、游戏引擎、云游戏等游戏技术，毫米级高精度复现了敦煌藏经洞及其百年前室藏6万余卷珍贵文物的盛况，生动演绎藏经洞及文物背后的千年文化故事。北京文物局发起的“数字中轴”项目，通过高清数字照扫及多种游戏技术的结合，还原了北京中轴线文化遗产的风貌。“数字中轴·小宇宙”产品将于2024年6月上线，打造全新的沉浸式观展体验，让大众足不出户就能体验北京中轴线背后丰富的历史文化。

2023年，由国家文物局指导、敦煌研究院和腾讯联合打造的“数字藏经洞”，运用游戏技术首次毫米级高精度数字化还原莫高窟藏经洞及其文物、壁画细节，打造风格化沉浸式深度互动体验，让用户一键“穿越”到晚唐、北宋、清末等历史时期的敦煌，亲身“参与”藏经洞从洞窟开凿、室藏万卷、重现于世、文物流散到再次聚首的整个历程。