甬江实验室陈泽涛团队用AI让裸眼3D焕新生

科幻电影里，无需佩戴任何设备，屏幕中的人或物就能瞬时立体呈现——这一幕正在成为现实。由甬江实验室牵头承担的工信部“揭榜挂帅”重点项目取得重要进展，新型显示与感知研究中心研究员陈泽涛及团队研发的裸眼3D沉浸式实时通信系统正式亮相。

依托实时三维重建、高精度时空同步、实时传输与裸眼3D显示等关键技术，该系统无需佩戴头显或3D眼镜，即可呈现具有真实空间感的三维影像。

三维显示并非新概念。早在十多年前，3D电视就曾掀起一轮消费热潮，但当时的主流产品大多需要佩戴专用3D眼镜，受内容生态、观看体验和应用场景等因素限制，市场热度随后逐渐下降。如今，随着AI、三维重建和新型显示技术的快速发展，无需佩戴眼镜的裸眼3D正迎来新的技术突破和应用机遇。

目前，甬江实验室的这套系统已拥有两种可实现2D到3D实时转换的“超能力”。

第一种是更具“活人感”的视频通信能力——通过多角度相机捕捉对方画面，利用自研AI算法进行三维重建，将2D人像实时转化为立体影像；配合眼动追踪相机，屏幕能准确地将不同视角画面投射到观看者左眼和右眼，产生“真人就在眼前”的沉浸感。

第二种是将2D视频、游戏实时转3D——无论高清纪录片，还是《黑神话：悟空》这样的3A大作，系统都能实时转换为裸眼3D画面，效果十分震撼。

两种“超能力”，究竟是如何实现的？

“裸眼3D的本质，是让左右眼看到具有适当视差的不同画面，从而利用双目视差让大脑产生立体感。”项目负责人陈泽涛介绍，要让裸眼3D真正“看得立体、看得真实、看得自然”，关键不仅在于生成高质量、高逼真度的三维内容，还要通过精准的人眼追踪和视点匹配，让左右眼始终看到正确的视差画面，同时结合低延迟的实时重建、传输与渲染，以及显示光学系统的协同优化，最终形成稳定、流畅且具有真实空间感的裸眼3D体验。

为实现这一目标，甬江实验室围绕三维内容生成、实时重建、低时延传输和裸眼3D显示等关键环节开展了系统性技术攻关，并通过算法创新与软硬件协同优化，打通了从三维内容生成到实时显示的完整技术链路。

实时人体三维重建，是3D视频通信的核心技术之一。团队利用数千个高精度人体三维模型进行训练，让模型学习不同人体形态、姿态以及不同观察视角下的三维信息。在实际系统中，仅需三台相机从不同角度采集人物画面，算法就能够快速重建人物的三维信息，并生成不同观察视角下的高质量图像，从而在降低硬件复杂度的同时，实现高质量、实时的人体三维重建。

除了3D视频通信，团队还开发了实时2D转3D技术。对于普通的二维视频、影视内容以及游戏画面，系统能够实时估计画面中不同物体与场景的深度信息，并据此生成具有合理视差的左右眼图像，再通过裸眼3D屏进行显示。这样一来，原本为普通二维屏幕制作的视频、电影和游戏等内容，无需重新进行三维拍摄和制作，也能够实时转换为具有空间纵深感的裸眼3D画面，大幅拓展了裸眼3D的内容来源。

技术突破的背后，是团队在三维视觉、空间感知和新型显示等方向多年的积累。目前，团队围绕三维重建、空间感知等关键技术已形成一系列科研成果，相关研究成果已发表于多篇CCF-A/中科院一区等国际学术期刊，并围绕三维重建等核心技术布局二十多篇发明专利。同时，团队正牵头一项国家相关标准的制订，推动技术成果从实验室研发进一步走向标准化和产业化应用。

“为了让3D通信真正达到高清、流畅的体验，我们在三维重建、实时传输和渲染等环节进行了大量优化。目前系统三维重建图像PSNR可达到35dB以上，同时能够支持4K/60fps实时传输和90fps高帧率渲染，在保证图像细节的同时，让人物动作和视角变化更加流畅自然。”陈泽涛介绍。

目前，包括谷歌Beam在内的同类高端3D通信产品预估上市整体售价普遍达到数十万元，甬江实验室有望将系统成本降低至国际同类方案的五分之一以下。通过减少采集相机数量、采用消费级GPU以及对三维重建和渲染算法进行轻量化和工程优化，在保证体验的同时显著降低系统的硬件成本和部署门槛。陈泽涛相信，3D通信未来不只是少数高端场景才能使用的展示性技术，而是能够真正进入会议室、学校、家庭以及更多实际应用场景。

新型显示正成为智能消费的热点领域。今年7月，国务院批复《扩大消费“十五五”规划》，明确提出“推动人工智能与增强现实、虚拟现实、混合现实等技术融合，推出一批国际领先的智能消费品”。8月，工信部在国新办发布会上明确表示，“十五五”时期将持续推动新型显示等领域技术攻关突破，“加快产业自立自强”。

目前，陈泽涛团队正在与视频会议、新能源汽车、显示屏等领域多家企业接洽，探索将技术嵌入各类终端。“比如在远程教育中，老师可以通过三维影像更加立体地展示实验操作、模型结构等内容，异地学生无需佩戴头显，也能从不同视角观察教学对象，让远程课堂从‘观看视频’进一步走向更加直观、沉浸的学习体验。”团队展望道。

从十多年前昙花一现的3D电视，到如今Meta、苹果在VR/AR上的重金押注，新型显示产业几经沉浮。当AI技术深度介入，内容制作门槛、硬件成本、用户体验等痛点被逐一瓦解，中国不仅没有掉队，还在成本和技术两条战线上向行业最高水平发起了冲击。