南京大学胡伟团队：如何让光学图像处理从“单功能”走向“多模态”？| 激光与光电子学进展·封面

封面解读

封面展示了多模态光学图像处理的概念图。画面左侧的两束光分别代表基于动态可调谐材料和光场自由度复用的两种核心光学图像处理技术路径。中间器件上的两个圆形功能模块展示了两种技术路径不同的工作机制：动态可调谐材料技术路径通过外场刺激重构器件的光学响应；光场自由度复用技术路径则将不同图像处理功能编码到不同自由度通道中。画面右侧发散光束上呈现出的图像反映了器件可执行的多种图像处理功能，如明场成像、边缘检测和特征提取等。

全文链接：苏李彤, 谢志耀, 胡伟. 多模态光学图像处理：动态调控与光场自由度复用（特邀）[J]. 激光与光电子学进展, 2026, 63(12): 1200001.

01

研究背景

随着人工智能、大数据和智能感知技术的快速发展，图像与视频数据呈爆发式增长。自动驾驶、医疗影像、无人机系统以及智能终端等应用场景，对图像信息处理的实时性、吞吐量和能效提出了更高要求。

在面对海量数据处理时，相比依赖电子计算的传统数字图像处理技术存在的功耗、数据传输和存算分离架构的限制，光学计算能够利用光的天然并行性直接完成图像处理运算，具有超高速、低功耗和高吞吐量等显著优势。但传统光学图像处理器件通常只能执行单一功能，难以满足复杂场景下多任务协同处理的需求，故多模态光学图像处理技术应运而生，如图1所示。该技术旨在通过同一光学平台实现多种图像处理功能的动态切换与并行执行，为下一代智能感知与光计算系统提供新的解决方案。

图1 多模态光学图像处理技术

南京大学胡伟教授团队系统综述了模拟光学图像处理的基本原理，重点总结了基于动态可调谐材料和光场自由度复用的多模态光学图像处理技术。最后，分析了多模态光学图像处理面临的挑战，并展望了其未来的发展趋势与应用前景。

02

模拟光学图像处理基本原理

模拟光学图像处理利用光场传播过程中的物理规律，在光学域直接完成数学运算，无需模数转换和电子参与。其本质可理解为输入图像与系统点扩散函数之间的卷积运算，在频域中则表现为图像频谱与系统传递函数之间的相互作用。

根据实现方式不同，模拟光学图像处理主要分为频域滤波和空间域滤波两类，如图2所示：频域滤波通常基于经典4f 光学系统，通过傅里叶变换实现频谱调控；空间域滤波则直接在实空间对光场进行调制，无需频域转换，具有结构紧凑、易于集成等优势。近年来，超表面、液晶、光子晶体等新型光学器件的发展，进一步推动了模拟光学图像处理向小型化和集成化方向演进。

图2 模拟光学图像处理的基本原理。（a）4f系统示意图；（b）空间域滤波示意图

03

动态可调谐材料赋能可重构图像处理

为了突破传统静态光学器件功能固定的限制，研究人员通过引入能够响应电场、热场和光场刺激的动态可调谐材料，来实现图像处理功能的实时切换与重构，为构建高灵活度、高集成度的光计算平台奠定了重要基础，如图3所示。

图3 动态可调谐材料赋能多模态光学图像处理。（a）基于液晶的可重构图像处理；（b）基于相变材料的可重构图像处理

液晶材料凭借分子排列可连续可逆调控的特性，能够灵活操控光场的振幅、相位和偏振状态，已被广泛应用于宽带多阶微分、颜色选择性边缘检测与方向选择性图像增强等功能器件中。相变材料则利用不同相态之间显著的光学性质差异实现功能重构，典型代表包括锗锑碲类材料和二氧化钒等：前者具备非易失性存储特性；后者则能够实现动态切换，可用于可重构超表面，进一步实现多模态光学图像处理的功能。

04

光场自由度复用实现多任务并行处理

光场本身所具有的传播角度、偏振和波长等自由度，也为多模态图像处理提供了新的实现途径，如图4所示：角度复用技术通过设计角度依赖响应，使同一器件在不同入射方向下执行不同图像处理任务，实现边缘增强、多阶微分和明场成像等功能的并行输出；偏振复用利用正交偏振态之间天然互不干扰的特点，在不同偏振通道中加载不同运算功能，可实现边缘检测、积分和降噪等多种处理模式的同步运行；波长复用则借助光学结构的色散特性，使不同波长对应不同的图像处理功能，实现多任务并行计算与信息复用。

图4 光场自由度复用赋能多模态光学图像处理。（a）基于角度复用的光学图像处理；（b）基于偏振复用的光学图像处理；（c）基于波长复用的光学图像处理

通过充分挖掘光场的多维信息承载能力，自由度复用技术能够在不显著增加系统复杂度的情况下，大幅提升功能密度和处理效率，为超薄化、集成化光计算系统的发展提供了重要方向。

05

发展趋势与展望

虽然多模态光学图像处理已取得显著进展，但是其实际应用仍面临多项挑战，包括多功能集成与系统性能之间的平衡、多通道复用带来的串扰问题，以及大规模集成制造与光电协同设计等关键技术难题。

未来，多自由度协同复用、动态调控与自由度复用技术融合，以及光电混合计算架构将成为重要发展方向。利用光学前端完成高速并行预处理，结合电子后端实现高精度推理，有望显著提升整体计算效率和系统智能化水平。

随着相关材料、器件与系统技术的持续突破，多模态光学图像处理将在自动驾驶、生物医学成像、智能感知和边缘计算等领域中展现广阔应用前景，并有望成为下一代光计算与智能信息处理的重要技术基础。

苏李彤，南京大学现代工程与应用科学学院博士生，研究方向为液晶光场调控技术、光计算，以第一作者发表学术论文2篇。

胡伟，南京大学现代工程与应用科学学院教授、博士生导师，基金委优秀青年基金获得者。专注于液晶光子学研究，在Nature子刊、Phys. Rev. Lett.、Sci. Adv.、 Adv. Mater. 等期刊发表论文200余篇，被引9000余次，h-index 54（Google Scholar）。研究成果荣获江苏省科学技术一等奖（2020、2024），中国光学工程学会科学技术一等奖（2023），中国光学十大进展（2018、2019）等。

科学编辑 | 苏李彤

编辑 | 贾文斌

推荐阅读：

1.清华大学、香港理工大学、复旦大学、北京理工大学等多家单位颜色光学与视觉光学方向研究成果及进展 | “颜色光学与视觉光学”专题

2.中国科学院上海高等研究院、高能物理研究所、中国科学技术大学、上海交大、北工大等最新进展 | “大科学装置X射线成像与应用”专题

3.香港城市大学、北京大学、浙江大学、哈尔滨工业大学等单位生物医学光学诊断技术相关成果及进展 | “先进生物医学光学诊断技术”专题