纳米光子处理器+光学相机:AI能效提升新路径

MEMS

4天前

通过将部分电子计算转移到光速层,我们开发出能光学执行复杂计算的新型视觉系统,”团队成员FelixHeide教授解释,“其识别速度比传统硬件快200倍以上,且光驱设计大幅降低功耗。

随着高性能人工智能(AI)需求激增,用光子计算替代传统电子计算成为研究热点。光学计算有望将AI的运算吞吐量、速度和能效提升数个量级。但前提是光学神经网络需达到与电子神经网络相当的识别精度。

华盛顿大学和普林斯顿大学的研究团队开发了一种纳米光子神经网络,试图突破这一限制。

光学计算与相机合二为一

研究团队将并行光学计算嵌入仅4毫米厚的平面相机光学元件中。该相机在图像捕获时直接完成神经网络计算,无需依赖传感器记录后的处理。他们通过低维度参数化方法设计了空间变化的卷积网络,并将其集成到相机镜头内的纳米光子阵列中,利用角度依赖响应实现计算。

图片

图中所示的紧凑型照相机原型利用光学技术进行计算,大大降低了功耗,使照相机能够以光速识别物体。

该系统的图像分类准确率在CIFAR-10数据库达到72.76%,在ImageNet(1000类)达到48.64%,缩小了光子AI与电子AI的差距,同时无需定制光学元件即可泛化至多种视觉任务。

“这是一种彻底颠覆传统光学设计的新思路。”项目负责人Arka Majumdar教授表示,“我们采用端到端设计,将光学元件与计算模块协同优化,用工程化光学元件替代传统镜头,将大量计算任务前置到光学层。”

应用场景:自动驾驶、医疗与智能手机

这种光学系统既是光子加速器,也是超紧凑计算相机。其原型使用50个超构表面(可操控光的超薄平面光学元件)阵列代替传统镜头,每个超构表面既捕捉物体特征,又充当光学神经网络。

图片

该相机的光学元件不是使用传统的玻璃或塑料制成的相机镜头,而是依靠 50 层金属超构透镜。如图所示,这些金属超构透镜安装在一个小巧的光学计算芯片中。

“通过将部分电子计算转移到光速层,我们开发出能光学执行复杂计算的新型视觉系统,”团队成员Felix Heide教授解释,“其识别速度比传统硬件快200倍以上,且光驱设计大幅降低功耗。”

目前,该技术仍处于实验室阶段,但团队计划进一步优化原型,使其适用于自动驾驶导航、复杂数据集处理和目标检测(如图像中定位物体)。

“这项研究可能在自动驾驶汽车、机器人、医疗设备和智能手机中产生广泛影响。”Heide补充道,“虽然尚处早期,但我们已迈出了关键一步。”

延伸阅读:
《光学和射频领域的超构材料和超构表面-2024版》
《光学和射频应用的超构材料-2024版》
《超构透镜(Metalens)专利态势分析-2024版》

通过将部分电子计算转移到光速层,我们开发出能光学执行复杂计算的新型视觉系统,”团队成员FelixHeide教授解释,“其识别速度比传统硬件快200倍以上,且光驱设计大幅降低功耗。

随着高性能人工智能(AI)需求激增,用光子计算替代传统电子计算成为研究热点。光学计算有望将AI的运算吞吐量、速度和能效提升数个量级。但前提是光学神经网络需达到与电子神经网络相当的识别精度。

华盛顿大学和普林斯顿大学的研究团队开发了一种纳米光子神经网络,试图突破这一限制。

光学计算与相机合二为一

研究团队将并行光学计算嵌入仅4毫米厚的平面相机光学元件中。该相机在图像捕获时直接完成神经网络计算,无需依赖传感器记录后的处理。他们通过低维度参数化方法设计了空间变化的卷积网络,并将其集成到相机镜头内的纳米光子阵列中,利用角度依赖响应实现计算。

图片

图中所示的紧凑型照相机原型利用光学技术进行计算,大大降低了功耗,使照相机能够以光速识别物体。

该系统的图像分类准确率在CIFAR-10数据库达到72.76%,在ImageNet(1000类)达到48.64%,缩小了光子AI与电子AI的差距,同时无需定制光学元件即可泛化至多种视觉任务。

“这是一种彻底颠覆传统光学设计的新思路。”项目负责人Arka Majumdar教授表示,“我们采用端到端设计,将光学元件与计算模块协同优化,用工程化光学元件替代传统镜头,将大量计算任务前置到光学层。”

应用场景:自动驾驶、医疗与智能手机

这种光学系统既是光子加速器,也是超紧凑计算相机。其原型使用50个超构表面(可操控光的超薄平面光学元件)阵列代替传统镜头,每个超构表面既捕捉物体特征,又充当光学神经网络。

图片

该相机的光学元件不是使用传统的玻璃或塑料制成的相机镜头,而是依靠 50 层金属超构透镜。如图所示,这些金属超构透镜安装在一个小巧的光学计算芯片中。

“通过将部分电子计算转移到光速层,我们开发出能光学执行复杂计算的新型视觉系统,”团队成员Felix Heide教授解释,“其识别速度比传统硬件快200倍以上,且光驱设计大幅降低功耗。”

目前,该技术仍处于实验室阶段,但团队计划进一步优化原型,使其适用于自动驾驶导航、复杂数据集处理和目标检测(如图像中定位物体)。

“这项研究可能在自动驾驶汽车、机器人、医疗设备和智能手机中产生广泛影响。”Heide补充道,“虽然尚处早期,但我们已迈出了关键一步。”

延伸阅读:
《光学和射频领域的超构材料和超构表面-2024版》
《光学和射频应用的超构材料-2024版》
《超构透镜(Metalens)专利态势分析-2024版》

展开
打开“财经头条”阅读更多精彩资讯
APP内打开