资讯文章网站模板,教新手做网站难吗,南京专业做网站的公司有哪些,品牌网址#x1f56e; 目 录 Optical Neural Networks: Progress and Challenges一、摘要 (Abstract)二、引言 (Introduction)2.1 人工智能与神经网络的发展历程2.2 传统电子计算的瓶颈2.3 光学神经网络的兴起三、ONNs的原理 (Principle of ONNs)3.1 生物神经元模型与人工神经网络3.2 … 目 录Optical Neural Networks: Progress and Challenges一、摘要 (Abstract)二、引言 (Introduction)2.1 人工智能与神经网络的发展历程2.2 传统电子计算的瓶颈2.3 光学神经网络的兴起三、ONNs的原理 (Principle of ONNs)3.1 生物神经元模型与人工神经网络3.2 光学矩阵运算的实现四、非集成式ONNs (Non-integrated ONNs)4.1 基于4f系统的ONNs4.2 基于离散光学衍射元件的ONNs4.3 基于其他体光学元件的ONNs五、集成式ONNs (Integrated ONNs)5.1 基于片上MZI网格的ONNs5.2 基于片上MRR权重库的ONNs5.3 基于片上衍射超表面的ONNs5.4 基于其他片上光学元件的ONNs六、讨论 (Discussion)6.1 非集成式与集成式ONNs性能比较6.2 计算密度与计算容量6.3 非线性与可重构性6.4 可扩展性6.5 能效比较6.6 ONNs的应用七、结论 (Conclusion)八、关键术语表九、参考文献说明Optical Neural Networks: Progress and Challenges作者: Tingzhao Fu, Jianfa Zhang, Run Sun, Yuyao Huang, Wei Xu, Sigang Yang, Zhihong Zhu, Hongwei Chen期刊: Light: Science Applications (2024) 13:263DOI: https://doi.org/10.1038/s41377-024-01590-3发表时间: 2024年一、摘要 (Abstract)人工智能由于大数据资源、先进算法和高性能电子硬件的辅助已在各行各业普及。然而传统计算硬件在实施复杂任务时效率低下很大程度上是因为其计算架构中的存储器和处理器是分离的在计算速度和能耗方面表现不足。近年来光学神经网络Optical Neural Networks, ONNs凭借亚纳秒级延迟、低热耗散和高并行性等优势在光计算领域取得了一系列研究进展。ONNs有望为人工智能的进一步发展提供一种新型计算范式在计算速度和能耗方面提供支持。本文首先介绍了基于各种光学元件的ONNs的设计方法和原理然后依次回顾了由体光学元件组成的非集成式ONNs和由片上元件组成的集成式ONNs的研究进展最后总结和讨论了ONNs在计算密度、非线性、可扩展性和实际应用方面的特点并对ONNs未来发展趋势中的挑战和前景进行了评述。二、引言 (Introduction)2.1 人工智能与神经网络的发展历程人工智能AI已渗透到社会各个领域并取得了超越人类的成就。神经网络作为支撑AI发展的核心技术发挥着关键作用。神经网络发展时间线:1940年代: McCulloch和Pits提出了神经网络的工作原理和神经元结构1949年: Hebb系统地阐述了神经心理学理论1950年代: 讨论了AI发展的关键问题促进了神经网络关键技术和AI学科的建立1958年: Rosenblatt系统介绍了感知器的数学模型和工作原理为神经网络的进一步发展奠定了重要基础1986年: Rumelhart、Hinton和Williams提出了误差反向传播算法来训练多层感知器1990年: LeCun等人引入了基于反向传播算法的卷积神经网络2012年: Krizhevsky等人提出了深度卷积神经网络进一步提升了神经网络的推理能力2.2 传统电子计算的瓶颈半导体工艺技术的快速发展在过去十年中催生了许多比CPU性能更先进的电子计算硬件。然而物理极限: 半导体制造技术的加工精度已接近3nm尺寸已接近晶体管的物理极限量子隧穿效应: 如此小尺寸的晶体管极易受到量子隧穿和热效应的影响难以正常工作发展瓶颈: 通过提高半导体工艺的加工精度来获取更高计算能力将不可持续2.3 光学神经网络的兴起神经网络训练或推理阶段的大量矩阵运算可以等效为光的传播过程。由于光具有低延迟、低功耗、大带宽和并行信号处理的优势矩阵运算过程可以通过调制光传播过程中的光学特征量振幅、相位、偏振、角动量等来执行。ONNs发展历程中的里程碑:1960s-1970s: 光学信号检测和光信号传输的基础研究1985年: Farhat等人提出了Hopfield模型的光学实现方法1987年: Fisher等人提出了具有可变自适应学习能力的光学网络实现方法1989年: Caulfield等人系统介绍了ONNs指出ONNs源于传统光学信息处理与神经网络知识体系的相互渗透1990年: Psaltis等人介绍了使用光反应晶体在ONNs中实现非线性功能的方法1994年: Reck等人使用分束器和相移器等光学器件以级联方式实现了酉矩阵的运算功能2016年: Clements等人提出了基于马赫-曾德尔干涉仪MZI级联方法的矩阵分解方法Tait等人实现了微环谐振器MRR的波长滤波和功率分配三、ONNs的原理 (Principle of ONNs)3.1 生物神经元模型与人工神经网络神经网络是模仿人脑神经系统建立的数学模型。人工神经元实现的功能模拟了生物神经元中的树突、细胞核、轴突和突触的功能。人工神经元的基本组成:输入信号(Input): x₁, x₂, …, xₙ权重(Weights): w₁, w₂, …, wₙ - 控制输入信号重要性的参数偏置(Bias): b - 调整神经元激活难易程度的参数线性运算: Σ(wᵢxᵢ) b非线性激活函数(Activation Function): f(·)输出(Output): y f(Σ(wᵢxᵢ) b)3.2 光学矩阵运算的实现神经网络由许多相互连接的神经元组成这些神经元之间的连接称为权重。光学系统可以实现矩阵乘法功能不同光学系统的实现方法包括MZI网格(马赫-曾德尔干涉仪级联)MRR权重库(微环谐振器权重组)其他光学元件(衰减器阵列、衍射元件等)基于衍射元件的ONNsDONNs:输入层、隐藏层和输出层之间的神经元通过光的衍射连接隐藏层的训练参数通常是衍射层上亚波长结构的透射系数通过智能算法如前向传播、梯度下降、误差反向传播等在计算机上进行预训练四、非集成式ONNs (Non-integrated ONNs)4.1 基于4f系统的ONNs光学4f系统是一种典型的光学传输系统由两个焦距为f的透镜组成可以实现输入光场的傅里叶变换。关键研究进展:年份研究者贡献2018Chang等人提出了基于4f系统的光学卷积神经网络OCNNs方案在傅里叶平面放置相位掩模实现卷积核功能2019Yan等人在4f系统的傅里叶平面放置衍射深度神经网络D2NN通过引入光非线性激活函数提高分类准确性和鲁棒性2019Zou等人使用空间光调制器SLM和傅里叶透镜完成输入信号加载和权重矩阵构建实现实时可编程矩阵运算2020Miscuglio等人提出大规模并行纯振幅傅里叶神经网络引入千赫兹快速可编程高分辨率数字微镜器件DMDs4.2 基于离散光学衍射元件的ONNs衍射深度神经网络D2NN:2018年: Lin等人提出了全光学深度学习框架神经网络由多层衍射表面物理形成衍射表面由衍射单元组成每个衍射单元被称为DONNs中的一个隐藏层衍射单元的功能是改变光通过后的相位差可使用3D打印技术制造衍射表面获得DONNs的物理实现器件关键公式:衍射单元的厚度与相位差值的关系h λφ / (2πΔn)其中h: 衍射单元厚度λ: 自由空间中光的波长φ: 相位差值可训练参数Δn: 3D打印材料与空气之间的折射率差后续发展:2021年: Zhou等人提出了可重构衍射处理单元DPU可构建光电融合计算架构2022年: Liu等人设计了基于信息超表面的可编程DONN可通过FPGA实时控制每个神经元的幅度和相位系数4.3 基于其他体光学元件的ONNs其他体光学元件包括普通单模光纤、色散光纤、调制器、衰减器、滤波器、带可饱和吸收体的法布里-珀罗激光器、偏振分束器、波分复用WDM系统等。重要研究:2012年: Duport等人首次基于单模光纤、半导体光放大器SOA、可调光衰减器、延迟环、带通滤波器等实现了全光学储备池计算的实验演示2021年: Stelzer等人构建了单神经元的计算功能通过连续迭代重构单神经元参数实现任意规模的深度神经网络2021年: Xiang等人设计了基于垂直腔面发射激光器VCSEL-SA和垂直腔半导体光放大器VCSOA的光子神经元和突触构建了全光学脉冲神经网络SNN2021年: Xu等人采用时分波分交织方法设计了通用光学矢量卷积加速器计算速度超过10 TOPS每秒万亿次运算五、集成式ONNs (Integrated ONNs)随着先进半导体工艺技术的辅助小型化成为ONNs发展的重要趋势。与体光学元件构建的ONNs相比片上集成ONNs具有高计算密度、便携性和稳定性等优势。5.1 基于片上MZI网格的ONNs光的传播是矩阵运算的自然过程。关键进展:1994年: Reck等人使用传统体光学元件分束器和相移器对酉矩阵运算进行了实验验证2016年: Clements等人提出了优化的矩阵分解方法使光学元件在实现矩阵分解方面更高效同年Ribeiro等人通过级联片上MZI实现了可重构4×4维矩阵重要研究:年份研究者贡献2017Shen等人通过级联56个MZI设计了4×4维ONN在硅基衬底上完成ONN芯片制造元音识别数据集盲测准确率达76.7%2018Hughes等人提出了片上ONNs的片上训练方法采用伴随变量方法实现梯度推导和误差反向传播从离线训练发展到片上在线训练2021Zhang等人利用光的相位和幅度进行ONNs训练可调变量翻倍在逻辑门运算、IRIS数据集分类、MNIST手写数字识别等任务中表现更优2022Zhu等人引入可实现傅里叶变换和逆变换的集成衍射元件提高ONNs运算过程中解析的矩阵维度降低计算能耗5.2 基于片上MRR权重库的ONNsMRR微环谐振器具有滤波功能可以调节不同波长的光功率。关键进展:2016年: Tait等人对MRR权重库进行了详细研究包括MRR原理、互信道串扰及其设计方法2017年: Tait等人使用MRR权重库配置ONNs的连接权重证明了硅光电路与连续神经网络模型之间的数学同构性2018年: Tait等人研究了MRR的制造工艺和热敏性挑战提供了一种反馈权重控制方法重要研究:2019年: Feldmann等人基于MRR和相变材料PCM设计了脉冲全光学突触系统避免了传统计算架构中存储器和处理器物理分离的问题2021年: Feldmann等人进一步在氮化硅平台上设计制造了集成光子处理器以全光学方式并行实现传统卷积核的处理功能运行速度可达每秒万亿次运算2021年: Huang等人基于SOI平台的MRR权重库设计制造了片上ONN用于辅助电子硬件系统完成海底光纤链路中的非线性补偿2022年: Ohno等人提出了基于MRR权重库的交叉阵列框架支持片上ONNs参数的在线训练2023年: Bai等人使用集成光频梳、MRR权重库和硅基螺旋波导延迟线设计了片上ONN系统计算密度可达约1.04 TOPS/mm²2023年: Cheng等人设计了基于微梳和MRR权重库的微梳驱动集成ONN可执行张量卷积运算完成人类情感识别6种情感盲测准确率78.5%潜在吞吐量达51.2 TOPS5.3 基于片上衍射超表面的ONNs超表面的巧妙设计理论上可以实现对反射/折射光束波前的任意控制。重要研究:2021年: Goi等人选择近红外波长785 nm使用CMOS芯片作为衬底通过双光子纳米光刻技术制造了高神经元密度的集成DONN。每平方厘米可集成约5亿个神经元2022年: Luo等人选择可见光波长532 nm在CMOS芯片衬底上制造了可在可见光环境下执行多通道传感和多任务的集成DONN。该CMOS芯片上每平方毫米可集成约6.25×10¹⁶个神经元2020年: Zarei等人使用SOI平台上的亚波长矩形槽设计了由衍射金属线组成的片上DONN计算速度约1.2×10¹⁶次乘累加运算每秒2021年: Fu等人开发了片上集成二维空间电磁传播模型和权重映射模型可通过计算机完成片上DONN的参数训练2023年: Fu等人基于前期理论探索制造了片上DONN并提出了基于粒子群算法的误差补偿原位训练方案2022年: Wang等人通过将两个相同的亚波长衍射单元组合为新的计算单元减少了相邻亚波长衍射单元之间的相互干扰5.4 基于其他片上光学元件的ONNs其他可构建ONNs的片上光学元件包括单模波导、多模干涉仪、相移器、衰减器、探测器、三维集成波导等。重要研究:2020年: Qu等人提出了基于光散射单元的光学随机架构采用逆向设计方法优化光散射单元参数在MNIST数据集上实现97.1%的预测准确率2020年: Moughames等人利用双光子聚合打印技术制造了片上三维集成低损耗光子波导阵列每立方毫米可集成约2200个神经元2022年: Ashtiani等人提出并制造了基于衰减器和探测器等片上光子器件的硅基集成系统可逐步执行ONNs的推理功能2023年: Dong等人提出了三维数据处理方法引入射频调制光子信号以增加并行性在片上ONNs中增加输入维度并行度达100个数量级六、讨论 (Discussion)6.1 非集成式与集成式ONNs性能比较特性非集成式ONNs集成式ONNs组成4f系统、衍射元件、体光学元件MZI网格、MRR权重库、衍射超表面等可重构性可实现通过SLM、DMD等设备可实现计算容量大如Lin等人的D2NN中等误差累积离散元件对准校准存在不可避免误差随层数增加累积CMOS工艺有效解决对准误差问题非线性已实现光学非线性已实现光学非线性可扩展性难以大规模实现大规模、低成本处理条件通用性难以实现现实可行适用场景特定全息成像、传感光计算等专用应用通用计算6.2 计算密度与计算容量计算密度: 指每平方毫米/厘米每秒可完成的运算次数。计算容量: 指ONNs一次能处理的最大矩阵维度。计算密度与ONNs神经元计算单元的集成度显著相关计算单元集成度越高计算密度越高集成式ONNs的计算密度通常高于非集成式ONNs计算容量方面集成式ONNs不一定比非集成式ONNs有更大的计算容量基于4f系统的ONNs的计算容量与傅里叶平面上掩模计算/调制单元的集成度相关6.3 非线性与可重构性非线性实现:非集成式和集成式ONNs均可实现非线性大多数能实现非线性的ONNs规模相对较小大规模ONNs必须考虑非线性层引入的光功率衰减可重构性:非集成式ONNs通常通过SLM和DMD等设备构建但难以在这些设备上实现光学非线性未来超表面可能同时解决ONNs的可重构性、非线性和插入损耗问题集成式ONNs通常通过片上MZI、MRR、热/电光相移器和衰减器构建采用非易失性PCM单元可赋予ONNs可重构和非线性功能6.4 可扩展性非集成式ONNs的可扩展性不如集成式ONNs因为其尺寸大且由分立器件组成。集成式ONNs的可扩展性可从以下方面讨论信号并行输入维度的限制: 除基于CMOS芯片衬底设计的ONNs外其他集成式ONNs的输入维度极低少于10个输入波导单个集成ONNs中计算单元的可扩展性: 基于MZI网格或MRR权重库的片上ONNs在计算单元运行时需要额外能量供应难以在高速情况下同步调制阻碍大规模扩展片上DONN由于计算单元由亚波长衍射结构组成可扩展性优于其他片上ONNs片上ONNs级联的可扩展性: 目前所有片上ONNs在级联方式上均未实现良好的可扩展性电子电路可能需要辅助实现6.5 能效比较ONNs的计算过程在光传播过程中完成因此其运行能效可设计得非常出色。不同计算架构的能效比较:工作技术理论能效 (TOPS/W)Zhou等人 (2021)带可重构DPU的多平面光转换0.71Shen等人 (2017)相干MZI网格6.67Feldmann等人 (2021)基于WDM系统和PCM单元的光子存内计算0.50Ashtiani等人 (2022)基于集成衰减器2.90Xu等人 (2024)基于集成亚波长衍射单元和MZI网格160.82华为Ascend 910-1.65NVIDIA Tesla T4-1.85Google TPU-4.65一些ONNs的能效优于现有先进计算硬件优化后的片上ONN架构在能效方面的优势将更加突出。6.6 ONNs的应用目前ONNs的应用不如其电子同类产品广泛大多数研究工作仍集中于处理简单数据集。实际应用案例:海底光纤通信: Huang等人将片上集成ONNs应用于海底光纤通信链路中的非线性补偿边缘计算: Sludds等人开发了基于光子深度学习的边缘计算架构Netcast工业产品:Lightmatter公司发布了Envise和Passage系列产品综合考虑软硬件协同和能耗Lightelligence公司发布了光子算术计算引擎PACE在PACE光子芯片中集成超过10,000个分立光子器件系统时钟1 GHz光电混合框架:ONNs难以独立完成推理任务而不借助电子计算硬件。在光电混合框架中ONNs作为光电混合系统中的光学加速器以光速高效处理大量线性矩阵运算承担主要计算工作电子辅助硬件负责实现ONNs的参数重构处理ONNs难以实现的非线性运算、数据存储和流控制结合电子硬件和ONNs的优势光电混合系统在能耗、计算容量、计算速度等方面将优于传统电子方法七、结论 (Conclusion)本文综述了光学神经网络ONNs的发展历程、设计原理、技术分类和性能特点首先介绍了ONNs的发展历史包括光学人工神经元的数学模型以及实现光矩阵运算的各种光学元件之间的区别系统回顾了ONNs的发展涵盖非集成式ONNs和集成式ONNs基于七种不同光学元件的研究进展并详细介绍了典型研究工作在讨论部分对不同ONNs的性能进行了评分和分析包括计算密度、计算容量、可重构性、非线性和可扩展性讨论了各种ONNs可能遇到的挑战并对其未来应用和发展趋势进行了展望未来展望:需要持续优化ONNs系统的架构或混合框架以获得更好的性能在信息处理、医疗诊断、航空航天等某些专用领域ONNs可能比电子同类产品取得更出色的成果在构建ONNs应用生态系统方面可能面临挑战包括软件、硬件、协议、光算法、行业标准、制造工艺等方面八、关键术语表英文缩写英文全称中文翻译ONNOptical Neural Network光学神经网络DONNDiffractive Optical Neural Network衍射光学神经网络MZIMach-Zehnder Interferometer马赫-曾德尔干涉仪MRRMicroring Resonator微环谐振器DMDDigital Micromirror Device数字微镜器件SLMSpatial Light Modulator空间光调制器PCMPhase Change Material相变材料WDMWavelength Division Multiplexing波分复用CMOSComplementary Metal-Oxide-Semiconductor互补金属氧化物半导体SOISilicon-on-Insulator绝缘体上硅VCSELVertical-Cavity Surface-Emitting Laser垂直腔面发射激光器TOPSTrillion Operations Per Second每秒万亿次运算AIArtificial Intelligence人工智能DPUDiffractive Processing Unit衍射处理单元FPGAField-Programmable Gate Array现场可编程门阵列九、参考文献说明本文共引用160篇参考文献涵盖了光学神经网络从基础理论到最新进展的各个方面。主要引用文献涉及神经网络理论基础McCulloch, Hebb, Rosenblatt, Rumelhart等光学计算和光学神经网络早期研究Farhat, Psaltis, Caulfield等现代集成光学神经网络研究Shen, Feldmann, Hughes等衍射光学神经网络Lin, Zhou, Fu等光子脉冲神经网络Xiang, Huang等存内计算和光子张量核心Feldmann, Dong等超级学长科研实验室简介工程光学、物理光学、智能优化算法、信号处理、图像处理、机器视觉、深度学习、神经网络等领域实验搭建与实验数据分析等程序开发、光学相关实验开展、课题选题与科研/论文指导等均可私信交流。