清華大學研發無透鏡光電神經網絡，賦能機器視覺

據麥姆斯咨詢報道，近日，清華大學的一支研究團隊在Light: Science & Applications期刊上發表了應用于機器視覺的新型無透鏡光電神經網絡的最新論文，文中提出的無透鏡光電神經網絡在自動駕駛、智能家居、智能安防等實際場景中具有諸多的潛在應用。

圖1 無透鏡光電神經網絡（LOEN）

近年來，由于現代圖形處理單元（GPU）強大的處理能力和并行性的進步，基于卷積神經網絡（CNN）的深度學習（deep learning）得到了迅速發展，為人工智能（AI）應用中的各種問題提供了有效的解決方案，如圖像識別、物體分類、遙感、顯微術、自然語言處理、全息、自動駕駛、智能家居等。然而，盡管計算能力呈指數級增長，但視覺處理中涉及的海量數據限制了CNN在現場處理數據的便攜式、節能、計算效率高的硬件上的應用。

為了克服電子神經網絡的挑戰，人們已經在光學計算領域進行了一些研究。光學計算有許多吸引人的優點，例如光學并行性可以極大地提高計算速度，而光學無源性可以降低能耗并最小化延遲。

光學神經網絡（ONN）提供了一種提高計算速度和克服電子元件帶寬瓶頸的方法。ONN可分為衍射神經網絡（DNN）、相干神經網絡或尖峰神經突觸網絡。最近，用于機器視覺的無源ONN方案已經被提出，它可以執行全光推理和分類任務。由于其并行性和低能耗，ONN已成為電子神經網絡的替代品。然而，之前開發的ONN需要相干激光器作為計算光源，這在自然光場景中很難與成熟的機器視覺系統相結合。

為了進一步提高機器視覺任務的推理能力，人們提出了前端為光學、后端為電子的光電混合神經網絡?；谕哥R的光學架構主要完成傳統成像或執行一些網絡計算功能，例如基于傅里葉變換理論的卷積計算。這些基于透鏡的系統增加了其在自動駕駛車輛等邊緣設備中的使用難度。同時，圖像采集和圖像信號處理仍占光電混合神經網絡任務總能耗的主要部分。事實上，所有邊緣設備都將受益于更精簡的系統，從而減少尺寸、重量和功耗。

圖2 多卷積核LOEN系統的實驗結果

在本論文中，作者們提出了一種用于機器視覺的新型無透鏡光電神經網絡架構。該架構通過面向任務的神經網絡設計優化了無源光學掩模，使用無透鏡架構進行光學卷積計算，減少了器件尺寸和所需計算量。他們展示了系統使用多卷積核掩模的手寫數字分類任務的性能，其準確率高達97.21%。此外，他們優化了一個大型卷積核掩模來執行用于隱私保護的人臉識別的光學加密，從而獲得了與無加密方法相同的識別精度。與隨機最大長度序列（MLS）模式相比，提出方法的識別準確率提高了6%以上。

圖3 實現隱私保護人臉識別的大型卷積核LOEN系統原型

該論文提出的無透鏡光電神經網絡為將小尺寸、智能化和低能耗的新型解決方案應用于智能設備的視覺任務奠定了基礎。

這項研究工作得到了國家自然科學基金（62135009）和國家重點研發計劃（2019YFB1803500）的資助。

論文信息：
Shi, W., Huang, Z., Huang, H. et al. LOEN: Lensless opto-electronic neural network empowered machine vision. Light Sci Appl 11, 121 (2022).