清華大學(xué)在感算一體全光機(jī)器視覺研究領(lǐng)域取得新進(jìn)展

隨著傳感和計(jì)算模塊在邊緣基礎(chǔ)設(shè)施的廣泛部署，自然場(chǎng)景的高速感知、計(jì)算和重建至關(guān)重要。現(xiàn)有端側(cè)視覺智能大多為感算分離范式，即通過傳感器感知和采集光信號(hào)，轉(zhuǎn)換為電信號(hào)后進(jìn)行智能任務(wù)的計(jì)算。光和電之間的頻繁轉(zhuǎn)換，以及后摩爾時(shí)代電子計(jì)算性能發(fā)展趨勢(shì)的減緩，制約了端側(cè)智能處理的速度和帶寬。

針對(duì)邊緣系統(tǒng)面臨的感算瓶頸，清華大學(xué)電子工程系方璐課題組提出了面向自然場(chǎng)景的感算一體全光智能計(jì)算架構(gòu)，研制了并行化全光感算陣列芯片（optical parallel computational arraychip,OPCAchip），突破了非相干光場(chǎng)矩陣計(jì)算的難題，摒棄了“光感知-電計(jì)算”的感算分離范式，以“光入-光出”端到端的計(jì)算實(shí)現(xiàn)全光機(jī)器視覺，將非相干光場(chǎng)智能處理的速度提升至納秒量級(jí)，支持每秒千億像素規(guī)模的自然光場(chǎng)處理。

課題組刻畫了自然場(chǎng)景光信號(hào)與片上光場(chǎng)的調(diào)制關(guān)系，提出了非相干-相干全光乘加算子，建立了空譜域多維全光神經(jīng)網(wǎng)絡(luò)，突破了非相干光場(chǎng)智能感算難題，提出了全光片上諧振神經(jīng)元模型，研制了全光感算一體陣列芯片OPCA，支撐自然場(chǎng)景光場(chǎng)信號(hào)的并行感知與高速計(jì)算。在此基礎(chǔ)上，課題組構(gòu)建了多波長(zhǎng)全光神經(jīng)網(wǎng)絡(luò)，將感知、計(jì)算和重建融為一體，實(shí)現(xiàn)了端到端的全光編解碼和光場(chǎng)重建任務(wù)，在納秒時(shí)間尺度上可完成對(duì)自然場(chǎng)景的端到端重建。在視覺智能分類任務(wù)上，OPCA芯片實(shí)測(cè)響應(yīng)時(shí)間為6.0納秒、視覺處理帶寬達(dá)THz即每秒可處理千億像素規(guī)模，相比傳統(tǒng)相機(jī)采集、存儲(chǔ)、智能處理這一感算分離系統(tǒng)（響應(yīng)時(shí)間大多為毫秒量級(jí)、每秒處理億像素），速度提升6個(gè)數(shù)量級(jí)，帶寬提升2～3個(gè)數(shù)量級(jí)。

以O(shè)PCA芯片為代表的感算一體全光機(jī)器視覺，標(biāo)志著智能光計(jì)算技術(shù)向端側(cè)應(yīng)用領(lǐng)域的發(fā)展邁出了重要的一步。該芯片未來將與大規(guī)模智能光計(jì)算芯片集成，突破光電/電光轉(zhuǎn)換帶來的速度和功耗桎梏，實(shí)現(xiàn)從光感知到光處理的端到端全光智能感算。憑借其高速度、高帶寬的感算特性，有望為自動(dòng)駕駛、工業(yè)檢測(cè)、智能機(jī)器人、VR/AR等領(lǐng)域帶來性能的顛覆性突破，應(yīng)用前景廣闊。

近日，相關(guān)研究成果以“并行光子芯片實(shí)現(xiàn)納秒級(jí)端到端圖像處理、傳輸和重建”（Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction）為題，發(fā)表在《光學(xué)》（Optica）雜志上。

清華大學(xué)電子工程系為論文第一單位，電子工程系副教授方璐為論文通訊作者，電子工程系2020級(jí)博士生吳蔚、博士后周天貺（水木學(xué)者）為論文第一作者。研究得到科技部2030重大項(xiàng)目、國(guó)家自然科學(xué)基金委、中國(guó)科協(xié)、中國(guó)博士后基金、清華大學(xué)-之江實(shí)驗(yàn)室聯(lián)合研究中心等的支持。

論文鏈接：https://doi.org/10.1364/OPTICA.516241