帖子
勛章
關(guān)注
任務(wù)
研究人員開發(fā)出高效光學(xué)神經(jīng)網(wǎng)絡(luò) 洛桑聯(lián)邦理工學(xué)院（EPFL）的研究人員發(fā)布了一個可編程框架，該框架克服了基于光學(xué)的人工智能系統(tǒng)的一個關(guān)鍵計算瓶頸。在一系列圖像分類實(shí)驗(yàn)中，他們利用來自低功率激光器的散射光來執(zhí)行精確、可擴(kuò)展的計算，而使用的能量僅為電子設(shè)備的一小部分。  可編程框架 隨著數(shù)字人工智能系統(tǒng)的規(guī)模和影響不斷擴(kuò)大，訓(xùn)練和部署這些系統(tǒng)所需的能源也在增加，更不用說相關(guān)的碳排放了。最近的研究表明，如果目前的人工智能服務(wù)器生產(chǎn)繼續(xù)保持目前的速度，到 2027 年，其年能耗將超過一個小國的能耗。 受人腦架構(gòu)啟發(fā)的深度神經(jīng)網(wǎng)絡(luò)，由于在多層神經(jīng)元式處理器之間存在數(shù)百萬甚至數(shù)十億個連接，因此特別耗電。 為了應(yīng)對如雨后春筍般增長的能源需求，研究人員加倍努力實(shí)現(xiàn)光計算系統(tǒng)。這些系統(tǒng)依靠光子來處理數(shù)據(jù)，雖然理論上光可以比電子更快、更有效地進(jìn)行計算，但一個關(guān)鍵的挑戰(zhàn)阻礙了光學(xué)系統(tǒng)超越電子技術(shù)水平的能力。 Demetri Psaltis說：“我們的方法比最先進(jìn)的深度數(shù)字網(wǎng)絡(luò)省電多達(dá) 1000 倍，是實(shí)現(xiàn)光神經(jīng)網(wǎng)絡(luò)的一個前景廣闊的平臺。為了對神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行分類，每個節(jié)點(diǎn)或'神經(jīng)元'都必須根據(jù)加權(quán)輸入數(shù)據(jù)做出是否啟動的決定”。洛桑聯(lián)邦理工學(xué)院工程學(xué)院應(yīng)用光子器件實(shí)驗(yàn)室主任Christophe Moser說：“這一決定會導(dǎo)致所謂的數(shù)據(jù)非線性轉(zhuǎn)換，即輸出與輸入不成正比。" Moser解釋說，雖然數(shù)字神經(jīng)網(wǎng)絡(luò)可以通過晶體管輕松實(shí)現(xiàn)非線性變換，但在光學(xué)系統(tǒng)中，這一步驟需要非常強(qiáng)大的激光器。 Moser與學(xué)生 Mustafa Yildirim、Niyazi Ulas Dinc 和 Ilker Oguz 以及光學(xué)實(shí)驗(yàn)室負(fù)責(zé)人 Demetri Psaltis 合作，開發(fā)出了一種以光學(xué)方式執(zhí)行這些非線性計算的節(jié)能方法。 他們的新方法包括在低功率激光束的空間調(diào)制中對數(shù)據(jù)（如圖像的像素）進(jìn)行編碼。光束會多次反射回自身，從而實(shí)現(xiàn)像素的非線性倍增。 Psaltis說：“我們在三個不同數(shù)據(jù)集上進(jìn)行的圖像分類實(shí)驗(yàn)表明，我們的方法具有可擴(kuò)展性，比最先進(jìn)的深度數(shù)字網(wǎng)絡(luò)省電1000倍，是實(shí)現(xiàn)光學(xué)神經(jīng)網(wǎng)絡(luò)的一個前景廣闊的平臺�！� 這項(xiàng)研究最近發(fā)表在《自然·光子學(xué)》（Nature Photonics）上。  光學(xué)處理器的核心。 簡單的結(jié)構(gòu)解決方案 在自然界中，光子之間并不像帶電電子那樣直接相互作用。因此，為了在光學(xué)系統(tǒng)中實(shí)現(xiàn)非線性變換，科學(xué)家們不得不 "迫使 "光子間接地相互作用，例如使用足夠強(qiáng)的光來改變其穿過的玻璃或其他材料的光學(xué)特性。 科學(xué)家們采用了一種非常簡單的方法來解決對高功率激光的需求：他們在低功率激光束表面對圖像像素進(jìn)行空間編碼。通過調(diào)整光束在編碼器中的軌跡，進(jìn)行兩次編碼，像素就會乘以它們自己，即平方。 由于平方是一種非線性變換，因此這種結(jié)構(gòu)上的改變實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)計算所必需的非線性，而所需的能量成本卻很低。這種編碼可以進(jìn)行兩次、三次甚至十次，從而提高變換的非線性和計算的精確度。 Psaltis說：“我們估計，使用我們的系統(tǒng)，光學(xué)計算乘法所需的能量要比電子系統(tǒng)少八個數(shù)量級。” Moser 和 Psaltis 強(qiáng)調(diào)，他們的低能耗方法的可擴(kuò)展性是一大優(yōu)勢，因?yàn)樽罱K目標(biāo)是使用電子-光學(xué)混合系統(tǒng)來降低數(shù)字神經(jīng)網(wǎng)絡(luò)的能耗。 然而，要實(shí)現(xiàn)這種可擴(kuò)展性，還需要進(jìn)一步的工程研究。例如，由于光學(xué)系統(tǒng)使用的硬件與電子系統(tǒng)不同，研究人員下一步已經(jīng)著手開發(fā)一種編譯器，將數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)換成光學(xué)系統(tǒng)可以使用的代碼。 相關(guān)鏈接：https://phys.org/news/2024-08-energy-efficient-optical-neural-networks.html 論文鏈接：https://dx.doi.org/10.1038/s41566-024-01494-z |
最新評論
