文|新智元

編輯|張佳

神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)模型，廣泛用于機(jī)器人目標(biāo)識別、自然語言處理、藥物開發(fā)、醫(yī)學(xué)成像和驅(qū)動無人駕駛汽車等任務(wù)。使用光學(xué)現(xiàn)象加速計(jì)算的新型光學(xué)神經(jīng)網(wǎng)絡(luò)可以比其他電子對應(yīng)物更快、更有效地運(yùn)行。

但隨著傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和光學(xué)神經(jīng)網(wǎng)絡(luò)越來越復(fù)雜，它們消耗了大量的能量。為了解決這個問題，研究人員和包括谷歌、IBM和特斯拉在內(nèi)的主要科技公司開發(fā)了“人工智能加速器”，這是一種專門的芯片，可以提高培訓(xùn)和測試神經(jīng)網(wǎng)絡(luò)的速度和效率。

對于電子芯片，包括大多數(shù)人工智能加速器，有一個理論上的最低能耗限制。最近，MIT的研究人員開始為光神經(jīng)網(wǎng)絡(luò)開發(fā)光子加速器。這些芯片執(zhí)行數(shù)量級的效率更高，但它們依賴于一些體積龐大的光學(xué)元件，這些元件限制了它們在相對較小的神經(jīng)網(wǎng)絡(luò)中的使用。

在《物理評論X》上發(fā)表的一篇論文中，MIT的研究人員描述了一種新型光子加速器，它使用更緊湊的光學(xué)元件和光信號處理技術(shù)，以大幅降低功耗和芯片面積。這使得芯片可以擴(kuò)展到神經(jīng)網(wǎng)絡(luò)，比對應(yīng)的芯片大幾個數(shù)量級。

比傳統(tǒng)電子加速器的能耗極限低1000萬倍以上

神經(jīng)網(wǎng)絡(luò)在MNIST圖像分類數(shù)據(jù)集上的模擬訓(xùn)練表明，加速器理論上可以處理神經(jīng)網(wǎng)絡(luò)，比傳統(tǒng)電子加速器的能耗極限低1000萬倍以上，比光子加速器的能耗極限低1000倍左右。研究人員現(xiàn)在正在研制一種原型芯片來實(shí)驗(yàn)證明這一結(jié)果。

“人們正在尋找一種能夠計(jì)算出超出基本能耗極限的技術(shù)，”電子研究實(shí)驗(yàn)室的博士后RyanHamerly說：“光子加速器是很有前途的……但我們的動機(jī)是建造一個（光子加速器）可以擴(kuò)展到大型神經(jīng)網(wǎng)絡(luò)?！?/p>

這些技術(shù)的實(shí)際應(yīng)用包括降低數(shù)據(jù)中心的能耗?！皩τ谶\(yùn)行大型神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中心的需求越來越大，而且隨著需求的增長，它越來越難以計(jì)算，”合著者、電子研究實(shí)驗(yàn)室的研究生Alexander Sludds說，其目的是“利用神經(jīng)網(wǎng)絡(luò)硬件滿足計(jì)算需求……以解決能源消耗和延遲的瓶頸”。

與Sludds和Hamerly合寫該論文的有：RLE研究生、聯(lián)合作者Liane Bernstein；麻省理工學(xué)院物理教授Marin Soljacic；一名麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)副教授Dirk Englund；一名RLE的研究員電子芯片，以及量子光子學(xué)實(shí)驗(yàn)室的負(fù)責(zé)人。

依賴于一種更緊湊、節(jié)能的“光電”方案

神經(jīng)網(wǎng)絡(luò)通過許多包含互聯(lián)節(jié)點(diǎn)（稱為“神經(jīng)元”）的計(jì)算層來處理數(shù)據(jù)，從而在數(shù)據(jù)中找到模式。神經(jīng)元接收來自其上游“鄰居”的輸入，并計(jì)算一個輸出信號，該信號被發(fā)送到下游更遠(yuǎn)的神經(jīng)元。每個輸入也被分配一個“權(quán)重”，一個基于其對所有其他輸入的相對重要性的值。隨著數(shù)據(jù)在各層中“深入”傳播，網(wǎng)絡(luò)逐漸學(xué)習(xí)更復(fù)雜的信息。最后，輸出層根據(jù)整個層的計(jì)算生成預(yù)測。

所有人工智能加速器的目標(biāo)都是減少在神經(jīng)網(wǎng)絡(luò)中的特定線性代數(shù)步驟（稱為“矩陣乘法”）中處理和移動數(shù)據(jù)所需的能量。在那里，神經(jīng)元和權(quán)重被編碼成單獨(dú)的行和列表，然后結(jié)合起來計(jì)算輸出。

在傳統(tǒng)的光子加速器中，脈沖激光編碼了一個層中每個神經(jīng)元的信息，然后流入波導(dǎo)并通過分束器。產(chǎn)生的光信號被送入一個稱為“Mach-Zehnder 干涉儀”的正方形光學(xué)元件網(wǎng)格中，該網(wǎng)格被編程為執(zhí)行矩陣乘法。干涉儀用每個重量的信息進(jìn)行編碼電子芯片，使用處理光信號和重量值的信號干擾技術(shù)來計(jì)算每個神經(jīng)元的輸出。但是有一個縮放問題：對于每個神經(jīng)元，必須有一個波導(dǎo)管，對于每個重量，必須有一個干涉儀。由于重量的數(shù)量與神經(jīng)元的數(shù)量成正比，那些干涉儀占用了大量的空間。

“你很快就會意識到輸入神經(jīng)元的數(shù)量永遠(yuǎn)不會超過100個左右，因?yàn)槟悴荒茉谛酒习惭b那么多的元件，”Hamerly說，“如果你的光子加速器不能每層處理100個以上的神經(jīng)元，那么很難將大型神經(jīng)網(wǎng)絡(luò)應(yīng)用到這種結(jié)構(gòu)中?！?/p>