Perception的Ergo 2芯片現(xiàn)在為變壓器提供硬件支持。

　　從Xperi分離出來的AI芯片初創(chuàng)公司Perception發(fā)布了第二款芯片，該芯片為變壓器提供了硬件支持，包括邊緣的大型語言模型(LLM)。該公司在 CES 2023 上通過 RoBERTa(一個具有 1.1 億個參數(shù)的變壓器網(wǎng)絡(luò))在其 Ergo 2 芯片上展示了句子完成。

　　爾格 2 采用與 原版爾格，但提供大約 4× 的性能。這種性能提升轉(zhuǎn)化為具有超過 1 億個參數(shù)的變壓器的邊緣推理、更高幀速率的視頻處理或一次推理多個大型神經(jīng)網(wǎng)絡(luò)。例如，YoloV5-S 推理在爾格 2 上最多可以每秒運(yùn)行 115 個推理;YoloV5-S 以每秒 30 張圖像的速度進(jìn)行推理僅需 75 mW。典型應(yīng)用的功耗低于 100 mW，或最高可達(dá) 200 mW。

　　爾格2的性能與爾格相比。爾格將繼續(xù)可用，因為芯片適合略有不同的功率配置文件(來源：感知)

　　Perception的神經(jīng)網(wǎng)絡(luò)加速方法利用了專有的模型壓縮技術(shù)，結(jié)合神經(jīng)網(wǎng)絡(luò)的不同數(shù)學(xué)表示，以及兩者的硬件加速。

　　“我們技術(shù)的核心是認(rèn)真壓縮的原則方法，”Perception首席執(zhí)行官Steve Teig告訴EE Times。“這意味著有一個數(shù)學(xué)上嚴(yán)格的策略來辨別計算的意義，并在以新的方式表示神經(jīng)網(wǎng)絡(luò)的同時保留這種意義。

　　史蒂夫·泰格(來源：感知)

　　Teig說，使用Perception今天使用的壓縮方案，通?？梢詫δＰ瓦M(jìn)行50-100×壓縮。

　　“我們認(rèn)為學(xué)習(xí)和壓縮實(shí)際上是一回事，”他說?！斑@兩項任務(wù)都在數(shù)據(jù)中找到結(jié)構(gòu)并加以利用。您可以壓縮可壓縮數(shù)據(jù)的唯一原因是因為它是結(jié)構(gòu)化的——隨機(jī)數(shù)據(jù)是不可壓縮的......如果你可以利用這種結(jié)構(gòu)，你就可以使用更少的內(nèi)存位。

　　Perception正在使用信息論來找到這種結(jié)構(gòu) - 特別是對于激活 - 因為它是激活而不是權(quán)重主導(dǎo)當(dāng)今大多數(shù)神經(jīng)網(wǎng)絡(luò)的內(nèi)存足跡。感知壓縮激活，以最大程度地減少存儲激活所需的內(nèi)存。如果直接計算壓縮激活不方便，則可以在需要時解壓縮它們，根據(jù)神經(jīng)網(wǎng)絡(luò)的不同，這可能會更進(jìn)一步。同時，釋放了大部分內(nèi)存。

　　Teig說，激活可以被壓縮以將其大小減小10倍，而量化可能是“微不足道”的2-4倍×但沒有相應(yīng)的精度損失。但是，壓縮和量化是互補(bǔ)的。

　　Perception使用的其他壓縮技術(shù)包括在空間和時間上重新排序推理計算的部分。對于推理，計算中的所有依賴項在編譯時都是已知的，這意味著推理可以分為子問題。然后根據(jù)需要重新排列這些子問題。

　　“這使我們能夠運(yùn)行比你想象的更大的模型，因為我們有足夠的馬力，基本上我們可以用空間換取時間......擁有和我們一樣快的芯片意味著我們可以通過按順序進(jìn)行一些計算來節(jié)省空間，并讓它們看起來并行，“Teig在 此前接受EE Times采訪.

　　轉(zhuǎn)換壓縮

　　對于爾格2，Perception找到了一種壓縮變壓器模型的方法，并為這些壓縮模型增加了硬件支持。

　　Perception的優(yōu)勢有多少取決于對工作負(fù)載的操縱，有多少取決于硬件加速?

　　“兩者兼而有之，但大多數(shù)肯定是軟件或數(shù)學(xué)，”泰格說?！斑@是我們的數(shù)學(xué)方法，在哪里找到壓縮是第一位的。第二是軟件視角，第三是芯片和硬件上神經(jīng)網(wǎng)絡(luò)的表示，以加速[該表示]。

　　感知的壓縮工具流程由三部分組成——宏、微觀和編譯。宏發(fā)現(xiàn)大規(guī)模壓縮機(jī)會并利用它們，微觀使用不同的壓縮技術(shù)尋找進(jìn)一步的小規(guī)模機(jī)會，編譯階段管理內(nèi)存并優(yōu)化功耗。爾格2的性能依賴于這三者。

　　在SDK級別，Perception的軟件堆棧重新訓(xùn)練Pytorch模型，使其與Ergo或Ergo 2兼容。還有一個用于芯片CPU上后處理任務(wù)的C庫，以及一個由大約20個模型組成的模型庫，客戶可以構(gòu)建。

　　爾格2還具有架構(gòu)變化 - 這包括新的統(tǒng)一內(nèi)存空間(原始爾格為神經(jīng)網(wǎng)絡(luò)和片上CPU提供單獨(dú)的內(nèi)存空間)以及對變壓器的硬件支持。Teig拒絕透露新的內(nèi)存空間有多大，但指出統(tǒng)一的內(nèi)存空間意味著子系統(tǒng)可以更有效地共享內(nèi)存。例如，在圖像推理過程中，整個內(nèi)存可能首先用作幀緩沖區(qū)。當(dāng)神經(jīng)網(wǎng)絡(luò)消化圖像時，它可以根據(jù)需要逐漸接管內(nèi)存，然后 CPU 使用相同的內(nèi)存進(jìn)行后處理。

　　與原始的爾格相比，Perception的Ergo 2將適合略有不同的邊緣應(yīng)用。(來源：感知)

　　爾格 2 還可以接受更高分辨率的視頻 — MIPI 接口因客戶需求而加快，將 Ergo 2 上可接受的最高分辨率從 4K 增加到 1200 萬或 1600 萬像素數(shù)據(jù)。這也擴(kuò)大了芯片的吸引力，包括需要更高分辨率視頻的筆記本電腦、平板電腦、無人機(jī)和企業(yè)應(yīng)用程序。

　　Percieve的原始Ergo仍將可用于需要最嚴(yán)格功率預(yù)算的應(yīng)用，而Ergo 2將支持那些需要更多性能但具有更多功率的應(yīng)用。

　　“電池供電的相機(jī)具有兩年的電池壽命可能想要使用爾格，但超分辨率到4K可能需要爾格2，”Teig說。

　　相比之下，Perception的數(shù)據(jù)具有爾格的功率效率，每瓦每秒2727張ResNet-50圖像，而爾格2可以達(dá)到2465張。這比競爭邊緣芯片高出一個數(shù)量級。

　　未來變壓器

　　在Teig看來，越大越好，這與目前變壓器越來越大的趨勢相反。

　　“從數(shù)學(xué)的角度來看，你試圖捕獲的概念的信息理論復(fù)雜性應(yīng)該決定你的網(wǎng)絡(luò)有多大，”他說?！拔覀兛梢詮臄?shù)學(xué)上證明，像GPT這樣捕捉英語語法豐富的語言模型，仍然應(yīng)該以數(shù)百萬，而不是數(shù)十億，當(dāng)然也不是數(shù)萬億個參數(shù)來衡量。

　　有了這些知識，Perception將繼續(xù)致力于變壓器的壓縮，使邊緣網(wǎng)絡(luò)越來越大。

　　“壓縮是要采取的。唯一的問題是，作為一個社區(qū)，而不僅僅是Perception，我們是否足夠聰明，能夠弄清楚如何提取模型的潛在含義，這就是我們在向技術(shù)展示更大的[變壓器]模型時所觀察到的，“他說?！八趯ふ覊嚎s它們的方法，遠(yuǎn)遠(yuǎn)超過以前的模型，因為基礎(chǔ)概念的復(fù)雜性并沒有增加太多，只有用于表示它們的模型增長了很多。

　　但是，是什么讓變壓器比任何其他類型的神經(jīng)網(wǎng)絡(luò)更具可壓縮性呢?

　　“如果你唯一愿意使用的詞是矩陣乘法和ReLU，想想說任何有趣的東西需要多少個詞，”他說?！叭绻愕恼Z言中唯一的單詞是那些，你將不得不談?wù)摵荛L時間來描述一個復(fù)雜的概念，一旦你從那些是唯一允許使用的單詞的信念中退后一步，你就可以做得更好。

　　Teig補(bǔ)充說，雖然50-100×的壓縮率今天對爾格2來說沒有問題，但他預(yù)計未來1000的壓縮系數(shù)將觸手可及，“甚至可能是10，000×，”他說。

　　本文最初發(fā)表于 電子電氣時報.

　　莎莉·沃德-?？怂诡D 為EETimes Europe雜志涵蓋 EETimes.com 和歐洲工業(yè)各個方面的AI技術(shù)和相關(guān)問題。Sally 花了超過 15 年的時間在英國倫敦撰寫有關(guān)電子行業(yè)的文章。她為電子設(shè)計，ECN，電子規(guī)范符：設(shè)計，電子組件等撰寫文章。她擁有劍橋大學(xué)電氣和電子工程碩士學(xué)位。