近期，美國麻省理工學(xué)院研究科學(xué)家、初創(chuàng)公司 BitEnergy AI 創(chuàng)始人羅鴻胤和合作者提出了一種名為線性復(fù)雜度乘法（L-Mul，linear-complexity multiplication）的算法，可以將 AI 應(yīng)用的能源需求減少 95% 。

（論文：https://arxiv.org/abs/2410.00907）

隨著 AI 應(yīng)用成為主流，其使用量急劇增加，導(dǎo)致能源需求和成本顯著增加。ChatGPT 等 LLM 需要大量的計算能力，這反過來意味著運行它們需要大量的電力。

僅舉一個例子，ChatGPT 現(xiàn)在每天需要大約 564 MWh(56.4萬度)，足以為 18,000 個美國家庭供電。隨著科學(xué)的不斷進(jìn)步和此類應(yīng)用變得越來越流行，批評者認(rèn)為 AI 應(yīng)用可能在短短幾年內(nèi)每年使用約 100 TWh(1億MWh)，與比特幣挖礦操作相當(dāng)。

在這項新工作中，BitEnergy AI 的團(tuán)隊聲稱他們已經(jīng)找到了一種方法，可以大幅減少運行 AI 應(yīng)用所需的計算量，而不會導(dǎo)致性能降低。

這種新技術(shù)相對簡單——它不再使用復(fù)雜的浮點乘法（FPM），而是使用整數(shù)加法。應(yīng)用程序通常使用 FPM 來處理非常大或非常小的數(shù)字，允許應(yīng)用程序以極高的精度進(jìn)行計算。然而，F(xiàn)PM 也是 AI 計算中最耗能的部分。

IEEE 754 中定義的 16 位、8 位浮點數(shù)以及用于張量計算的各種硬件，以及 16 位整數(shù)。

研究人員將他們的新方法稱為線性復(fù)雜度乘法，它通過使用整數(shù)加法來近似 FPM。他們聲稱，到目前為止，測試表明，新方法減少了 95% 的電力需求。

它有一個缺點是它需要與當(dāng)前使用的硬件不同的硬件。但研究團(tuán)隊還指出，新型硬件已經(jīng)設(shè)計、構(gòu)建和測試完畢。

然而，此類硬件的許可方式仍不清楚——目前，GPU 制造商 Nvidia 主導(dǎo)著 AI 硬件市場。Nvidia 對這項新技術(shù)的反應(yīng)可能會對其推廣速度產(chǎn)生重大影響，前提是該公司的說法得到驗證。

論文作者簡介：

羅鴻胤在清華大學(xué)獲得學(xué)士學(xué)位，師從劉知遠(yuǎn)教授和孫茂松教授。2022 年在麻省理工學(xué)院電子工程與計算機科學(xué)系獲得博士學(xué)位，研究方向為語言模型的自我訓(xùn)練。畢業(yè)后，他留校繼續(xù)擔(dān)任博士后和研究員。

此前，他構(gòu)建了一個參數(shù)量僅為 3.5 億的小模型，該模型完全使用合成數(shù)據(jù)訓(xùn)練，并在文本分類任務(wù)性能方面的表現(xiàn)超過了擁有 1750 億參數(shù)量級的 GPT-3[2]。之后，他致力于將這種效率提升方法轉(zhuǎn)移到生成模型。

圖丨羅鴻胤（來源：羅鴻胤）

目前，羅鴻胤主要聚焦于提高 AI 的效率和推理能力兩個方向。

在效率方面，他特別關(guān)注將大模型的建模粒度從向量深入到比特層面，通過模型架構(gòu)與計算架構(gòu)的協(xié)同設(shè)計提升 AI 效率；在推理能力方面，他關(guān)注模型的編程能力和容錯能力。

羅鴻胤表示：“編程可以讓模型通過復(fù)用推理過程提升效率，而容錯能力則使得模型能夠一次性輸出，減少重復(fù)推理的次數(shù)，從而節(jié)省計算資源。”

在未來的階段，他計劃在可編程陣列邏輯（FPGA，F(xiàn)ield Programmable Gate Array）平臺進(jìn)行仿真研究，對數(shù)值計算變化后能耗的具體降低程度進(jìn)行確認(rèn)，以提供準(zhǔn)確的數(shù)據(jù)支持。

“我們的長期目標(biāo)是希望通過數(shù)值計算研究，解決大模型的各種特性和目前面臨的相關(guān)挑戰(zhàn)，從而促進(jìn)大模型效率的指數(shù)級提高?！绷_鴻胤說道。