金華2025-09-11 22:35:01150

全流程國產(chǎn)GPU，上下文提速100倍！中國科學(xué)院發(fā)布「線性復(fù)雜度」類腦大模型

新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】SpikingBrain借鑒大腦信息處理機(jī)制，具有線性/近線性復(fù)雜度，在超長序列上具有顯著速度優(yōu)勢，在GPU上1M長度下TTFT 速度相比主流大模型提升26.5x， 4M長度下保守估計(jì)速度提升超過100x；在手機(jī)CPU端64k-128k-256k長度下較Llama3.2的同規(guī)模模型Decoding速度提升4.04x-7.52x-15.39x，展示了通過借鑒大腦結(jié)構(gòu)和功能構(gòu)建新一代AI基礎(chǔ)模型和架構(gòu)的研究路徑具有強(qiáng)大潛力。

當(dāng)前主流大模型基于Transformer架構(gòu)、在Scaling law驅(qū)動(dòng)下通過增加網(wǎng)絡(luò)規(guī)模、算力資源和數(shù)據(jù)量提升智能水平并取得了巨大成功。

然而，Transformer架構(gòu)相對于序列長度具有二次方復(fù)雜度，使其訓(xùn)練和推理開銷巨大，超長序列處理能力受限。

近日，中國科學(xué)院自動(dòng)化研究所李國齊、徐波團(tuán)隊(duì)借鑒大腦神經(jīng)元內(nèi)部復(fù)雜工作機(jī)制，發(fā)布了國產(chǎn)自主可控類腦脈沖大模型SpikingBrain (瞬悉)-1.0，能夠以極低的數(shù)據(jù)量實(shí)現(xiàn)高效訓(xùn)練，模型具有線性/近線性復(fù)雜度，顯著提升長序列的訓(xùn)練和推理效率，訓(xùn)練和推理全流程在國產(chǎn)GPU算力平臺(tái)上完成。

網(wǎng)絡(luò)端的試用端口網(wǎng)址：https://controller-fold-injuries-thick.trycloudflare.com

中文技術(shù)報(bào)告網(wǎng)址：https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf

英文技術(shù)報(bào)告網(wǎng)址： https://arxiv.org/abs/2509.05276

模型代碼網(wǎng)址：https://github.com/BICLab/SpikingBrain-7B

研究背景

現(xiàn)有主流大模型基于Transformer架構(gòu)，其基本計(jì)算單元為點(diǎn)神經(jīng)元模型：簡單乘加單元后接非線性函數(shù)，這條簡單神經(jīng)元加網(wǎng)絡(luò)規(guī)模拓展的技術(shù)路徑可以被稱為「基于外生復(fù)雜性」的通用智能實(shí)現(xiàn)方法。

如前所述，這一路徑面臨著功耗高、可解釋性差等問題。

人腦是目前唯一已知的通用智能系統(tǒng)，包含約1000億神經(jīng)元和約1000萬億突觸數(shù)量、具有豐富的神經(jīng)元種類、不同神經(jīng)元又具有豐富的內(nèi)部結(jié)構(gòu)，但功耗僅20W左右。

鑒此，李國齊研究團(tuán)隊(duì)相信還有另一條路徑-「基于內(nèi)生復(fù)雜性」的通用智能實(shí)現(xiàn)方法：即找到一條融合神經(jīng)元豐富動(dòng)力學(xué)特性、構(gòu)建具有生物合理性和計(jì)算高效性的神經(jīng)網(wǎng)絡(luò)新路徑，其將充分利用生物神經(jīng)網(wǎng)絡(luò)在神經(jīng)元和神經(jīng)環(huán)路上的結(jié)構(gòu)和功能特性。

在該思路下，探索腦科學(xué)與人工智能基礎(chǔ)模型架構(gòu)之間的橋梁、構(gòu)建新一代非Transformer的類腦基礎(chǔ)模型架構(gòu)，或?qū)⒁I(lǐng)下一代人工智能的發(fā)展方向、為實(shí)現(xiàn)國產(chǎn)自主可控類腦大模型生態(tài)提供基礎(chǔ)積累。

核心技術(shù)

SpikingBrain-1.0基于脈沖神經(jīng)元構(gòu)建了線性（混合）模型架構(gòu)，具有線性（SpikingBrain-7B）及近線性復(fù)雜度（SpikingBrain-76B，激活參數(shù)量12B）的類腦基礎(chǔ)模型（圖1）。

圖1. SpikingBrain框架概覽

為解決脈沖編碼時(shí)的性能退化問題，構(gòu)建了自適應(yīng)閾值神經(jīng)元模型，模擬生物神經(jīng)元脈沖發(fā)放的核心過程，隨后通過虛擬時(shí)間步策略實(shí)現(xiàn)「電位-脈沖」的轉(zhuǎn)換，將整數(shù)脈沖計(jì)數(shù)重新展開為稀疏脈沖序列。

借助動(dòng)態(tài)閾值脈沖化信息編碼方案，可以將模型中計(jì)算量占比90%以上的稠密連續(xù)值矩陣乘法，替換為支持事件驅(qū)動(dòng)的脈沖化算子，以實(shí)現(xiàn)高性能與低能耗二者兼顧：脈沖神經(jīng)元僅在膜電勢累積達(dá)到閾值時(shí)發(fā)放脈沖事件，脈沖到達(dá)時(shí)觸發(fā)下游神經(jīng)元活動(dòng)，無脈沖時(shí)則可處于低能耗靜息狀態(tài)。

進(jìn)一步，網(wǎng)絡(luò)層面的MoE架構(gòu)結(jié)合神經(jīng)元層面的稀疏事件驅(qū)動(dòng)計(jì)算，可提供微觀-宏觀層面的稀疏化方案，體現(xiàn)按需計(jì)算的高效算力分配。

該團(tuán)隊(duì)在理論上建立了脈沖神經(jīng)元內(nèi)生動(dòng)力學(xué)與線性注意力模型之間的聯(lián)系，揭示了現(xiàn)有線性注意力機(jī)制是樹突計(jì)算的特殊簡化形式，從而清晰地展示了一條不斷提升模型復(fù)雜度和性能的新型可行路徑。

基于這一理解以及團(tuán)隊(duì)前期工作，團(tuán)隊(duì)構(gòu)建了與現(xiàn)有大模型兼容的通用模型轉(zhuǎn)換技術(shù)和高效訓(xùn)練范式，可以將標(biāo)準(zhǔn)的自注意力機(jī)制轉(zhuǎn)換為低秩的線性注意力模型，并適配了所提出的脈沖化編碼框架。

此外，為實(shí)現(xiàn)國產(chǎn)算力集群對類腦脈沖大模型的全流程訓(xùn)練和推理支持，團(tuán)隊(duì)開發(fā)了面向國產(chǎn)GPU集群的高效訓(xùn)練和推理框架、Triton/CUDA 算子庫、模型并行策略以及集群通信原語。

SpikingBrain-7B 和SpikingBrain-76B分別為層間混合純線性模型和層內(nèi)混合的混合線性 MoE 模型（圖2）。

其中SpikingBrain-7B由線性注意力和滑窗注意力1:1層間堆疊而成。而SpikingBrain-76B則包含 128 個(gè) sink token、16個(gè)路由專家以及1個(gè)共享專家；對于線性層，在第 [1, 2, 3, 5, 7, 9, 11] 層布置了7個(gè)稠密FFN，其余層均實(shí)現(xiàn)為MoE層；

對于注意力模塊在第[7, 14, 21, 28]層采用線性注意力+Softmax注意力(LA+FA)組合，在其他層均采用線性注意力+ 滑窗注意力（LA+SWA）組合。

在推理階段，SpikingBrain利用脈沖編碼將激活值轉(zhuǎn)換為整數(shù)計(jì)數(shù)用于GPU執(zhí)行，或轉(zhuǎn)換為脈沖序列用于事件驅(qū)動(dòng)的神經(jīng)形態(tài)硬件。

圖2. SpikingBrain網(wǎng)絡(luò)架構(gòu)

性能亮點(diǎn)

SpikingBrain1.0的長序列訓(xùn)練效率顯著提升。SpikingBrain-1.0-7B模型能以極低的數(shù)據(jù)量（約為主流大模型的2%）,實(shí)現(xiàn)與眾多開源Transformer模型相媲美的通用語言建模性能（表1）。

SpikingBrain-1.0-76B混合線形模型通過擴(kuò)展更多的參數(shù)量和更精細(xì)的注意力設(shè)計(jì)，基本保持了基座模型的性能，能使用更少的激活參數(shù)接近甚至優(yōu)于Llama2-70B、Mixtral-8*7B、Gemma2-27B等先進(jìn)的Transformer模型（表2）。

SpikingBrain-1.0-7B模型在Huggingface框架下適配了多卡序列并行推理（使用ZeCO加上P2P通信），并支持4M長度的Prefill。

結(jié)果顯示，相比于使用標(biāo)準(zhǔn)注意力和A2A通信的Qwen baseline，SpikingBrain-1.0-7B在512K和1M長度下TTFT（提交提示到生成第一個(gè)Token所需的時(shí)間）加速分別達(dá)到13.88倍和26.5倍，且隨序列長度和卡數(shù)擴(kuò)展具有幾乎恒定的時(shí)間開銷，在4M長度下Qwen已經(jīng)無法評測，根據(jù)擬合scaling曲線，保守估計(jì)速度提升超過100倍（表4）。

團(tuán)隊(duì)將壓縮到1B的SpikingBrain-1.0部署到CPU手機(jī)端推理框架上，在64k-128k-256k長度下較Llama3.2的1B模型Decoding速度分別提升4.04x-7.52x-15.39x。

圖2 基于CPU移動(dòng)推理框架下，不同輸出長度的解碼速度比較

對話Demo和網(wǎng)絡(luò)試用端口：團(tuán)隊(duì)提供了SpikingBrain-1.0-76B模型的網(wǎng)絡(luò)端的試用端口供大家體驗(yàn)，該模型基于vLLM推理框架部署在國產(chǎn)GPU集群上，可以支持?jǐn)?shù)百人的并發(fā)請求。

為支持類腦研究生態(tài)的構(gòu)建，團(tuán)隊(duì)開源了SpikingBrain-1.0-7B模型（詳見技術(shù)報(bào)告）。

總結(jié)

本次發(fā)布的國產(chǎn)自主可控類腦脈沖大模型探索了脈沖神經(jīng)元內(nèi)生復(fù)雜神經(jīng)動(dòng)力學(xué)與線性注意力模型之間的機(jī)制聯(lián)系，設(shè)計(jì)了線性模型架構(gòu)和基于轉(zhuǎn)換的異構(gòu)模型架構(gòu)，通過動(dòng)態(tài)閾值脈沖化解決了脈沖驅(qū)動(dòng)限制下的大規(guī)模類腦模型性能退化問題，實(shí)現(xiàn)了國產(chǎn)GPU算力集群對類腦脈沖大模型訓(xùn)練和推理的全流程支持。

超長序列的建模在復(fù)雜多智能體模擬、DNA序列分析、分子動(dòng)力學(xué)軌跡等超長序列科學(xué)任務(wù)建模場景中將具有顯著的潛在效率優(yōu)勢。

未來該團(tuán)隊(duì)將進(jìn)一步探索神經(jīng)元內(nèi)生復(fù)雜動(dòng)態(tài)與人工智能基礎(chǔ)算子之間的機(jī)制聯(lián)系，構(gòu)建神經(jīng)科學(xué)和人工智能之間的橋梁，期望通過整合生物學(xué)見解來突破現(xiàn)有人工智能瓶頸，進(jìn)而實(shí)現(xiàn)低功耗、高性能、支持超長上下文窗口的類腦通用智能計(jì)算模型，為未來的類腦芯片設(shè)計(jì)提供重要啟發(fā)。

參考資料：

https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf

金華