智東西編譯 程茜編輯 心緣

阿聯(lián)酋的高性能推理模型，剛剛開源！

智東西9月10日消息，今日上午，阿布扎比穆罕默德·本·扎耶德人工智能大學(xué)（MBZUAI）聯(lián)合AI創(chuàng)企G42推出的新低成本推理模型K2 Think，相關(guān)論文已arXiv預(yù)印本平臺發(fā)表，昨天下午模型在Hugging Face、GitHub上開源。

K2 Think有320億個參數(shù)，基于阿里巴巴的開源模型Qwen 2.5構(gòu)建，性能超過參數(shù)規(guī)模是其20倍的OpenAI和DeepSeek旗艦推理模型。

在復(fù)雜數(shù)學(xué)任務(wù)基準(zhǔn)測試中，研究人員計算了K2 Think在AIME24、AIME25、HMMT25和OMNI-Math-HARD中的平均得分，超過GPT-OSS、DeepSeek V3.1、Qwen3 235B-A22B等一眾開源模型。

技術(shù)報告中，研究人員提到K2 Think背后有六大技術(shù)創(chuàng)新協(xié)同，研究人員通過監(jiān)督微調(diào)擴展基礎(chǔ)模型的思維鏈能力，然后通過可驗證獎勵強化學(xué)習(xí)（RLVR）增強推理性能、利用推理時間技術(shù)增強模型，最后在部署K2-Think時進(jìn)行兩項速度優(yōu)化，包括推測解碼和Cerebras的晶圓級芯片，同時使用公開可用的開源數(shù)據(jù)集訓(xùn)練。

值得一提的是，研究人員將K2-Think部署在Cerebras晶圓級芯片WSE系統(tǒng)，WSE每秒可交付約2000個token，相比在NVIDIA H100/H200 GPU等常規(guī)部署環(huán)境中觀測到的標(biāo)稱每秒200個token，性能提升了10倍。

K2-Think背后有兩大強力推手：一方是穆罕默德?本?扎耶德人工智能大學(xué)（MBZUAI），這是阿拉伯聯(lián)合酋長國專門設(shè)立、聚焦AI研究的機構(gòu)；另一方是阿布扎比支持的科技集團(tuán)G42，不僅在2024年拿到微軟15億美元投資，還在阿聯(lián)酋建造OpenAI、軟銀等企業(yè)聯(lián)合投資的AI基建 “星際之門”。

該模型的權(quán)重、訓(xùn)練數(shù)據(jù)、部署代碼和測試時優(yōu)化代碼已經(jīng)在Hugging Face、GitHub上開源。

Hugging Face地址：

https://huggingface.co/LLM360/K2-Think

GitHub地址：

https://github.com/MBZUAI-IFM/K2-Think-SFT

https://github.com/MBZUAI-IFM/K2-Think-Inference

K2 Think主頁：

https://www.k2think.ai/

技術(shù)報告：

https://arxiv.org/abs/2509.07604

一、數(shù)學(xué)性能領(lǐng)先OpenAI、DeepSeek旗下開源模型，要為數(shù)學(xué)、科學(xué)提供特定用途服務(wù)

MBZUAI校長兼首席AI研究員Eric Xing在接受外媒WIRED采訪時透露，K2 Think是使用數(shù)千個GPU開發(fā)的，最終的訓(xùn)練過程涉及200到300塊芯片。

K2 Think并非一個完整的大語言模型，是專門用于推理的模型，能夠通過模擬推理方式來回答復(fù)雜問題，而不是快速綜合信息來提供信息輸出，Xing提到，他們在未來幾個月將K2 Think整合到一個完整的大模型中。

在復(fù)雜數(shù)學(xué)領(lǐng)域，K2 Think在AIME 2024、AIME 2025、HMMT 2025 和 Omni-MATH-HARD四個基準(zhǔn)測試中的平均得分為67.99分，超過規(guī)模更大的DeepSeek V3.1 671B、GPT-OSS 120B模型。

編程能力上，K2-Think在開源代碼能力基準(zhǔn)LiveCodeBench上獲得63.97分，超越了規(guī)模相近的同類模型GPT-OSS 20B、Qwen3-30B-A3B。

在用于評估大模型將復(fù)雜科學(xué)問題轉(zhuǎn)化為可執(zhí)行代碼能力的SciCode基準(zhǔn)測試中，K2-Think獲得39.2分排名第二，與第一名的Qwen3 235BA22B僅有0.1分之差。

在科學(xué)推理方面，模型在GPQA-Diamond基準(zhǔn)測試中的表現(xiàn)為71.08，表現(xiàn)優(yōu)于除OpenReasoning-Nemotron-32B、GPT-OSS 120B之外的大多數(shù)開源模型。

MBZUAI基礎(chǔ)模型研究所所長Hector Liu提到，K2-Think的特別之處在于，他們將其視為一個系統(tǒng)，他們的目標(biāo)不是構(gòu)建類似ChatGPT的聊天機器人，而是為數(shù)學(xué)和科學(xué)等領(lǐng)域的特定用途提供服務(wù)。

二、六項系統(tǒng)級創(chuàng)新，全訓(xùn)練過程均采用開源數(shù)據(jù)集

K2-Think的技術(shù)報告顯示，其背后有六大技術(shù)創(chuàng)新，包括思維鏈監(jiān)督微調(diào)、可驗證獎勵強化學(xué)習(xí)（RLVR）、推理前的Agent規(guī)劃、測試時擴展、推測解碼和推理優(yōu)化硬件、僅使用公開可用的開源數(shù)據(jù)集訓(xùn)練。

基于這種系統(tǒng)化的技術(shù)創(chuàng)新，K2-Think通過長鏈?zhǔn)剿季S監(jiān)督微調(diào)增強了邏輯深度、可驗證獎勵的強化學(xué)習(xí)提高了解決難題的準(zhǔn)確率、Agent式規(guī)劃使模型能夠在推理前分解復(fù)雜挑戰(zhàn)、測試時擴展技術(shù)進(jìn)一步提升了模型的適應(yīng)性，最終實現(xiàn)性能對標(biāo)更大參數(shù)規(guī)模模型。這使得模型能夠提供強大的思維鏈推理能力和近乎即時的響應(yīng)時間。

在監(jiān)督微調(diào)階段，K2-Think使用思維鏈對基礎(chǔ)模型進(jìn)行監(jiān)督微調(diào)。研究人員采用了現(xiàn)有的AM-Thinking-v1-Distilled數(shù)據(jù)集，該數(shù)據(jù)集由CoT推理痕跡和指令/響應(yīng)對組成，提示來自數(shù)學(xué)推理、代碼生成、科學(xué)推理、指令遵循和一般聊天等任務(wù)。他們評估發(fā)現(xiàn)，SFT模型在各個采樣預(yù)算下均優(yōu)于基礎(chǔ)模型。

在可驗證獎勵強化學(xué)習(xí)階段，可驗證獎勵強化學(xué)習(xí)通過直接優(yōu)化模型生成的正確性，降低了基于人類反饋強化學(xué)習(xí)（RLHF）基于偏好對齊的復(fù)雜性和成本。因此研究人員使用了Guru數(shù)據(jù)集，該數(shù)據(jù)集包含數(shù)學(xué)、編程、科學(xué)、邏輯、模擬和表格六個領(lǐng)域任務(wù)、近92000個可驗證問題。

在測試時間改進(jìn)階段，為了進(jìn)一步提升模型性能，研究人員開發(fā)了測試時框架，為訓(xùn)練后的推理模型提供結(jié)構(gòu)化輸入，包括推理前的Agent規(guī)劃，即“先計劃后思考”，以及使用Best-of-N采樣的測試時擴展。

▲模型從輸入到最終響應(yīng)的信息流

從輸入到最終響應(yīng)時，模型會重構(gòu)提示以概述總體規(guī)劃、突出相關(guān)概念。然后這一增強的提示將通過K2-Think模型生成多個響應(yīng)，最后對候選響應(yīng)進(jìn)行兩兩比較，最終選出最佳生成結(jié)果作為推理系統(tǒng)的最終輸出。

第四階段是部署，在具有挑戰(zhàn)性的數(shù)學(xué)證明或多步驟編碼問題中，一個典型復(fù)雜推理任務(wù)一般會生成32000個token的響應(yīng)。在NVIDIA H100上，這可以在不到3分鐘的時間內(nèi)完成，在WSE上，同樣32000個token的生成任務(wù)只需16秒。

這是因為GPU必須在每個token生成時不斷將權(quán)重從高帶寬內(nèi)存?zhèn)鬏數(shù)紾PU核心，而WSE將所有模型權(quán)重存儲在海量片上內(nèi)存中，充分利用每秒25PB的片上內(nèi)存帶寬，比最新NVIDIA B200 GPU提供的0.008PB/s高出3000多倍。

結(jié)語：小參數(shù)模型經(jīng)后期訓(xùn)練，可媲美更大參數(shù)模型

K2-Think模型的性能證明，320億參數(shù)規(guī)模的模型經(jīng)過后期訓(xùn)練，能夠生成較長的推理思路鏈，并結(jié)合相對較少的測試時間計算，可以實現(xiàn)小模型與參數(shù)數(shù)量級更大的模型相媲美的能力。

MBZUAI基礎(chǔ)模型研究所的總經(jīng)理Richard Morton認(rèn)為，人腦的基本推理是所有思維過程的基礎(chǔ)，K2-Think的應(yīng)用，可以縮短研究人員思考特定任務(wù)、進(jìn)行臨床試驗的時間，從而將先進(jìn)的AI技術(shù)擴大到AI基礎(chǔ)設(shè)施稀缺的地區(qū)。