金華2025-09-19 07:03:109494

DeepSeek首次回應(yīng)“蒸餾OpenAI”質(zhì)疑

9月18日，DeepSeek再次引發(fā)轟動。由DeepSeek團隊共同完成、梁文鋒擔(dān)任通訊作者的DeepSeek-R1研究論文，登上了國際權(quán)威期刊《Nature》的封面。

今年1月，DeepSeek曾在arxiv公布了初版預(yù)印本論文，相較而言，此次發(fā)布在《Nature》的版本補充了更多模型細節(jié)，減少了描述中的擬人化說明。在補充材料中，DeepSeek提到了R1模型的訓(xùn)練成本僅29.4萬美元，以及回應(yīng)了模型發(fā)布之初關(guān)于蒸餾OpenAI的質(zhì)疑。

今年1月，有報道提到，OpenAI研究人員認為，DeepSeek可能使用了OpenAI模型的輸出來訓(xùn)練R1，這種方法可以在使用較少資源的情況下加速模型能力提升。

在論文的補充資料部分，DeepSeek回應(yīng)了關(guān)于DeepSeek-V3-Base訓(xùn)練數(shù)據(jù)來源的問題?！癉eepSeek-V3-Base的訓(xùn)練數(shù)據(jù)僅來自普通網(wǎng)頁和電子書，不包含任何合成數(shù)據(jù)。在預(yù)訓(xùn)練冷卻階段，我們沒有故意加入OpenAI生成的合成數(shù)據(jù)，此階段使用的所有數(shù)據(jù)都是通過網(wǎng)頁抓取的。”DeepSeek表示。

不過，DeepSeek也說明，已觀察到一些網(wǎng)頁包含大量OpenAI模型生成的答案，這可能導(dǎo)致基礎(chǔ)模型間接受益于其他強大模型的知識。此外，預(yù)訓(xùn)練數(shù)據(jù)集包含大量數(shù)學(xué)和編程相關(guān)內(nèi)容，表明DeepSeek-V3-Base已經(jīng)接觸到大量有推理痕跡的數(shù)據(jù)。這種廣泛的接觸使模型能夠生成較為合理的解決方案，強化學(xué)習(xí)可以從中識別并優(yōu)化輸出質(zhì)量。DeepSeek表示，已在預(yù)訓(xùn)練中針對數(shù)據(jù)污染進行了處理。

哥倫布市俄亥俄州立大學(xué)的AI研究員Huan Sun表示，這一反駁"與我們在任何出版物中看到的內(nèi)容同樣具有說服力"。Hugging Face的機器學(xué)習(xí)工程師、同時也是論文審稿人之一的Lewis Tunstall補充說，盡管他不能100%確定R1未基于OpenAI示例進行訓(xùn)練，但其他實驗室的復(fù)制嘗試表明，DeepSeek的推理方案可能足夠優(yōu)秀而無須這樣做。"我認為現(xiàn)有證據(jù)已相當(dāng)明確地表明，僅使用純強化學(xué)習(xí)即可獲得極高性能。"他表示。

DeepSeek也在補充資料部分提到DeepSeek-R1的訓(xùn)練成本。在DeepSeek-R1的研究過程中，團隊使用 A100 GPU 完成了較小規(guī)模模型（30B參數(shù)）的實驗，隨后團隊將訓(xùn)練擴展至 660B參數(shù)的R1-Zero和R1模型。

具體而言，DeepSeek-R1-Zero訓(xùn)練使用了64×8張H800GPU，耗時約198小時。DeepSeek-R1訓(xùn)練同樣使用了64×8張H800 GPU，耗時約4天（約80小時）。此外，構(gòu)建SFT數(shù)據(jù)集消耗了約5000小時的GPU運算。

DeepSeek表示，假設(shè)H800的租賃價格為每小時2美元，DeepSeek-R1-Zero訓(xùn)練成本20.2萬美元，SFT數(shù)據(jù)集創(chuàng)建花費1萬美元，DeepSeek-R1訓(xùn)練成本8.2萬美元，這三項的總成本為29.4萬美元。折合成人民幣，這些成本約200萬元。

R1基于DeepSeek-V3模型訓(xùn)練，不過，即便加上訓(xùn)練V3模型所花費的約600 萬美元訓(xùn)練成本，總金額仍遠低于競爭對手的模型所花費的數(shù)千萬美元。

DeepSeek-R1已經(jīng)成為了全球最受歡迎的開源推理模型，Hugging Face下載量超1090萬次。到目前為止，DeepSeek-R1也是全球首個經(jīng)過同行評審的主流大語言模型。

Lewis Tunstall表示，“這是一個非常受歡迎的先例，如果沒有公開分享這一流程大部分內(nèi)容的規(guī)范，就很難評估這些系統(tǒng)是否存在風(fēng)險?！碑?dāng)前 AI 行業(yè)不乏刷榜的傳聞，基準測試可被操控，而經(jīng)過獨立的同行評審顯然也能打消疑慮。

具體到此次發(fā)布論文內(nèi)容，其題目是《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，主要公開了僅靠強化學(xué)習(xí)，就能激發(fā)大模型推理能力的重要研究成果。

、

以往的研究主要依賴大量監(jiān)督數(shù)據(jù)來提升模型性能。DeepSeek的開發(fā)團隊則開辟了一種全新的思路，即使不用監(jiān)督微調(diào)（SFT）作為冷啟動，通過大規(guī)模強化學(xué)習(xí)也能顯著提升模型的推理能力。如果再加上少量的冷啟動數(shù)據(jù)，效果會更好。

在強化學(xué)習(xí)中，模型正確解答數(shù)學(xué)問題時會獲得高分獎勵，答錯則會受到懲罰。因此模型學(xué)會了推理，逐步解決問題并揭示這些步驟，從而更有可能得出正確答案。這使得 DeepSeek-R1 能夠自我驗證和自我反思，在給出新問題的答案之前檢查其性能，從而提高其在編程和研究生水平科學(xué)問題上的表現(xiàn)。

DeepSeek在模型訓(xùn)練中，采用了群組相對策略優(yōu)化（GRPO）來降低訓(xùn)練成本，設(shè)計獎勵機制決定著強化學(xué)習(xí)優(yōu)化的方向，同時團隊設(shè)計了簡單模板來引導(dǎo)基礎(chǔ)模型，要求模型先給出推理過程，再提供最終答案。

為了使更高效的小模型具備 DeepSeek-R1 那樣的推理能力，開發(fā)團隊還直接使用 DeepSeek-R1 整理的 80 萬個樣本對 Qwen 和 Llama 等開源模型進行了微調(diào)。研究結(jié)果表明，這種簡單的蒸餾方法顯著增強了小模型的推理能力。

金華