這項由阿里巴巴集團Qwen團隊的安洋、俞博文、李成遠等眾多研究人員共同完成的重磅研究，于2025年1月28日正式發(fā)布。該研究詳細介紹了Qwen2.5-1M系列模型的技術(shù)突破，論文全文可通過arXiv:2501.15383獲取，為有興趣深入了解的讀者提供了完整的技術(shù)細節(jié)。

想象一下，如果讓你一次性記住并理解一本厚厚的小說，包括所有的人物關(guān)系、情節(jié)發(fā)展和細節(jié)描述，這對人類來說已經(jīng)是個不小的挑戰(zhàn)。而現(xiàn)在，阿里巴巴的研究團隊成功讓人工智能做到了這一點，甚至更進一步——他們的AI模型可以一次性處理相當(dāng)于四本《哈利·波特》總字數(shù)的文本內(nèi)容。

這個名為Qwen2.5-1M的AI系統(tǒng)就像是一個擁有超強記憶力的學(xué)者，能夠同時記住和理解多達一百萬個字符的內(nèi)容。要知道，這相當(dāng)于一次性閱讀并完全理解大約500頁的書籍，并且能夠準確回答關(guān)于書中任何細節(jié)的問題。這種能力的突破意義重大，因為它解決了現(xiàn)有AI系統(tǒng)的一個核心局限——就像一個只能記住幾頁紙內(nèi)容的學(xué)生，突然間能夠記住整個圖書館的知識。

這項技術(shù)革新的重要性在于，它讓AI真正具備了處理復(fù)雜、長篇幅任務(wù)的能力。無論是分析一整套法律文件、理解完整的軟件代碼庫，還是幫助醫(yī)生分析患者的完整病歷記錄，這個AI系統(tǒng)都能勝任。它不再是那種只能處理片段信息的"健忘"助手，而是成為了一個能夠掌握全貌的"博學(xué)"伙伴。

一、AI記憶力的突破性提升

傳統(tǒng)的AI模型就像是一個只有短期記憶的人，只能記住最近幾分鐘的談話內(nèi)容。如果你和它進行長時間的對話，它就會忘記開頭說過的話。這個問題在AI領(lǐng)域被稱為"上下文長度限制"，就好比給一個學(xué)生的筆記本只有幾頁紙，當(dāng)需要記錄的內(nèi)容超過這幾頁時，前面的內(nèi)容就會被擦掉。

Qwen2.5-1M系列的突破在于，它把這個"筆記本"從原來的幾頁紙擴展到了整整一本厚厚的百科全書。具體來說，它可以同時處理一百萬個字符，這個數(shù)字聽起來很抽象，但用日常的例子來理解就很清楚了：這相當(dāng)于同時閱讀并記住四本《哈利·波特》的全部內(nèi)容，或者是一個完整的軟件項目的所有代碼文件。

為了驗證這種"超強記憶力"的真實性，研究團隊設(shè)計了一個巧妙的測試，他們稱之為"密碼檢索測試"。這個測試就像是在一本厚厚的電話簿中藏了一個六位數(shù)的密碼，然后讓AI去尋找這個密碼。電話簿里充滿了各種無關(guān)的數(shù)字和信息，密碼可能藏在任何位置——開頭、中間或者末尾。結(jié)果顯示，即使面對一百萬字符的"電話簿"，Qwen2.5-14B-Instruct-1M模型也能準確找到隱藏的密碼，而較小的7B模型也幾乎做到了完美表現(xiàn)，只在極少數(shù)情況下出現(xiàn)小錯誤。

這種能力的實現(xiàn)離不開精心設(shè)計的訓(xùn)練策略。研究團隊采用了"漸進式擴容"的方法，就像教一個學(xué)生逐漸增加閱讀量一樣。他們先讓AI學(xué)會處理4千個字符的內(nèi)容，然后逐步增加到3.2萬、6.5萬、13萬，最后達到26萬字符。在每個階段，AI都要充分掌握當(dāng)前長度的處理能力，然后再進入下一個更具挑戰(zhàn)性的階段。

二、讓AI真正理解長篇內(nèi)容的訓(xùn)練秘訣

要讓AI具備處理超長文本的能力，僅僅是增加"記憶容量"還遠遠不夠，更重要的是要教會它如何在這些海量信息中建立有意義的關(guān)聯(lián)。這就像教一個學(xué)生不僅要記住書本的每一頁內(nèi)容，還要理解不同章節(jié)之間的邏輯關(guān)系和前后呼應(yīng)。

研究團隊發(fā)現(xiàn)，普通的訓(xùn)練文本雖然內(nèi)容豐富，但往往缺乏遠距離的關(guān)聯(lián)性。比如一篇新聞報道，雖然可能很長，但每一段的內(nèi)容相對獨立，第一段的信息和最后一段的信息之間可能沒有太強的依賴關(guān)系。這對于訓(xùn)練AI的長距離理解能力來說是不夠的，就像讓一個學(xué)生只讀故事簡介，而不讀完整的長篇小說，他就很難理解復(fù)雜情節(jié)的前因后果。

為了解決這個問題，研究團隊采用了"人工創(chuàng)造關(guān)聯(lián)"的巧妙方法。他們設(shè)計了幾種特殊的訓(xùn)練任務(wù)，每一種都像是為AI設(shè)置的智力游戲。

第一種游戲叫做"填空游戲"。研究團隊會在一篇長文中故意刪除某些段落，然后讓AI根據(jù)前后文的內(nèi)容來推測被刪除的部分應(yīng)該是什么。這就像給你一個拼圖，但故意拿走了幾塊關(guān)鍵的拼圖片，你需要根據(jù)周圍的圖案來推測缺失部分的內(nèi)容。這種訓(xùn)練方式迫使AI必須理解整個文檔的結(jié)構(gòu)和邏輯，而不能僅僅依賴局部信息。

第二種游戲是"信息檢索挑戰(zhàn)"。研究團隊會在長文中埋入特定的關(guān)鍵詞或者描述特定的位置信息，然后要求AI找出相關(guān)的段落。這就像在一座大圖書館中，告訴你"找到所有提到'紅色汽車'的書籍"或者"找到第五排書架上關(guān)于'古代歷史'的內(nèi)容"。這種訓(xùn)練讓AI學(xué)會了如何在海量信息中進行精確定位和檢索。

第三種游戲是"邏輯重組任務(wù)"。研究團隊會把一篇邏輯清晰的文章打亂順序，然后讓AI重新排列，恢復(fù)原本的邏輯順序。這就像把一本書的頁碼全部打亂，然后要求你根據(jù)內(nèi)容的邏輯關(guān)系重新排列頁碼。這種訓(xùn)練特別有助于AI理解文檔的整體結(jié)構(gòu)和內(nèi)在邏輯。

訓(xùn)練過程本身也采用了精心設(shè)計的策略。研究團隊沒有一開始就讓AI處理超長文本，而是采用了"循序漸進"的方法。這個過程可以比作教一個學(xué)生游泳：先在淺水區(qū)練習(xí)基本動作，然后逐漸移到更深的水域，最后才挑戰(zhàn)深水區(qū)。

在第一階段，AI學(xué)習(xí)處理4千字符長度的內(nèi)容，這相當(dāng)于幾頁紙的文本。在這個階段，AI主要學(xué)習(xí)基礎(chǔ)的語言理解和生成能力。然后逐步擴展到3萬多字符，這時AI開始接觸更長的文檔，學(xué)習(xí)如何在更大的范圍內(nèi)保持一致性和連貫性。

隨著訓(xùn)練的進行，文本長度繼續(xù)增加到6萬多、13萬，最后達到26萬字符。在每個階段，研究團隊都精心調(diào)配訓(xùn)練數(shù)據(jù)的比例，確保75%的訓(xùn)練樣本達到當(dāng)前階段的最大長度，而25%使用較短的文本。這種搭配就像給運動員制定訓(xùn)練計劃一樣，既要有高強度的挑戰(zhàn)性訓(xùn)練，也要有適度的恢復(fù)性訓(xùn)練，確保能力的全面提升而不是過度擬合。

為了監(jiān)控訓(xùn)練效果，研究團隊使用了專門的評估工具RULER。這個工具就像是給AI設(shè)置的標準化考試，通過一系列設(shè)計巧妙的題目來測試AI在不同長度文本下的理解能力。測試結(jié)果顯示，隨著訓(xùn)練長度的逐步增加，AI在各個長度級別的表現(xiàn)都在穩(wěn)步提升，這證明了漸進式訓(xùn)練策略的有效性。

三、讓AI更好地為人類服務(wù)的精細調(diào)教

擁有了強大的記憶力和理解能力還不夠，AI還需要學(xué)會如何更好地與人類互動，理解人類的意圖并提供有用的幫助。這就像培養(yǎng)一個博學(xué)的助手，他不僅要知識淵博，還要懂得如何根據(jù)不同的需求提供恰當(dāng)?shù)膸椭?/p>

研究團隊面臨的第一個挑戰(zhàn)是缺乏足夠的長文本對話訓(xùn)練數(shù)據(jù)。在現(xiàn)實中，人類與AI進行超長文本對話的場景相對較少，因此很難收集到大量的真實對話樣本來訓(xùn)練AI。這就像要培養(yǎng)一個導(dǎo)游，但卻缺乏足夠的實際帶團經(jīng)驗。

為了解決這個問題，研究團隊采用了"AI教AI"的創(chuàng)新方法。他們讓一個已經(jīng)訓(xùn)練好的AI系統(tǒng)（Qwen2.5）扮演"問題制造者"的角色，基于長文檔生成各種各樣的問題。這些問題涵蓋了文檔總結(jié)、信息檢索、多步推理、代碼分析等多個方面，就像一個經(jīng)驗豐富的老師為學(xué)生準備各種類型的練習(xí)題。

然后，研究團隊使用Qwen-Agent框架來生成高質(zhì)量的答案。這個框架就像一個智能助手的工作流程，它會采用多種策略來處理復(fù)雜問題：先檢索相關(guān)信息，然后逐段分析內(nèi)容，最后進行逐步推理得出答案。這種方法確保了生成的答案不僅準確，而且充分利用了整個長文檔的信息。

訓(xùn)練過程采用了兩個階段的策略。第一階段專注于短文本對話能力的訓(xùn)練，使用的文本長度不超過3萬多字符。這個階段的目的是讓AI掌握基本的對話技能和響應(yīng)模式，就像先讓一個新員工熟悉公司的基本業(yè)務(wù)流程。

第二階段引入了混合訓(xùn)練數(shù)據(jù)，既包含短文本也包含長文本，長度可達26萬字符。在這個階段，研究團隊特別注意平衡短文本和長文本的訓(xùn)練比例，防止AI在學(xué)習(xí)長文本處理能力的同時丟失短文本處理的熟練度。這就像讓一個醫(yī)生既要掌握復(fù)雜手術(shù)的技能，也不能忘記基礎(chǔ)的診斷能力。

為了進一步提升AI與人類偏好的契合度，研究團隊還采用了強化學(xué)習(xí)技術(shù)。這種技術(shù)的原理類似于訓(xùn)練動物或者教育孩子：當(dāng)AI的回答符合人類期望時給予獎勵，當(dāng)回答不當(dāng)時給予負反饋。通過這種反饋機制，AI逐漸學(xué)會了提供更符合人類需求和價值觀的回答。

有趣的是，研究團隊發(fā)現(xiàn)，僅使用短文本的強化學(xué)習(xí)訓(xùn)練就能夠很好地泛化到長文本場景。這意味著AI在短文本對話中學(xué)到的"如何更好地幫助人類"的技能，能夠自然地應(yīng)用到長文本處理中。這種現(xiàn)象就像一個人學(xué)會了如何與朋友進行深入的談話，這種技能同樣適用于更長時間、更復(fù)雜話題的討論。

為了驗證訓(xùn)練效果，研究團隊使用了專門的長文本對話評估基準Longbench-Chat。測試結(jié)果顯示，經(jīng)過強化學(xué)習(xí)訓(xùn)練后，所有模型的表現(xiàn)都有顯著提升，證明了這種訓(xùn)練方法的有效性。

四、讓超長文本處理變得高效實用的推理技術(shù)

擁有了處理百萬字符文本的能力后，下一個關(guān)鍵挑戰(zhàn)是如何讓這種能力在實際應(yīng)用中變得高效和實用。這就像擁有了一輛性能卓越的超級跑車，但還需要配備相應(yīng)的道路系統(tǒng)和維護設(shè)施才能真正發(fā)揮其價值。

研究團隊開發(fā)的推理框架包含了三個核心創(chuàng)新，每一個都像是為這輛"超級跑車"配備的重要組件。

第一個創(chuàng)新是"長度外推技術(shù)"，這項技術(shù)的巧妙之處在于能夠讓AI在沒有額外訓(xùn)練的情況下處理比訓(xùn)練時更長的文本。這就像教會一個學(xué)生某種解題方法后，他不僅能解決練習(xí)過的題目，還能處理難度更高、規(guī)模更大的類似問題。

這項技術(shù)的核心是一種叫做"雙塊注意力"(DCA)的方法。為了理解這個概念，可以把長文本想象成一本厚厚的書。傳統(tǒng)的AI處理方式就像逐頁閱讀，需要記住每一頁與其他所有頁面的關(guān)系，這樣當(dāng)書很厚時，記憶負擔(dān)就會變得非常重。而DCA方法則像是把整本書分成若干章節(jié)，然后巧妙地處理章節(jié)內(nèi)部的聯(lián)系和章節(jié)之間的關(guān)系，大大減輕了記憶負擔(dān)。

具體來說，DCA將整個文本序列分割成多個片段，然后重新映射位置關(guān)系，確保AI在處理任何兩個詞語之間的關(guān)系時，距離都不會超過訓(xùn)練時見過的最大距離。這種方法讓訓(xùn)練時只見過25萬字符的AI能夠處理100萬字符甚至更長的文本，實現(xiàn)了4倍甚至更高的長度擴展。

第二個創(chuàng)新是"稀疏注意力機制"，這個技術(shù)解決了計算效率的問題。當(dāng)文本長度達到百萬字符時，傳統(tǒng)的處理方式需要進行海量的計算，就像要計算一個城市中每個人與其他所有人的關(guān)系一樣，計算量會隨著人數(shù)的平方增長，很快就變得不可承受。

研究團隊發(fā)現(xiàn)，AI在處理長文本時，注意力模式呈現(xiàn)出一種有趣的規(guī)律，就像在一張巨大的關(guān)系圖中，重要的連接線總是呈現(xiàn)出特定的"垂直-斜線"模式?；谶@個發(fā)現(xiàn)，他們開發(fā)了MInference技術(shù)，只計算這些重要的連接關(guān)系，忽略那些不重要的連接，從而將計算量減少了約10倍，而準確性幾乎沒有損失。

為了進一步提高效率，研究團隊還開發(fā)了"分塊預(yù)填充"技術(shù)。這種技術(shù)就像是把一個大型項目分解成若干個小任務(wù)，每次只處理一小塊內(nèi)容，這樣可以大大減少內(nèi)存需求。當(dāng)輸入文本達到100萬字符時，這種方法可以將激活值的內(nèi)存使用量減少96.7%，讓即使是普通的GPU設(shè)備也能處理超長文本。

第三個創(chuàng)新是針對推理引擎的深度優(yōu)化。研究團隊開發(fā)的BladeLLM推理引擎包含了多項技術(shù)改進，就像為高性能汽車配備了專業(yè)的賽車手和維修團隊。

在計算核心優(yōu)化方面，他們針對稀疏注意力計算開發(fā)了專門的算法，通過多級流水線并行和指令級優(yōu)化，讓稀疏注意力的計算效率達到了峰值性能的90%。在A100 GPU上，他們的優(yōu)化版本比標準的FlashAttention快了27.8倍。

在系統(tǒng)架構(gòu)方面，他們實現(xiàn)了"動態(tài)分塊流水線并行"技術(shù)。傳統(tǒng)的處理方式會因為不同部分計算復(fù)雜度的差異而產(chǎn)生等待時間，就像工廠流水線上某個工位特別慢，會拖累整體效率。他們的方法能夠動態(tài)調(diào)整每個處理塊的大小，確保各部分的處理時間盡可能均衡，最大化并行效率。

在調(diào)度優(yōu)化方面，他們開發(fā)了"完全異步生成器"(TAG)架構(gòu)。這種架構(gòu)讓AI系統(tǒng)的各個組件能夠完全并行工作，就像一個高效的團隊中每個成員都能獨立工作而不需要頻繁的協(xié)調(diào)等待。這種設(shè)計顯著減少了非計算部分的開銷，大大提升了整體效率。

通過這些優(yōu)化技術(shù)的組合應(yīng)用，Qwen2.5-1M模型在處理100萬字符文本時，預(yù)填充階段的速度提升了3到7倍。這意味著原本需要十幾分鐘才能完成的長文本處理任務(wù)，現(xiàn)在只需要幾分鐘就能搞定，大大提升了實用性。

五、卓越性能的全面驗證

為了證明Qwen2.5-1M系列模型的真實能力，研究團隊進行了全方位的測試驗證，就像對一款新車進行各種路況和極端條件下的測試一樣。

在長文本處理能力的測試中，研究團隊使用了三個具有代表性的評估基準。第一個是RULER基準測試，這個測試就像是在一堆干草中尋找針，但不是尋找一根針，而是要找到多根針，還要回答關(guān)于這些針的各種復(fù)雜問題。測試結(jié)果顯示，Qwen2.5-14B-Instruct-1M模型在處理12.8萬字符長度的文本時準確率達到92.2%，這是Qwen系列模型首次突破90%的關(guān)鍵門檻。更令人印象深刻的是，這個模型的表現(xiàn)甚至超過了GPT-4，證明了其在長文本檢索任務(wù)中的卓越能力。

第二個測試是LV-Eval基準，這個測試模擬的是需要同時理解多個證據(jù)片段的復(fù)雜場景，就像一個律師需要綜合分析大量的法庭證據(jù)來構(gòu)建完整的案件圖景。測試結(jié)果表明，Qwen2.5-1M系列模型在各個長度級別上都顯著優(yōu)于其128K版本的前輩，特別是在處理超過6.4萬字符的文本時，性能提升尤為明顯。

第三個測試是Longbench-Chat，這個測試評估的是AI在長文本對話中與人類偏好的契合度。結(jié)果顯示，所有Qwen2.5-1M模型都表現(xiàn)出色，能夠在處理長文本的同時保持良好的對話質(zhì)量和用戶體驗。

為了確保長文本能力的提升沒有影響基礎(chǔ)性能，研究團隊還進行了大量的短文本測試。他們選擇了涵蓋自然語言理解、編程、數(shù)學(xué)和推理等多個領(lǐng)域的基準測試。測試結(jié)果令人滿意：Qwen2.5-1M系列模型在短文本任務(wù)上的表現(xiàn)與其前輩基本持平，有些方面甚至略有提升。這證明了新模型在獲得超長文本處理能力的同時，并沒有"偏科"或者退化。

在實際應(yīng)用性能方面，研究團隊測試了模型在不同硬件平臺上的推理速度。使用Nvidia H20和A100 GPU進行測試，結(jié)果顯示，通過稀疏注意力和推理引擎優(yōu)化，Qwen2.5-1M模型在處理100萬字符文本時實現(xiàn)了3.2到6.7倍的加速。以Qwen2.5-14B-Instruct-1M為例，在H20 GPU上處理100萬字符的時間從原來的12.2分鐘縮短到僅需109秒，而Qwen2.5-Turbo更是只需要68秒就能完成同樣的任務(wù)。

特別值得一提的是，研究團隊還驗證了長度外推技術(shù)的效果。他們讓僅在32K字符文本上訓(xùn)練的標準Qwen2.5模型配合DCA技術(shù)處理更長的文本。結(jié)果顯示，即使是沒有專門長文本訓(xùn)練的模型，在DCA技術(shù)的幫助下也能在相對簡單的任務(wù)（如密碼檢索）中實現(xiàn)80%以上的準確率，證明了這項技術(shù)的強大威力。

通過與其他同類模型的對比，Qwen2.5-1M系列展現(xiàn)出了顯著的優(yōu)勢。與GLM-9B-Chat-1M、Llama-3-8B-Instruct-Gradient-1048k等競爭對手相比，Qwen2.5模型在大多數(shù)長文本任務(wù)上都取得了更好的成績。特別是Qwen2.5-14B-Instruct-1M，在多個基準測試中的表現(xiàn)都超過了GPT-4o-mini，成為了一個強有力的開源替代方案。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：即使是訓(xùn)練長度限制在32K字符的大模型（如Qwen2.5-72B-Instruct），在使用長度外推技術(shù)后，在某些長文本任務(wù)上的表現(xiàn)依然優(yōu)于專門訓(xùn)練的長文本模型。這說明模型規(guī)模和長度外推技術(shù)的結(jié)合能夠產(chǎn)生意想不到的協(xié)同效應(yīng)，也為未來的研究方向提供了有價值的啟示。

說到底，Qwen2.5-1M系列模型的成功不僅僅是技術(shù)參數(shù)的提升，更重要的是它讓AI真正具備了處理復(fù)雜、大規(guī)模文本任務(wù)的實用能力。無論是幫助律師分析復(fù)雜的法律文件，協(xié)助程序員理解大型代碼庫，還是幫助研究人員處理海量的學(xué)術(shù)文獻，這些模型都能提供強有力的支持。

這項研究的意義遠超技術(shù)本身。它代表著AI向真正理解和處理人類復(fù)雜信息需求邁出的重要一步。當(dāng)AI能夠像人類一樣"博覽群書"并融會貫通時，它就不再是一個簡單的問答工具，而成為了一個真正的智能助手。對于普通用戶來說，這意味著未來我們可以讓AI幫助處理更復(fù)雜、更綜合的任務(wù)，而不需要把復(fù)雜問題分解成許多小片段。對于開發(fā)者和研究人員來說，這些開源的模型和優(yōu)化技術(shù)為構(gòu)建下一代AI應(yīng)用提供了強大的基礎(chǔ)。

阿里巴巴團隊不僅在技術(shù)上取得了突破，更重要的是他們選擇了開源的道路，將這些先進技術(shù)分享給全球的研究者和開發(fā)者。這種開放的態(tài)度不僅推動了整個行業(yè)的發(fā)展，也讓更多的人能夠享受到先進AI技術(shù)帶來的便利。正如研究團隊在論文中所說，他們相信這是推動領(lǐng)域進步最有效的方式。

Q&A

Q1：Qwen2.5-1M能處理多長的文本？具體有什么用處？

A：Qwen2.5-1M可以一次性處理100萬個字符的文本，相當(dāng)于同時閱讀4本《哈利·波特》的全部內(nèi)容。它可以幫助分析完整的法律文件、理解大型軟件代碼庫、處理海量學(xué)術(shù)文獻，或者同時理解多個相關(guān)文檔的內(nèi)容，這些都是以前AI無法勝任的復(fù)雜任務(wù)。

Q2：普通人現(xiàn)在能使用Qwen2.5-1M嗎？需要什么條件？

A：目前阿里巴巴已經(jīng)開源了Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M兩個模型，技術(shù)人員可以免費下載使用。普通用戶可以通過Qwen2.5-Turbo的API服務(wù)體驗這項技術(shù)，它提供了與GPT-4o-mini相當(dāng)?shù)男阅?，但支?倍更長的文本，價格也更有競爭力。

Q3：Qwen2.5-1M相比其他AI模型有什么優(yōu)勢？

A：Qwen2.5-1M最大的優(yōu)勢是能夠處理超長文本而不丟失準確性，在多個長文本任務(wù)中的表現(xiàn)甚至超過了GPT-4。同時，它采用了創(chuàng)新的推理優(yōu)化技術(shù)，處理100萬字符文本的速度比傳統(tǒng)方法快3-7倍，大大提升了實用性。而且作為開源項目，開發(fā)者可以自由使用和改進。