這項由阿里巴巴淘寶天貓集團(tuán)的宋小帥、吳亞南等研究人員完成的研究發(fā)表于2025年1月，論文標(biāo)題為"ProgCo: Program Helps Self-Correction of Large Language Models"。有興趣深入了解的讀者可以通過GitHub代碼庫https://github.com/songxiaoshuai/progco獲取完整的研究資料和實現(xiàn)代碼。

當(dāng)我們寫作業(yè)或工作時，總會犯一些錯誤，這時最好的方法就是重新檢查一遍自己的答案?，F(xiàn)在的人工智能大模型其實也面臨同樣的問題——它們回答問題時也會出錯，特別是在處理復(fù)雜的數(shù)學(xué)題或者需要嚴(yán)格按照指示執(zhí)行任務(wù)時。就像一個學(xué)生做完題目后需要檢查答案一樣，理想情況下，AI也應(yīng)該能夠自己發(fā)現(xiàn)錯誤并進(jìn)行修正。

然而現(xiàn)實情況并不樂觀。目前的AI大模型在自我糾錯方面表現(xiàn)得相當(dāng)糟糕，特別是在沒有外部幫助的情況下。它們往往過于自信，很難意識到自己的錯誤，有時甚至?xí)言菊_的答案改成錯誤的。這就像一個過于自信的學(xué)生，明明答對了題目，卻在檢查時把正確答案改錯了。

阿里巴巴的研究團(tuán)隊為這個問題提出了一個巧妙的解決方案。他們的核心想法是讓AI像程序員寫代碼一樣，為每個問題生成一個"驗證程序"。這個驗證程序就像是一個專門的檢查工具，能夠系統(tǒng)性地驗證答案是否正確。

一、讓AI寫"驗證程序"來檢查自己的答案

研究團(tuán)隊開發(fā)的方法叫做"程序驅(qū)動自我糾錯"，簡稱ProgCo。這個方法的巧妙之處在于它模仿了程序員的工作方式。當(dāng)程序員寫完代碼后，通常會編寫測試程序來驗證代碼是否正確工作。研究團(tuán)隊讓AI也學(xué)會了這種方式。

整個過程可以比作一個嚴(yán)謹(jǐn)?shù)馁|(zhì)檢流程。首先，AI會針對收到的問題生成一個專門的驗證程序。這個程序就像是一個定制的檢查清單，專門用來驗證這類問題的答案。比如對于數(shù)學(xué)題，驗證程序可能會從答案開始，反向推算是否滿足題目條件。對于需要按特定格式回答的問題，驗證程序會檢查格式是否正確、內(nèi)容是否完整。

接下來，當(dāng)AI給出初始答案后，這個驗證程序就開始工作了。AI會像執(zhí)行代碼一樣，一步步運行這個驗證程序，檢查自己的答案。如果驗證通過，那么答案就被認(rèn)為是正確的。如果驗證失敗，AI就知道需要重新思考和修改答案。

這種方法的優(yōu)勢在于，驗證程序能夠表達(dá)比自然語言更復(fù)雜、更嚴(yán)謹(jǐn)?shù)臋z查邏輯。就像代碼比自然語言描述更精確一樣，程序化的驗證能夠捕捉到許多細(xì)微的錯誤，而這些錯誤在簡單的文字檢查中很容易被遺漏。

二、雙重優(yōu)化機(jī)制避免錯誤指導(dǎo)

研究團(tuán)隊很快意識到一個新問題：如果驗證程序本身有錯誤怎么辦？這就像用一把不準(zhǔn)的尺子去測量東西，測量結(jié)果肯定也是錯的。更糟糕的是，錯誤的反饋可能會誤導(dǎo)AI，讓它把正確的答案改錯。

為了解決這個問題，研究團(tuán)隊設(shè)計了一個雙重優(yōu)化的機(jī)制，叫做"程序驅(qū)動優(yōu)化"（ProgRe）。這個機(jī)制不僅會優(yōu)化AI的答案，還會同時優(yōu)化驗證程序本身。

當(dāng)驗證程序指出答案有問題時，AI不會直接按照反饋修改答案。相反，它會先進(jìn)行一個"預(yù)備反思"的過程。在這個過程中，AI會生成一個臨時的修改版本，然后將這個版本與原始答案進(jìn)行對比，分析兩者之間的差異，從中提取關(guān)鍵的改進(jìn)要點。

這種對比分析就像是在兩個不同版本的作文之間找差異，看看哪些修改是有意義的，哪些可能是不必要的。通過這種對比，AI能夠更好地理解問題的關(guān)鍵所在，然后基于這些洞察重新生成最終答案。

與此同時，驗證程序也在不斷進(jìn)化。每一輪驗證后，程序會根據(jù)答案的信息和驗證結(jié)果進(jìn)行自我反思和改進(jìn)。如果發(fā)現(xiàn)自己的檢查邏輯有漏洞或者過于嚴(yán)格，驗證程序會調(diào)整自己的檢查標(biāo)準(zhǔn)，變得更加準(zhǔn)確和合理。

這種雙重優(yōu)化的機(jī)制確保了整個系統(tǒng)能夠螺旋式上升，答案越來越準(zhǔn)確，驗證程序也越來越可靠。

三、在真實任務(wù)中的卓越表現(xiàn)

為了驗證這套方法的有效性，研究團(tuán)隊在三個不同類型的任務(wù)上進(jìn)行了大規(guī)模測試。這些任務(wù)包括指令遵循任務(wù)（類似于嚴(yán)格按照要求完成作業(yè)）、小學(xué)數(shù)學(xué)應(yīng)用題（GSM8K數(shù)據(jù)集）和高難度數(shù)學(xué)競賽題（MATH數(shù)據(jù)集）。

在指令遵循任務(wù)中，AI需要嚴(yán)格按照給定的格式和要求來回答問題。比如要求用全大寫字母回答、包含特定的標(biāo)題格式等。傳統(tǒng)的自我糾錯方法在這類任務(wù)上表現(xiàn)平平，有時甚至?xí)屧菊_的答案變得更糟。而使用ProgCo方法后，AI的表現(xiàn)有了顯著提升。

在數(shù)學(xué)問題上，這種改進(jìn)更加明顯。以GPT-3.5為例，使用ProgCo方法后，在GSM8K數(shù)據(jù)集上的準(zhǔn)確率提升了5.84%，在MATH數(shù)據(jù)集上提升了5.8%。經(jīng)過三輪優(yōu)化后，這些提升分別達(dá)到了7.28%和8.0%。

特別值得注意的是，許多傳統(tǒng)的自我糾錯方法在數(shù)學(xué)問題上不僅沒有改進(jìn)，反而會降低準(zhǔn)確率。這說明錯誤的自我檢查比不檢查還要糟糕。而ProgCo方法在各種類型的任務(wù)上都實現(xiàn)了持續(xù)的改進(jìn)，證明了其方法的可靠性。

研究團(tuán)隊還發(fā)現(xiàn)，這種程序化驗證方法在識別錯誤答案方面表現(xiàn)出色。在檢測錯誤答案的召回率和F1分?jǐn)?shù)上，ProgCo都顯著超越了傳統(tǒng)方法。這意味著它不僅能發(fā)現(xiàn)更多的錯誤，而且很少出現(xiàn)誤報。

四、可以與現(xiàn)實工具完美結(jié)合

這套方法還有一個重要優(yōu)勢：它可以輕松與現(xiàn)實世界的程序工具結(jié)合使用。由于驗證過程本身就是程序化的，當(dāng)遇到需要精確計算的情況時，AI可以調(diào)用真正的Python計算工具來執(zhí)行數(shù)值運算，而不是依賴自己有時不夠準(zhǔn)確的計算能力。

這種結(jié)合帶來了進(jìn)一步的性能提升。在需要精確計算字?jǐn)?shù)、檢查特定格式的任務(wù)中，結(jié)合Python工具后的ProgCo表現(xiàn)更加出色。比如在IFEval任務(wù)上，GPT-4o的表現(xiàn)從87.8%提升到91.31%。

這種設(shè)計哲學(xué)體現(xiàn)了研究團(tuán)隊的深刻洞察：AI不需要在所有方面都做到完美，而應(yīng)該學(xué)會在合適的時候借助合適的工具。就像一個聰明的學(xué)生會使用計算器來驗證復(fù)雜運算一樣，AI也可以在需要時調(diào)用專門的工具來確保準(zhǔn)確性。

五、超越傳統(tǒng)采樣方法的效率優(yōu)勢

研究團(tuán)隊還將ProgCo與另一種流行的AI改進(jìn)方法——自一致性采樣進(jìn)行了比較。自一致性采樣的基本思路是讓AI多次回答同一個問題，然后從多個答案中選擇最一致或最優(yōu)的那個。這種方法雖然有效，但需要消耗大量的計算資源。

比較結(jié)果顯示，ProgCo在效率方面具有明顯優(yōu)勢。在數(shù)學(xué)任務(wù)上，ProgCo只需要一輪糾錯就能超越3次采樣的性能，經(jīng)過五輪糾錯后甚至能夠匹敵10次采樣的效果。更重要的是，由于ProgCo具有早期停止機(jī)制（當(dāng)驗證通過時就停止），它的平均運行輪數(shù)只有大約1.2輪，效率遠(yuǎn)高于需要固定次數(shù)采樣的傳統(tǒng)方法。

這種效率優(yōu)勢意味著ProgCo可以在實際應(yīng)用中以更低的成本實現(xiàn)更好的效果。對于需要大規(guī)模部署的AI系統(tǒng)來說，這種效率提升具有重要的實用價值。

六、深入的案例分析揭示工作原理

為了更好地展示ProgCo的工作原理，研究團(tuán)隊提供了詳細(xì)的案例分析。在一個指令遵循的例子中，AI需要寫一個關(guān)于狗糧創(chuàng)業(yè)公司的笑話，要求全部使用大寫字母并包含特定格式的標(biāo)題。

驗證程序會檢查三個關(guān)鍵方面：回答是否全為大寫字母、是否為英文、是否包含正確格式的標(biāo)題。在執(zhí)行過程中，驗證程序發(fā)現(xiàn)原始答案不滿足大寫字母和標(biāo)題格式的要求，給出了具體的錯誤反饋。基于這個反饋，AI重新生成了符合所有要求的答案。

在數(shù)學(xué)問題的案例中，驗證程序采用了反向推理的方法。給定一個關(guān)于平均速度的問題，驗證程序從AI給出的答案開始，反向計算是否滿足題目條件。通過這種反向驗證，程序發(fā)現(xiàn)了原始答案中的邏輯錯誤，并指導(dǎo)AI找到了正確的解法。

這些案例清晰地展示了ProgCo方法的兩個核心優(yōu)勢：程序化驗證的嚴(yán)謹(jǐn)性和反向推理的有效性。程序化驗證確保了檢查過程的全面性和準(zhǔn)確性，而反向推理則提供了一個不同于正向思維的驗證視角。

七、方法的局限性和未來發(fā)展方向

研究團(tuán)隊也坦誠地指出了當(dāng)前方法的一些局限性。首先，雖然使用偽代碼和AI執(zhí)行器擴(kuò)展了應(yīng)用范圍，但這項研究主要在指令遵循和數(shù)學(xué)任務(wù)上進(jìn)行驗證，在其他類型的復(fù)雜任務(wù)上的表現(xiàn)還需要進(jìn)一步探索。

其次，雖然AI執(zhí)行器能夠整合自身知識和因果推理能力，但在處理大規(guī)模精確數(shù)值計算方面仍有局限。不過這個問題可以通過結(jié)合真實的符號計算工具來緩解，正如實驗中展示的那樣。

第三，由于缺乏專門的訓(xùn)練，研究團(tuán)隊使用了詳細(xì)的提示來指導(dǎo)AI完成各項任務(wù)，這增加了推理成本。未來可以通過為ProgCo的各個組件合成訓(xùn)練數(shù)據(jù)并聯(lián)合訓(xùn)練AI模型來解決這個問題，減少對提示的依賴并降低推理成本。

盡管存在這些局限，ProgCo方法代表了AI自我糾錯領(lǐng)域的一個重要突破。它不僅在技術(shù)上實現(xiàn)了創(chuàng)新，更重要的是提供了一種全新的思路——讓AI學(xué)會使用程序化工具來增強(qiáng)自身能力。

研究團(tuán)隊認(rèn)為，這種程序化自我糾錯的思路具有廣闊的應(yīng)用前景。隨著AI模型能力的不斷提升和計算資源的日益豐富，類似ProgCo這樣結(jié)合符號推理和神經(jīng)網(wǎng)絡(luò)優(yōu)勢的方法將會發(fā)揮越來越重要的作用。

說到底，這項研究解決的是一個我們在日常生活中都會遇到的問題：如何有效地檢查和改正自己的錯誤。研究團(tuán)隊通過讓AI模仿程序員的工作方式，找到了一個既實用又有效的解決方案。這不僅讓AI變得更加可靠，也為我們展示了人工智能與程序化工具結(jié)合的巨大潛力。

對于普通用戶來說，這意味著未來的AI助手將變得更加值得信賴。當(dāng)你請AI幫你處理復(fù)雜任務(wù)時，它不僅會給出答案，還會自動驗證答案的正確性，就像一個既聰明又謹(jǐn)慎的助手。而對于AI研究領(lǐng)域來說，這項工作開啟了一個新的研究方向，展示了如何通過巧妙的設(shè)計讓AI獲得更強(qiáng)的自我改進(jìn)能力。

Q&A

Q1：ProgCo是什么？它與傳統(tǒng)的AI自我糾錯方法有什么區(qū)別？

A：ProgCo是阿里巴巴研究團(tuán)隊開發(fā)的程序驅(qū)動自我糾錯方法。與傳統(tǒng)方法不同，它讓AI為每個問題生成專門的驗證程序，就像程序員寫測試代碼一樣。這種方法比簡單的文字檢查更嚴(yán)謹(jǐn)、更準(zhǔn)確，能夠發(fā)現(xiàn)更多細(xì)微錯誤并避免誤判。

Q2：ProgCo方法在實際任務(wù)中表現(xiàn)如何？

A：實驗結(jié)果顯示ProgCo在多個任務(wù)上都有顯著提升。在GPT-3.5上，GSM8K數(shù)學(xué)題準(zhǔn)確率提升了5.84%，MATH競賽題提升了5.8%，經(jīng)過多輪優(yōu)化后分別達(dá)到7.28%和8.0%的提升。在指令遵循任務(wù)上也有類似的改進(jìn)效果。

Q3：使用ProgCo方法需要很多計算資源嗎？

A：實際上ProgCo比傳統(tǒng)的多次采樣方法更節(jié)省資源。由于具有早期停止機(jī)制，它平均只需要1.2輪就能完成糾錯，而且一輪ProgCo的效果就能超越3次傳統(tǒng)采樣，效率優(yōu)勢明顯。