這項由新加坡南洋理工大學S-Lab實驗室的胡開睿、吳鵬昊等研究團隊，聯(lián)合卡內基梅隆大學的岳翔教授共同完成的研究，于2025年1月23日發(fā)表在arXiv預印本平臺上。有興趣深入了解的讀者可以通過論文編號arXiv:2501.13826v1或訪問項目主頁https://videommmu.github.io/獲取完整研究內容。

當我們人類觀看一段教學視頻時，大腦會自然而然地經(jīng)歷三個階段：首先感知視頻中的關鍵信息，然后理解其中蘊含的知識概念，最后將學到的知識應用到全新的問題中。就像學習做菜一樣，我們先觀察廚師的每個動作細節(jié)，接著理解背后的烹飪原理，最后能夠舉一反三地制作出不同口味的菜肴。

然而，當前被譽為"智能"的大型多模態(tài)模型在觀看教學視頻時，是否也能像人類一樣真正掌握并運用新知識呢？這個看似簡單的問題，實際上觸及了人工智能發(fā)展的核心挑戰(zhàn)。

為了回答這個問題，研究團隊構建了一個名為Video-MMMU的大規(guī)模評測基準。這就像為AI學生準備了一場全面的期末考試，考試內容涵蓋藝術、商業(yè)、科學、醫(yī)學、人文和工程六大學科領域，總共包含300個專家級別的教學視頻和900道精心設計的問題。

每個視頻都配備了三種不同難度的問題，對應人類學習的三個認知階段。感知類問題就像問學生"視頻中老師寫在黑板上的公式是什么"，考查的是基礎信息提取能力。理解類問題則更深入一些，比如"根據(jù)視頻中的解題方法，如果將角度從25度改為30度，結果會是什么"，這需要真正理解解題原理。而適應類問題最具挑戰(zhàn)性，要求AI將視頻中學到的知識應用到全新的情境中，就像學會了一種數(shù)學公式后，能夠解決完全不同的實際問題。

研究團隊還提出了一個創(chuàng)新的"知識增益"指標，用來量化AI在觀看視頻前后的表現(xiàn)提升程度。這個指標就像測量一個學生上課前后的進步幅度，能夠客觀反映視頻教學的實際效果。

當研究人員將這套評測系統(tǒng)應用到當前最先進的AI模型上時，結果令人深思。人類專家在觀看視頻后，知識增益達到了33.1%，展現(xiàn)出強大的學習能力。相比之下，表現(xiàn)最好的GPT-4o模型只達到了15.6%的知識增益，而Claude-3.5-Sonnet模型僅為11.4%。更令人意外的是，一些模型甚至出現(xiàn)了負增長，意味著觀看視頻后的表現(xiàn)反而不如之前。

這種現(xiàn)象背后隱藏著深層的原因。研究團隊通過詳細分析發(fā)現(xiàn)，AI模型在處理視頻信息時存在兩個顯著問題。首先是"對答案轉換率"與"錯答案轉換率"之間的失衡。雖然模型能夠將一些原本答錯的題目改正過來，但同時也會將原本答對的題目改錯，而且后者的比例往往更高。這就像一個學生在復習過程中，雖然弄懂了一些之前不會的題目，但卻把原本掌握的知識搞混了。

其次，模型在適應新場景時表現(xiàn)出明顯的局限性。研究人員發(fā)現(xiàn)，64%的錯誤屬于"方法適應錯誤"，即模型能夠正確回憶視頻中的知識點，但無法靈活地將這些知識運用到新的問題情境中。這就像一個學生雖然記住了老師講的例題解法，但面對變式題目時卻無法舉一反三。

為了更深入地理解這些問題，研究團隊還探索了音頻信息對模型表現(xiàn)的影響。結果發(fā)現(xiàn)，添加音頻轉錄確實能夠改善感知和理解任務的表現(xiàn)，但在適應任務上反而出現(xiàn)了下降。這種矛盾現(xiàn)象表明，音頻信息雖然能夠豐富模型對視頻內容的理解，但可能會干擾模型將知識應用到新情境的能力。

在具體的學科表現(xiàn)上，AI模型在藝術和人文學科中的表現(xiàn)相對較好，這些領域主要涉及概念性知識的理解。然而，在科學、工程、商業(yè)和醫(yī)學等需要定量推理和復雜視覺分析的學科中，模型的表現(xiàn)明顯下降。這反映了當前AI技術在處理抽象概念與具體應用之間轉換方面的不足。

研究還揭示了一個有趣的現(xiàn)象：模型在處理不同類型的視頻內容時表現(xiàn)差異很大。對于概念介紹類視頻，模型能夠較好地提取和理解核心信息。但面對問題解決類視頻時，特別是那些展示具體解題步驟的內容，模型往往難以準確掌握其中的邏輯過程并應用到新問題中。

為了驗證這些發(fā)現(xiàn)的普遍性，研究團隊測試了包括開源和商業(yè)模型在內的多種AI系統(tǒng)。從輕量級的LLaVA-OneVision到大型的GPT-4o，幾乎所有模型都表現(xiàn)出相似的模式：隨著認知要求的增加，性能逐步下降，適應能力始終是最大的短板。

這項研究的意義遠不止于揭示當前AI的局限性。它為我們理解人工智能的學習機制提供了新的視角，同時也指出了未來發(fā)展的方向。研究結果表明，雖然AI模型在信息處理和模式識別方面已經(jīng)達到了很高的水平，但在知識的靈活運用和創(chuàng)新應用方面仍有很大的提升空間。

從技術角度來看，這項研究為改進大型多模態(tài)模型的訓練方法提供了重要參考。當前的模型訓練更多關注的是信息的準確獲取和存儲，但如何讓模型真正"理解"知識并靈活運用，仍然是一個待解決的挑戰(zhàn)。

從教育應用的角度來看，這項研究也提醒我們，雖然AI技術在教育領域展現(xiàn)出巨大潛力，但要讓AI真正成為有效的學習助手，還需要在知識遷移和應用能力方面取得突破。目前的AI更像是一個記憶力超強但缺乏靈活性的學生，能夠準確復述老師講過的內容，但在面對新問題時往往顯得手足無措。

這項研究的另一個重要貢獻是建立了一個標準化的評測框架。Video-MMMU基準不僅為當前AI模型的能力評估提供了工具，也為未來的技術改進指明了方向。通過這個基準，研究人員可以更準確地衡量模型在視頻理解和知識應用方面的真實水平，避免被表面的高分數(shù)所誤導。

值得注意的是，人類在這項評測中表現(xiàn)出的卓越能力再次證明了人類學習的獨特之處。人類不僅能夠從視頻中高效提取信息，還能夠將學到的知識與已有經(jīng)驗結合，創(chuàng)造性地解決新問題。這種能力的背后是數(shù)十年教育經(jīng)驗和認知發(fā)展的積累，而當前的AI模型顯然還沒有達到這樣的水平。

從更廣闊的視角來看，這項研究觸及了人工智能發(fā)展中的一個核心問題：如何讓機器真正具備類人的學習能力。雖然當前的AI在許多特定任務上已經(jīng)超越了人類，但在通用學習能力方面仍有很大差距。Video-MMMU的研究成果提醒我們，真正的人工智能不僅要能夠處理信息，更要能夠像人類一樣從經(jīng)驗中學習，并將知識靈活應用到新的情境中。

說到底，這項研究為我們描繪了一個清晰的現(xiàn)狀：雖然AI技術發(fā)展迅速，但在真正的知識學習和應用方面，我們仍然處于起步階段。Video-MMMU基準的建立不僅是對當前技術水平的客觀評估，更是對未來發(fā)展方向的重要指引。隨著技術的不斷進步，我們有理由相信，AI終將具備更強的學習和適應能力，真正成為人類學習和工作的得力助手。對于有興趣深入了解這項開創(chuàng)性研究的讀者，可以通過上述鏈接訪問完整的研究論文和相關資源。

Q&A

Q1：Video-MMMU評測基準包含哪些內容？

A：Video-MMMU是一個大規(guī)模多學科視頻理解評測基準，包含300個專家級教學視頻和900道問題，覆蓋藝術、商業(yè)、科學、醫(yī)學、人文、工程六大學科。每個視頻配備三種類型問題：感知類（提取關鍵信息）、理解類（掌握概念原理）、適應類（應用到新場景），全面評估AI從視頻中學習知識的能力。

Q2：當前AI模型在視頻學習方面表現(xiàn)如何？

A：研究發(fā)現(xiàn)AI模型存在明顯局限。人類專家觀看視頻后知識增益達33.1%，而表現(xiàn)最好的GPT-4o僅為15.6%，Claude-3.5-Sonnet為11.4%。AI在適應新場景時尤其困難，64%的錯誤屬于方法適應錯誤，即能記住視頻內容但無法靈活運用到新問題中。

Q3：這項研究對AI技術發(fā)展有什么意義？

A：這項研究揭示了當前AI技術的核心缺陷，為改進方向提供了指引。它表明AI雖然在信息處理方面表現(xiàn)出色，但在知識的靈活運用和創(chuàng)新應用方面仍有很大提升空間。Video-MMMU基準為評估和改進AI的真實學習能力提供了標準化工具，推動AI向更接近人類的通用學習能力發(fā)展。