打開手機(jī)，讓 AI Agent 自動幫你完成訂外賣、訂酒店、網(wǎng)上購物的瑣碎任務(wù)，這正成為智能手機(jī)交互的新范式。
一個能自主處理大部分日常任務(wù)的個人專屬智能體，正在從科幻走進(jìn)現(xiàn)實。
然而，通往 “解放雙手” 的最后一公里卻并不好走。如何高效地訓(xùn)練和在手機(jī)端部署 Agent 模型，長期以來似乎都是少數(shù)大廠的 “自留地”。從高質(zhì)量操作數(shù)據(jù)的獲取，到模型的訓(xùn)練與適配，再到移動端 APP 的優(yōu)化，重重門檻將絕大多數(shù)開發(fā)者和普通用戶擋在門外，也極大地限制了移動端 Agent 的生態(tài)發(fā)展。
就在剛剛，這一局面迎來了新的破局者。
來自上海交通大學(xué) IPADS 實驗室的團(tuán)隊，正式開源了一套名為MobiAgent的移動端智能體 “全家桶”。
論文地址： https://arxiv.org/abs/2509.00531AgentRR 論文：https://arxiv.org/abs/2505.17716項目倉庫： https://github.com/IPADS-SAI/MobiAgent模型：https://huggingface.co/IPADS-SAI/collectionsAPP：https://github.com/IPADS-SAI/MobiAgent/releases/download/v1.0/Mobiagent.apk
這套框架，首次將從 0 到 1 構(gòu)建手機(jī) Agent 的全流程完整地向所有用戶開放。這意味著，從收集手機(jī)操作軌跡數(shù)據(jù)開始，到訓(xùn)練出一個能聽懂自然語言指令、幫你處理日常事務(wù)的專屬 Agent，再到最終將它部署在自己的手機(jī)上，現(xiàn)在，人人都能上手 DIY。
當(dāng)然，光能 “煉” 還不夠，性能必須能打。為了驗證 MobiAgent 的真實能力，研究團(tuán)隊直接在國內(nèi) Top 20 的 App 上進(jìn)行了實測。結(jié)果顯示，7B 規(guī)模的 MobiAgent 模型，在任務(wù)平均完成分上，不僅超越了GPT-5、Gemini 2.5 Pro 等一眾頂級閉源大模型，也優(yōu)于目前最強(qiáng)的同規(guī)模開源 GUI Agent 模型。
除了 Agent 能力之外，團(tuán)隊還為 Agent 設(shè)計了一個獨特的 “潛記憶加速器”。面對點外賣、查地圖這類高頻重復(fù)操作，MobiAgent 能夠 “舉一反三”，通過學(xué)習(xí)歷史操作來簡化決策，靠 “肌肉記憶” 完成 Agent 任務(wù)，最終將端到端的任務(wù)性能提升了2-3 倍。這樣一套集“數(shù)據(jù)捕獲、模型訓(xùn)練、推理加速、自動評測”于一體的四位一體框架，可以說，徹底打通了移動智能體從開發(fā)到落地的 “最后一公里”。
這，或許才是普通人真正想要的 Agent。那么，MobiAgent 究竟是如何做到的？
https://mp.weixin.qq.com/s/ylbyEGyj3-kl7Ta6a4OPUw
Agent 養(yǎng)成全攻略：三步走
要讓 AI 學(xué)會玩手機(jī)，首先得讓它看懂人是怎么操作的。MobiAgent 的第一大核心，就是貢獻(xiàn)了一套 AI 輔助的敏捷數(shù)據(jù)收集 “流水線”。
過去，給 AI 準(zhǔn)備 “教材”（標(biāo)注數(shù)據(jù)）又貴又慢?，F(xiàn)在，MobiAgent 用一個輕量級小工具，就能記錄下人類在手機(jī)上的所有點擊、滑動、輸入等操作軌跡。對于一些簡單的任務(wù)，這一錄制過程甚至可以完全交給大模型完成，進(jìn)一步提高了數(shù)據(jù)收集的效率。
MobiAgent數(shù)據(jù)收集與自進(jìn)化流程
但只有操作還不夠，AI 得理解 “為什么” 這么做。于是，團(tuán)隊使用通用的 VLM 模型（例如 gemini-2.5-pro），讓它對著操作記錄，“腦補(bǔ)” 出每一步的思考過程和邏輯，自動生成高質(zhì)量的 “帶思路” 的訓(xùn)練數(shù)據(jù)。最后，也是最重要的一步，這些數(shù)據(jù)會經(jīng)過一個自動化 “精煉流水線”，調(diào)整數(shù)據(jù)的難易平衡比例、輸入任務(wù)描述、歷史信息長度等等，讓訓(xùn)練出的 Agent 模型具有更強(qiáng)的泛化能力。
有了高質(zhì)量的教材，下一步就是訓(xùn)練。MobiAgent 的"大腦"MobiMind，被設(shè)計成了一個分工明確的 “三人小組”：
Planner（規(guī)劃師）： 負(fù)責(zé)理解復(fù)雜任務(wù)，進(jìn)行拆解。Decider（決策者）： 看著當(dāng)前手機(jī)屏幕，決定下一步干啥。Grounder（執(zhí)行者）： 負(fù)責(zé)把 “點搜索按鈕” 這種指令，精準(zhǔn)定位到屏幕上的坐標(biāo)并點擊。
這種 “各司其職” 的架構(gòu)，讓模型訓(xùn)練起來更高效，能力也更強(qiáng)。
讓 Agent 擁有 “肌肉記憶”，速度飆升 3 倍
光聰明還不夠，反應(yīng)慢也是硬傷。你肯定不想讓 Agent 幫你買杯咖啡，結(jié)果思考了半分鐘。為此，MobiAgent 團(tuán)隊祭出了第二個大殺器：AgentRR（Agent Record&Replay）加速框架。這個框架的核心思想，就跟我們?nèi)祟惖?“肌肉記憶” 一樣：對于重復(fù)做過的事，直接憑經(jīng)驗搞定，不用再過一遍大腦。
AgentRR系統(tǒng)架構(gòu)
AgentRR 會把智能體執(zhí)行過的任務(wù)軌跡，通過樹的形式記錄在一個叫ActTree的結(jié)構(gòu)里。當(dāng)接到一個新任務(wù)時，一個超輕量的 “潛意識”（Latent Memory Model）會迅速判斷：
這個任務(wù)我是不是做過類似的？前幾步是不是可以照搬？
比如，無論是 “搜附近的火鍋店” 還是 “搜附近的電影院”，點開地圖 App、點搜索框這兩步都是完全一樣的。AgentRR 就能直接 “復(fù)用” 這段操作，跳過大模型的思考過程，從而大幅提升效率。效果有多好？在模擬真實用戶使用習(xí)慣（80% 請求集中在 20% 任務(wù)）的測試中，動作復(fù)用率高達(dá)60%-85%。反映在實際任務(wù)上，就是2 到 3 倍的性能提升。
不同請求分布下，AgentRR 的動作復(fù)用率
真實場景大比拼：誰是 「手機(jī)操作之王」？
是騾子是馬，拉出來遛遛。為了公平地評判各大模型的真實能力，團(tuán)隊還專門打造一個更貼近現(xiàn)實的移動端智能體評測基準(zhǔn)：MobiFlow。這個基準(zhǔn)會基于任務(wù)的一個個關(guān)鍵節(jié)點，也就是 “里程碑”，對在動態(tài) GUI 環(huán)境中執(zhí)行任務(wù)的 Agent 進(jìn)行精確打分，避免了 “不是滿分，就是零分” 的單一評判標(biāo)準(zhǔn)，并且覆蓋了社交、影音、購物、旅行、外賣等多個領(lǐng)域的國產(chǎn)主流 App。
MobiFlow智能體評測基準(zhǔn)
最終的評測結(jié)果，MobiAgent（MobiMind-Decider-7B + MobiMind-Grounder-3B 的組合）在絕大多數(shù) App 上都取得了最高分，尤其是在購物、外賣這類復(fù)雜任務(wù)上，優(yōu)勢非常明顯。相比之下，像 GPT 和 Gemini 這樣的大模型，雖然也能完成一些任務(wù)，但有時會 “走捷徑”，比如把所有要求一股腦全塞進(jìn)搜索框，依賴 App 自身的 AI 搜索能力。這種 “偷懶” 的做法一旦遇到不支持 AI 搜索的 App，完成率就大幅下降。更重要的是，MobiAgent 在所有測試中都能正確終止任務(wù)，而 GPT-5 在 11 個 App 上都出現(xiàn)了 “無限循環(huán)” 卡住的問題。
總結(jié)
MobiAgent 的出現(xiàn)，不僅在性能上樹立了新的標(biāo)桿，更重要的是，它通過開源整個技術(shù)棧，極大地降低了定制化、私有化移動智能體的門檻。從日常應(yīng)用的 Agent 開發(fā)，到每個人的個性化專屬助理，想象空間被徹底打開。
或許，那個 “能動口就不動手” 的智能移動時代，就快到來了。
項目成員介紹
MobiAgent核心開發(fā)團(tuán)隊主要由上海交通大學(xué)IPADS實驗室（并行與分布式系統(tǒng)研究所）的端側(cè)智能體研究小組的本科生和碩士生，以及John班的實習(xí)生組成。主要指導(dǎo)教師為上海交通大學(xué)人工智能學(xué)院助理教授馮二虎。
