如今隨著AutoGLM的全面開源，硬件廠商、手機(jī)廠商和普通開發(fā)者都可以基于該模型打造自己的AI手機(jī)助手。

從“對(duì)話響應(yīng)”到“自主操作”，智譜AutoGLM展示了一個(gè)AI真正理解并使用手機(jī)的未來(lái)。

技術(shù)突破

這個(gè)被視為全球首個(gè)具備Phone Use能力的 AI Agent，能夠穩(wěn)定完成外賣點(diǎn)單、機(jī)票預(yù)訂等長(zhǎng)達(dá)數(shù)十步的復(fù)雜操作流程。它已經(jīng)支持微信、淘寶、抖音、美團(tuán)等超過(guò) 50 個(gè)高頻中文應(yīng)用的核心場(chǎng)景。

技術(shù)實(shí)現(xiàn)上，AutoGLM走了一條與眾不同的路徑。不同于傳統(tǒng)腳本依賴易被封禁的無(wú)障礙服務(wù)，它底層調(diào)用了ADB指令，結(jié)合視覺(jué)大模型AutoGLM-Phone-9B。

其運(yùn)行邏輯是看屏幕截圖 → 大模型分析 → 模擬手指點(diǎn)擊，這種基于視覺(jué)的“類人操作”讓 App 廠商通過(guò)簡(jiǎn)單的代碼檢測(cè)進(jìn)行防御變得極其困難。

據(jù)其他媒體報(bào)道，在下達(dá)點(diǎn)單指令后，AutoGLM 可自主完成打開App、搜索店鋪、篩選商品、關(guān)閉廣告彈窗等操作，全程耗時(shí)約一分半鐘。

智譜自 2023 年 4 月開始投入 Phone Use 方向，到 2025 年 8 月發(fā)布的 AutoGLM2.0 已經(jīng)可以完成類似豆包手機(jī)展示的功能。該項(xiàng)目負(fù)責(zé)人劉瀟表示，團(tuán)隊(duì)建立了一整套 Phone Use 能力框架，將點(diǎn)擊、滑動(dòng)、輸入、界面理解抽象化

生態(tài)重塑

智譜在此時(shí)選擇開源，正值豆包與互聯(lián)網(wǎng)大廠之間的對(duì)峙白熱化。

就在一周前，字節(jié)跳動(dòng)的“豆包手機(jī)”工程樣機(jī)憑借其系統(tǒng)級(jí)權(quán)限和跨應(yīng)用自動(dòng)化能力，讓市場(chǎng)首次直觀感受到 AI Agent 手機(jī)的顛覆性潛力。

然而這種能力迅速觸碰了互聯(lián)網(wǎng)行業(yè)的逆鱗。微信、淘寶及多家銀行App隨即啟動(dòng)防御機(jī)制，用戶反饋當(dāng)豆包助手嘗試接管這些應(yīng)用時(shí)，會(huì)出現(xiàn)異常退出、風(fēng)險(xiǎn)提示甚至封號(hào)的情況。

業(yè)內(nèi)分析認(rèn)為，這種能繞過(guò)App直接完成任務(wù)、讓服務(wù)直達(dá)用戶的AI助手，會(huì)直接沖擊互聯(lián)網(wǎng)大廠基于用戶停留和廣告變現(xiàn)的商業(yè)模式。

智譜的開源策略，則為這場(chǎng)僵局提供了另一種可能性�！斑@件事只在一家公司做，是不夠的。” 智譜在官方通稿中明確表示，AutoGLM開源的初衷是把這一層能力變成整個(gè)行業(yè)可以共同擁有、共同打磨的公共底座。技術(shù)架構(gòu)方面，豆包手機(jī)依賴 Android 系統(tǒng)權(quán)限，AutoGLM 則采用視覺(jué)大模型+ADB 指令的開源框架。并且，AutoGLM 為開放生態(tài)，賦能全行業(yè)開發(fā)者。

根據(jù)北京計(jì)算機(jī)學(xué)會(huì)AI專委會(huì)秘書長(zhǎng)張有魚判斷，未來(lái)的AI手機(jī)市場(chǎng)不會(huì)只有一個(gè)豆包。手機(jī)巨頭們將擁有自研助手，二三線品牌和新興設(shè)備商采用 AutoGLM 等開源方案快速跟進(jìn)，形成多層次、多形態(tài)的競(jìng)爭(zhēng)局面。

這次開源帶來(lái)的最大變化，是技術(shù)門檻的大幅降低。硬件廠商、手機(jī)廠商和開發(fā)者均可基于 AutoGLM，在自己的設(shè)備或系統(tǒng)中復(fù)現(xiàn)一個(gè)能“看懂”屏幕、并模擬真人進(jìn)行點(diǎn)擊、輸入、滑動(dòng)的 AI 助手。

尤其值得注意的是，AutoGLM 支持本地與云端雙重部署模式，確保數(shù)據(jù)與隱私控制權(quán)掌握在使用者手中。

開源框架 Open-AutoGLM 還可提前預(yù)判，嵌入敏感操作分級(jí)確認(rèn)機(jī)制。常規(guī)操作 AI 可自主執(zhí)行，支付、轉(zhuǎn)賬等敏感操作需用戶確認(rèn)方可進(jìn)行。

除了手機(jī)領(lǐng)域，AutoGLM 還可能推動(dòng)其他硬件設(shè)備的進(jìn)化。以前的穿戴式設(shè)備受制于交互方式的限制，幾乎難以替代手機(jī)的任何功能，而現(xiàn)在通過(guò) AutoGLM，絕大多數(shù)簡(jiǎn)單的任務(wù)都能輕松完成

參考資料：

https://www.cls.cn/detail/2225027

https://stcn.com/article/detail/3531053.html

https://awtmt.com/articles/3760976

https://app.dahecube.com/nweb/wap/article.html?artid=255755?chname=%e6%8e%a8%e8%8d%90?qtype=0