← 全部文章
AI 與智慧體 業務決策者 已釋出 · · 作者 ObjectStack Team

為什麼 AI Agent 試點進不了生產:缺的是四層執行基礎

一個 agent 演示可以很精彩,生產評審卻只問一件事:你怎麼證明它不會越權、會等審批、能交出審計證據?試點失敗通常不是模型不夠強,而是缺語義、許可權、審批和審計四層。

為什麼 AI Agent 試點進不了生產:缺的是四層執行基礎
  • AI Agent
  • 落地
  • ROI
  • 治理
  • 執行時
  • 趨勢觀點

先給結論:進不了生產的 agent 試點,輸的通常不是模型,而是腳下缺了語義、許可權、審批、審計這四層。補更強的模型能改善答案質量,但不能替你證明“誰能看什麼、誰批准了什麼、證據在哪裡”。

那個專案,演示日拿了滿堂彩。

牽頭的業務負責人老陳記得很清楚:客服 agent 現場答了七八個刁鑽問題,又快又準,會議室裡有人鼓掌。高管當場拍板擴大投入,給了預算、給了人。那是他職業生涯裡少有的高光時刻。

四個月後,這個專案被悄悄關停了。預算寫進了沉沒成本,老陳在管理層心裡的可信度也跟著折了一道。

殺死它的不是模型——模型一直很能打。是法務在一次上線評審裡問的一個問題:“這個 agent 回答 A 客戶時,能不能保證不會把 B 客戶的資訊也用進去?你怎麼證明它做不到?”

沒人能證明。不是因為它一定會洩露,而是因為系統里根本沒有一個地方,能攔住它、或事後說清它有沒有這麼幹過。那一刻老陳才明白:從頭到尾,問題就不在模型。

他不是一個人。很多 agent 試點都經歷同一個路徑:演示日很亮,生產評審很安靜。它們不是突然不會回答問題,而是回答不了“怎麼證明它受控”。

換更強的模型,為什麼不管用

面對這種成績單,大多數團隊的第一反應是同一個:模型不夠強。於是換更大的模型、調更精的提示詞、上更復雜的編排。

通過率未必因此改善。因為從試點到生產,真正重的工作往往是資料工程、治理、流程整合和度量;模型本身只是一部分。絕大多數試點不是死於”不夠聰明”,是死於模型腳下缺了幾層東西——而那幾層,換多強的模型都補不上,因為它們根本不在模型這一側。

先做 PoC 快速驗證,難道有錯嗎?

這裡要接一個聽起來無懈可擊的反駁:先搭個 demo、跑個 PoC 驗證價值,本來就是正確的做法,難道一上來就該把一個演示過度工程化嗎?

PoC 本身沒錯。錯的是它驗證了錯的東西

老陳那個 demo,驗證的是”模型答得好不好”——而這恰恰是整個專案裡最不需要擔心的部分。它沒驗證、也設計成不去碰的,是那四層會真正決定生死的東西(許可權、口徑、審批、留痕)。於是 PoC 給了管理層一個錯誤的信心:既然演示這麼順,擴大投入風險應該不大吧?四個月後大家才發現,演示的順利和生產的可行,幾乎不相關。

所以正確的 PoC,不該只問”模型能不能答對”,更要問”這個答案能不能在許可權、審批、留痕都齊的真實環境裡,安全地交付給對的人”。驗證錯了物件,越漂亮的 demo,越是埋得越深的坑。

演示,天生就不需要那四層——所以它騙了你

為什麼 demo 的順利會和生產脫節得這麼徹底?因為一個好的演示,被設計成不觸發任何治理問題——它用一份匯出的資料、給一個人看,不會去問”這個使用者能不能看這條""這步要不要先審批”。

於是有個殘酷的推論:每一次成功的演示,都系統性地隱藏了它將來會失敗的原因。 你看到的越漂亮,被藏起來的那幾層就越深。接生產資料那一刻,環境徹底變了,決定成敗的是模型腳下有沒有這四層:

它必須能回答缺的是哪一層缺了會怎樣
”客戶”到底指什麼?口徑在哪?① 語義層答非所問、口徑打架,業務不認
A 客戶的資訊會不會用到 B 客戶身上?② 許可權層越權洩露,法務一票否決
這步該不該先等人審批?③ 流程與審批層該停的沒停,沒人敢讓它動手
這筆操作是誰、何時、依據什麼做的?④ 審計層交不出證據,合規直接攔下

老陳那個專案,死在第②行。

為什麼這四層總是缺席

那為什麼不一開始就建好?因為按傳統做法,每一層都是一大塊橫切的硬工程:語義層要把十幾個系統的資料對齊成統一物件模型;許可權層要把散在各應用程式碼裡的規則收成一致策略;審批要接現有體系;審計要把人和 AI 的動作匯進同一本賬。它們不是某個功能的一部分,而是墊在所有功能底下的地基——又髒又慢,還全是演示裡看不見的部分。

更糟的是,很多團隊為每個試點單獨重建這四層。這輪結束、換個場景,四層重來一遍。預算和耐心,全耗在反覆造地基上。

判斷你的試點能不能進生產,不用等四個月,對著四層各問一句就夠了:

  1. 語義:換個人問 agent 同一個業務問題,口徑一致嗎?還是各答各的?
  2. 許可權:你能不能證明它只會讓每個人看到自己有權看的資料?
  3. 審批:高風險動作,它會自動停下來等人簽字,還是直接做了?
  4. 審計:隨便挑一筆它做過的事,能不能調出完整經過?

四個都答得出”是”,你才有進入生產評審的基礎。有一個答”不確定”,那就是下一個老陳。

進了生產的專案長什麼樣

值得看一個反例,因為它和老陳的差別,恰恰不在模型上。

另一家公司做了幾乎一樣的客服 agent,用的模型還更樸素一些。但他們沒從”讓模型答得漂亮”起步,而是先把四層搭在了一個統一的執行時上:客戶、訂單、工單都是同一套物件(語義齊了);agent 以提問坐席的身份行動、只能看該坐席有權看的資料(許可權齊了);退款超額自動轉人工(審批齊了);每個動作落進同一本賬(審計齊了)。

他們的演示日沒有老陳那麼炸——答得穩,但不驚豔。可上線評審時,法務問出同樣那個問題,專案經理當場調出許可權集和一條審計記錄,證明 agent 只能以坐席身份、看坐席有權看的資料,越權會被執行時當場攔下並留痕。法務點頭,專案放行。

差別就在這兒:進了生產的專案,不是隻靠模型贏了,而是把那四層提前搭好了,所以經得起被問”你怎麼證明”。 老陳輸的不是技術含量,是順序——他把最不該只盯著的(模型)放在了前面,把真正決定生死的(四層)留到了最後。

先潑一盆冷水:四層齊了,也不保證成功

這裡得誠實一句,否則又成了萬能藥。

很多試點還會死於變更管理——人不用、流程不改、組織不認。這和”死於缺四層”不矛盾,是一件事的兩面:一個法務不敢放行、業務不認口徑的系統,連被組織採納的入場券都拿不到;但反過來,四層齊備只是拿到了入場券,不等於贏得了比賽

技術就緒是必要條件,不是充分條件。四層讓 agent 的動作可控、可追溯、可解釋,組織才有可能信任它、採納它——但真要落地,還得有人推動流程改變、有人願意改變習慣。誰要說”補齊這四層,試點就一定成功”,那是過度承諾。它清掉的是技術性的死因,清不掉組織性的。

出路:四層來自執行時,不靠每個專案重建

能提高試點進入生產機率的,不是隻換更強的模型,而是讓這四層不再是每個專案的自建工程,而是執行時自帶的能力

拿一個裝置報修場景。你只宣告物件和它的許可權:

export const RepairTicket = ObjectSchema.create({
  name: 'ops_repair_ticket',
  label: '報修單',
  fields: {
    device: Field.lookup('ops_device', { label: '裝置', required: true }),
    cost: Field.currency({ label: '維修費用', min: 0 }),
  },
});

剩下四層由執行時(ObjectOS)一次性給齊:語義層——這份宣告本身就是 agent 看懂業務的依據;許可權層——誰能讀寫報修單,執行時每次呼叫強制核驗;流程與審批層——“維修費超額走審批”是掛在物件上的宣告式流程,自動暫停等簽字;審計層——人和 agent 的每次動作落進同一本賬。換下個場景,這四層不用重建,只要再宣告幾個物件。那”80% 的反覆造地基”,被壓成了幾百行宣告。

老陳那個專案如果是這麼搭的,法務那個問題就不會是死刑:他能當場調出許可權集,證明 agent 只能以提問者的身份、看提問者有權看的資料——第②層本來就在腳下,專案也就有機會當場放行。

結語

真正進了生產的專案,靠的很少只是最好的模型。靠的是模型腳下那四層——語義、許可權、流程、審計——穩穩地在;也靠組織真的把它用起來。前者是入場券,後者是比賽,兩個都得要。

所以如果你的 agent 試點又卡住了,先別急著換模型。問老陳四個月後才學會問的問題:它腳下這四層,到底建了幾層? 這比再調一版提示詞,省錢得多,也救得了一個專案和一個人的可信度。

npm i -g @objectstack/cli && os start

宣告一個物件和它的許可權,讓 agent 去用它——你會發現那四層已經在腳下了,而你只寫了幾十行。