檢測到您的瀏覽器版本過低,可能導致某些功能無法正常使用,建議升級您的瀏覽器,或使用推薦瀏覽器 Google Chrome 、Edge、Firefox 。 X
自主型 AI(Agentic AI,也被稱為智能體 AI)作為從生成式 AI 演進而來的新型人工智能系統,憑借自主規劃、執行、迭代的核心能力實現了從 “內容生成” 到 “實際行動” 的跨越,成為產業落地與社會應用的重要方向,但也因自主性提升帶來了全新的安全風險與治理挑戰。2026年1月,新加坡率先在全球發布針對智能體 AI 的專項治理框架《智能體人工智能治理示范框架》與配套安全指南《保護自主型 AI》,確立了以人類責任為核心的治理原則,提出了全生命周期的風險評估方法與安全控制措施,為全球智能體 AI 治理提供了首個官方參考范式。
人工智能技術的發展正從單純的模式識別、內容生成向自主化、智能化的方向深度推進,自主型 AI(智能體 AI)的出現標志著 AI 系統正式進入“能思考、會行動” 的新階段。新加坡資訊通信媒體發展局(IMDA)與網絡安全局(CSA)在各自發布的治理文件中,均對智能體 AI 的定義、技術組件、系統設計與能力特征進行了明確界定,其核心區別于傳統生成式 AI 的特征在于少人工干預下的自主任務執行能力,這也是其技術價值與風險挑戰的核心來源。
新加坡 CSA 將自主型 AI 定義為 “能夠為了實現特定目標而進行多步驟規劃、執行、批判和迭代的自我管理 AI 系統”,該系統超越了傳統 AI 的預定響應模式,具備理解上下文、制定計劃并獨立采取行動的復雜能力;新加坡 IMDA 則進一步強調,智能體 AI 并非單一模型,而是具備自主規劃與執行能力的系統,其核心特征是在較少人工干預的情況下,自主分解任務、調用外部工具并執行連續操作,輸出不再止于文本或建議,而是直接表現為數據庫更新、交易執行、流程推進等具有現實影響的具體行為。因此,智能體 AI 的核心內涵可概括為“目標導向、自主行動、閉環迭代”,即圍繞既定目標完成 “規劃、執行、評估、優化” 的全流程,無需人類持續介入,這也是其與生成式 AI 最本質的區別,生成式 AI 的核心價值是內容生產,而智能體 AI 的核心價值是行動落地。
智能體 AI 并非單一技術模塊,而是由多個核心組件協同構成的復雜系統,各組件相互配合形成了其自主行動的技術基礎,新加坡 CSA 在《保護自主型 AI》中明確了其五大核心組件,各組件的功能與作用形成了完整的技術閉環,具體如下表所示:
表1 :智能體技術組件表
組件 | 核心描述 | 功能定位 |
大型語言模型(LLM) | 作為系統的中央推理和規劃引擎 | “大腦”,處理指令、解釋用戶輸入并生成行動規劃 |
工具(Tools) | 涵蓋讀寫文件、控制設備、執行交易等功能性模塊,可通過傳感器或 API 獲取環境信息 | “手腳”,擴展 LLM 的能力,將規劃轉化為實際行動 |
指令(Instructions) | 定義代理的角色、能力和行為約束的命令,如 LLM 的系統提示 | “規則手冊”,劃定 AI 的行動邊界與行為準則 |
記憶(Memory) | 分為短期記憶(臨時存儲)與長期記憶(持久存儲),為 LLM 提供可訪問的信息 | “知識庫”,支撐 AI 的決策與迭代,保留歷史操作與環境信息 |
協議(Protocols) | 為代理與工具、代理與代理之間的通信提供標準化方式 | “通信語言”,保障系統內部、系統與外部的信息交互效率與安全性 |
五大組件的集成使得智能體 AI 能夠突破單一模型的能力限制,實現與外部環境、系統的深度交互,這也是其能夠落地于企業流程自動化、客戶服務、欺詐檢測等實際場景的技術前提。
系統設計直接決定了智能體 AI 的自主性水平、風險等級與應用場景,新加坡網絡安全局(CSA)從架構類型、自主性級別、設計模式三個維度對智能體 AI 的系統設計進行了分類,成為后續風險評估與安全治理的重要依據。
智能體 AI 的架構主要分為單代理與多代理兩類,二者在復雜度、容錯性、風險點上存在顯著差異:
一是單代理系統:由一個代理獨立處理所有任務,架構簡單、部署成本低,但存在明顯的單點故障風險,一旦代理出現異常,整個系統將陷入癱瘓;二是多代理系統:由多個代理協作完成任務,各代理具備專業功能,通過 A2A(Agent2Agent)、MCP(Model Context Protocol)等協議實現通信,架構雖更復雜,但適應性和容錯性更強,是復雜場景應用的主要架構類型。
新加坡 CSA 采用英偉達( NVIDIA) 的自主性分類框架,將智能體 AI 分為 0-3 四個級別,自主性從無到有、從弱到強,執行路徑的復雜度與安全挑戰也呈指數級增長,自主性級別是智能體 AI 風險評估的首要指標,具體分級及安全影響如下表所示:
表2:智能體自主性級別表
自主性級別 | 核心描述 | 安全影響 |
0 級 - 推理 API | 單個用戶請求導致對單個模型的單次推理調用,無自主能力 | 數據路徑直接,風險最低,無額外自主行為帶來的安全挑戰 |
1 級 - 確定性系統 | 單個用戶請求按預定順序觸發多次推理,線性工作流 | 所有執行路徑預先可知,便于風險評估與安全控制 |
2 級 - 弱自主系統 | AI 模型在預定決策點決定是否及如何調用插件 / 執行額外推理 | 存在多個分支路徑,但所有可能路徑仍可映射,風險可控性較強 |
3 級 - 完全自主系統 | AI 模型可自由決定何時、如何調用插件 / 其他模型,甚至修改自身計劃 | 執行路徑數量呈指數級增長,無法預先枚舉所有路徑,安全挑戰最大,是治理的重點對象 |
此外,新加坡 CSA 根據智能體 AI 的功能與行為邊界,將其能力分為認知、交互、操作三類,每類能力對應不同的應用價值與安全風險,以能力為中心的風險分析成為智能體 AI 安全治理的重要方法,三類能力的具體內涵如下:首先是認知能力:模擬人類思維的核心能力,包括推理與問題解決、規劃與目標管理、任務委派和工具使用,是智能體 AI 自主規劃的基礎,風險主要集中在規劃偏差、目標被操縱等方面;第二是交互能力:與外部主體交換信息的能力,包括自然語言交流、多模態理解與生成、發布官方通信、執行商業交易、訪問互聯網和控制計算機界面,是智能體 AI 與外界連接的橋梁,也是攻擊面最廣的能力模塊;最后是操作能力:在操作環境中執行具體行動的能力,包括代理間通信、代碼執行、文件與數據管理和系統管理,是智能體 AI 實現 “行動落地” 的核心能力,直接關聯系統安全與數據安全,是安全控制的重點。
智能體 AI 的技術特征使其能夠深度嵌入組織運作和社會運行,成為推動產業數字化轉型的重要動力,但同時,其自主性提升、多組件集成、與外部系統深度交互的特點,也使其面臨著傳統網絡安全風險、LLM 固有漏洞、自主性帶來的新型風險的三重疊加,安全挑戰遠大于傳統生成式 AI。新加坡的治理體系正是基于對智能體 AI 機遇與風險的全面研判而構建,厘清其風險特征是理解治理邏輯的關鍵。
新加坡 CSA 指出,智能體 AI 的安全風險是傳統網絡安全、LLM 固有漏洞、自主性新型風險的結合,而其中因自主性帶來的新型風險是治理的核心,也是與傳統 AI 風險的本質區別。在此基礎上,新加坡治理文件明確了智能體 AI 的安全風險。首先是網絡安全風險:智能體 AI 作為網絡系統的一部分,面臨著傳統網絡安全的經典風險,如拒絕服務攻擊、權限泄露、資源過載、數據泄露等,這些風險因智能體 AI 的復雜性而被放大;第二是LLM 固有漏洞:智能體 AI 以 LLM 為 “大腦”,繼承了 LLM 的所有固有漏洞,如提示注入、越獄攻擊、幻覺生成、數據投毒等,攻擊者可通過操縱提示詞誘導 LLM 做出錯誤決策;第三是自主性帶來的新型風險。這是智能體 AI 獨有的風險,源于其自主規劃、執行、迭代的能力,如代理因指令誤解或被操縱而執行惡意行為、多代理系統中的通信異常、自主調用工具導致的工具濫用等,這類風險的最大特征是不可預測性,尤其是 3 級完全自主系統,其執行路徑無法預先枚舉,使得風險防控難度大幅提升。
新加坡治理文件將惡意行為(Rogue Actions)與敏感數據泄露(Sensitive Data Disclosure) 列為智能體 AI 的兩大核心安全風險,二者也是所有其他風險的最終表現形式,直接決定了風險的影響程度。惡意行為是代理因提示注入、指令誤解或目標被操縱,執行非預期或有害的任務,如自主調用工具刪除數據、執行惡意代碼、完成未授權的商業交易等。智能體 AI 的能力越強、自主性越高,其失控時造成的危害就越大。敏感數據泄露是攻擊者通過操縱代理,引導其在一系列看似合法的操作中泄露受保護的信息,如客戶隱私、企業商業秘密、系統核心數據等。智能體 AI 的交互能力與操作能力使其能夠訪問大量敏感數據,而攻擊者可通過 “漸進式操縱” 規避單一安全防護,實現數據泄露。
OWASP 為智能體 AI 系統確定了 15 種特定威脅,全面展示了其攻擊面,這些威脅覆蓋了智能體 AI 的全組件、全流程,也是新加坡安全指南中緩解措施的主要針對對象,其中典型威脅包括:
1.記憶投毒(T1):攻擊者向智能體 AI 的記憶模塊注入錯誤或惡意信息,導致其決策偏差或執行有害行為;
2.工具濫用(T2):攻擊者誘導智能體 AI 超出權限調用工具,如使用運維工具執行未授權操作、使用交易工具完成非法轉賬;
3.權限泄露(T3):智能體 AI 的權限信息被泄露,攻擊者利用該信息獲取系統訪問權,或誘導代理提升自身權限;
4.資源過載(T4):攻擊者通過誘導智能體 AI 陷入無限推理循環、并行執行大量任務等方式,導致系統資源耗盡,引發拒絕服務;
5.幻覺攻擊(T5):智能體 AI 的幻覺生成被放大,多代理系統中一個代理的幻覺會傳遞給其他代理,形成 “級聯效應”,導致整個系統做出錯誤決策;
6.意圖破壞與目標操縱(T6):攻擊者通過修改指令、操縱環境信息等方式,改變智能體 AI 的既定目標,使其執行與原始意圖相悖的任務。
與傳統生成式 AI 相比,智能體 AI 的風險呈現出三大核心特征,這些特征決定了其治理不能沿用傳統 AI 的治理思路,而需要構建全新的治理體系,主要包括以下三個方面:首先是不可預測性:尤其是高自主性的 3 級系統,其執行路徑呈指數級增長,無法預先枚舉所有可能的行為,使得傳統的 “事前預判 + 固定防護” 模式失效;第二是傳導性:智能體 AI 的多組件、多代理架構使得風險具有極強的傳導性,一個組件或代理的異常會快速傳遞給其他組件或代理,形成 “多米諾骨牌效應”,如記憶投毒會導致推理錯誤,進而引發工具濫用與數據泄露;第三是后果的現實性:生成式 AI 的風險主要表現為 “內容錯誤”,而智能體 AI 的風險直接表現為 “實際行動的危害”,如數據刪除、交易損失、系統癱瘓等,具有直接的經濟損失與社會影響,風險的嚴重性大幅提升。
在智能體 AI 出現之前,各國已圍繞生成式 AI 構建了相對完善的治理框架,其核心邏輯是圍繞 “模型輸出” 展開合規審查,重點關注數據來源、算法偏見、內容真實性、隱私保護等問題。但隨著智能體 AI 的出現,人工智能的治理對象發生了根本性變化,既有治理框架出現結構性斷裂,無法應對智能體 AI 的治理挑戰,這也是新加坡率先發布專項治理框架的核心背景。
傳統生成式 AI 的治理核心是“輸出內容的合規性”,即通過審查模型生成的文本、圖像、音頻等內容,防范虛假信息、隱私泄露、算法偏見等問題,治理的重點是 “結果管控”;而智能體 AI 的治理核心是“系統行為的合規性與安全性”,其風險不再源于模型是否生成錯誤信息,而是源于系統是否被授權做出不當決策、執行不當行為,治理的重點從 “結果” 轉向了 “行為全流程”,包括目標設定、規劃、執行、評估等各個環節。這一轉變使得傳統的內容審查模式完全失效,因為智能體 AI 的風險可能并不表現為內容錯誤,而是表現為行為越權,例如一個日程管理智能體若被授權訪問財務系統,即使其生成的內容無錯誤,也存在嚴重的安全風險。
傳統生成式 AI 的風險本質上是“信息風險”,即錯誤信息、虛假信息、隱私信息泄露等對信息傳播與接收造成的危害,這類風險的影響具有間接性、擴散性,責任界定相對模糊;而智能體 AI 的風險本質上是責任風險,即因系統執行不當行為帶來的直接現實危害,如經濟損失、系統破壞、社會秩序干擾等,這類風險的影響具有直接性、實質性。例如,生成式 AI 生成虛假的金融信息,其風險是投資者被誤導,而智能體 AI 自主執行了未授權的金融交易,其風險是直接的資金損失,此時必須明確誰應為這一行為承擔責任,是系統開發方、部署方、使用者,還是技術提供方?既有治理框架并未回答這一問題,導致出現 “出了問題卻無人負責” 的治理真空。
傳統 AI 治理中常采用 “human-in-the-loop(人機回圈)” 的模式,即保留人工審批環節,實現對 AI 的監督與控制,但這一模式在智能體 AI 場景中面臨著失效的問題,新加坡 IMDA 指出,智能體 AI 的決策過程往往復雜且不透明,人工審批者難以理解其決策邏輯,加之系統在既往運行中表現穩定,審批者容易基于對系統的信任而機械放行,使得人工審批流于形式,“人機回圈” 成為單純的流程環節,而非有效的監督手段。這種自動化偏見并非源于技術異常,而是源于治理結構本身的失衡,在實際操作中,會出現即使保留了人工干預,也無法有效防范智能體 AI 的風險。
傳統生成式 AI 的治理多采用 “事后追責” 的思路,即當出現內容違規、隱私泄露等問題后,對相關主體進行追責與處罰;但智能體 AI 的風險具有不可逆轉性,如數據被刪除、資金被轉走等行為,事后追責無法挽回損失,因此治理思路必須從 “事后追責” 轉向 “全生命周期風險預防”,將防線前移至系統設計、開發階段,通過事前的風險評估、事中的監控與干預、事后的應急與修復,構建全流程的風險防控體系。因此,這也要求各國構建全新的治理體系,實現治理思路與方法的全面升級。
參考文獻:
1.Singapore debuts world’s first governance framework for agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://www.computerweekly.com/news/366637674/Singapore-debuts-worlds-first-governance-framework-for-agentic-AI
2.Singapore Launches World-First Guide for Responsible Deployment of Agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://fintechnews.sg/125071/ai/singapore-agentic-ai-framework/
3.聯合早報:我國推出全球首個由政府主導代理式人工智能監管模式框架[EB/OL].[2026-01-22].[2026-02-10]https://www.zaobao.com.sg/news/singapore/story20260122-8143450