手机成人avI精品uuI成人av电影在线播放I中文字幕乱偷在线I在线观看免费成人avI天天干天天操天天射I欧美日韩高清一区二区 国产亚洲免费看I精品国产一区在线观看I狠狠色噜噜狠狠狠狠2022I91精品一区二区三区久久久久久

檢測到您的瀏覽器版本過低,可能導致某些功能無法正常使用,建議升級您的瀏覽器,或使用推薦瀏覽器 Google Chrome EdgeFirefox X

首頁科技前沿與新興產業全球價值鏈全球價值鏈

智能體AI的興起與治理挑戰:以新加坡《智能體人工智能治理示范框架》為視角

供稿人:左雨萌供稿時間:2026-01-19 15:27:10關鍵詞:新加坡,智能體,人工智能

自主型 AIAgentic AI,也被稱為智能體 AI)作為從生成式 AI 演進而來的新型人工智能系統,憑借自主規劃、執行、迭代的核心能力實現了從 “內容生成” 到 “實際行動” 的跨越,成為產業落地與社會應用的重要方向,但也因自主性提升帶來了全新的安全風險與治理挑戰。2026年1月,新加坡率先在全球發布針對智能體 AI 的專項治理框架《智能體人工智能治理示范框架》與配套安全指南《保護自主型 AI》,確立了以人類責任為核心的治理原則,提出了全生命周期的風險評估方法與安全控制措施,為全球智能體 AI 治理提供了首個官方參考范式。

1、智能體 AI 的技術組件與系統類型

人工智能技術的發展正從單純的模式識別、內容生成向自主化、智能化的方向深度推進,自主型 AI(智能體 AI)的出現標志著 AI 系統正式進入“能思考、會行動” 的新階段。新加坡資訊通信媒體發展局(IMDA)與網絡安全局(CSA)在各自發布的治理文件中,均對智能體 AI 的定義、技術組件、系統設計與能力特征進行了明確界定,其核心區別于傳統生成式 AI 的特征在于少人工干預下的自主任務執行能力,這也是其技術價值與風險挑戰的核心來源。

新加坡 CSA 將自主型 AI 定義為 “能夠為了實現特定目標而進行多步驟規劃、執行、批判和迭代的自我管理 AI 系統”,該系統超越了傳統 AI 的預定響應模式,具備理解上下文、制定計劃并獨立采取行動的復雜能力;新加坡 IMDA 則進一步強調,智能體 AI 并非單一模型,而是具備自主規劃與執行能力的系統,其核心特征是在較少人工干預的情況下,自主分解任務、調用外部工具并執行連續操作,輸出不再止于文本或建議,而是直接表現為數據庫更新、交易執行、流程推進等具有現實影響的具體行為。因此,智能體 AI 的核心內涵可概括為“目標導向、自主行動、閉環迭代”,即圍繞既定目標完成 “規劃、執行、評估、優化” 的全流程,無需人類持續介入,這也是其與生成式 AI 最本質的區別,生成式 AI 的核心價值是內容生產,而智能體 AI 的核心價值是行動落地。

1.1 智能體 AI 的核心技術組件

智能體 AI 并非單一技術模塊,而是由多個核心組件協同構成的復雜系統,各組件相互配合形成了其自主行動的技術基礎,新加坡 CSA 在《保護自主型 AI》中明確了其五大核心組件,各組件的功能與作用形成了完整的技術閉環,具體如下表所示:

1 :智能體技術組件表

組件

核心描述

功能定位

大型語言模型(LLM)

作為系統的中央推理和規劃引擎

“大腦”,處理指令、解釋用戶輸入并生成行動規劃

工具(Tools)

涵蓋讀寫文件、控制設備、執行交易等功能性模塊,可通過傳感器或 API 獲取環境信息

“手腳”,擴展 LLM 的能力,將規劃轉化為實際行動

指令(Instructions)

定義代理的角色、能力和行為約束的命令,如 LLM 的系統提示

“規則手冊”,劃定 AI 的行動邊界與行為準則

記憶(Memory)

分為短期記憶(臨時存儲)與長期記憶(持久存儲),為 LLM 提供可訪問的信息

“知識庫”,支撐 AI 的決策與迭代,保留歷史操作與環境信息

協議(Protocols)

為代理與工具、代理與代理之間的通信提供標準化方式

“通信語言”,保障系統內部、系統與外部的信息交互效率與安全性


五大組件的集成使得智能體 AI 能夠突破單一模型的能力限制,實現與外部環境、系統的深度交互,這也是其能夠落地于企業流程自動化、客戶服務、欺詐檢測等實際場景的技術前提。

1.2 智能體 AI 的系統設計

系統設計直接決定了智能體 AI 的自主性水平、風險等級與應用場景,新加坡網絡安全局(CSA)從架構類型、自主性級別、設計模式三個維度對智能體 AI 的系統設計進行了分類,成為后續風險評估與安全治理的重要依據。

1.2.1 架構類型:單代理系統與多代理系統

智能體 AI 的架構主要分為單代理與多代理兩類,二者在復雜度、容錯性、風險點上存在顯著差異:

一是單代理系統:由一個代理獨立處理所有任務,架構簡單、部署成本低,但存在明顯的單點故障風險,一旦代理出現異常,整個系統將陷入癱瘓;二是多代理系統:由多個代理協作完成任務,各代理具備專業功能,通過 A2AAgent2Agent)、MCPModel Context Protocol)等協議實現通信,架構雖更復雜,但適應性和容錯性更強,是復雜場景應用的主要架構類型。

1.2.2 自主性級別:0-3 級的分級框架(NVIDIA 框架)

新加坡 CSA 采用英偉達( NVIDIA 的自主性分類框架,將智能體 AI 分為 0-3 四個級別,自主性從無到有、從弱到強,執行路徑的復雜度與安全挑戰也呈指數級增長,自主性級別是智能體 AI 風險評估的首要指標,具體分級及安全影響如下表所示:

2:智能體自主性級別表

自主性級別

核心描述

安全影響

0 級 - 推理 API

單個用戶請求導致對單個模型的單次推理調用,無自主能力

數據路徑直接,風險最低,無額外自主行為帶來的安全挑戰

1 級 - 確定性系統

單個用戶請求按預定順序觸發多次推理,線性工作流

所有執行路徑預先可知,便于風險評估與安全控制

2 級 - 弱自主系統

AI 模型在預定決策點決定是否及如何調用插件 / 執行額外推理

存在多個分支路徑,但所有可能路徑仍可映射,風險可控性較強

3 級 - 完全自主系統

AI 模型可自由決定何時、如何調用插件 / 其他模型,甚至修改自身計劃

執行路徑數量呈指數級增長,無法預先枚舉所有路徑,安全挑戰最大,是治理的重點對象

此外,新加坡 CSA 根據智能體 AI 的功能與行為邊界,將其能力分為認知、交互、操作三類,每類能力對應不同的應用價值與安全風險,以能力為中心的風險分析成為智能體 AI 安全治理的重要方法,三類能力的具體內涵如下:首先是認知能力:模擬人類思維的核心能力,包括推理與問題解決、規劃與目標管理、任務委派和工具使用,是智能體 AI 自主規劃的基礎,風險主要集中在規劃偏差、目標被操縱等方面;第二是交互能力:與外部主體交換信息的能力,包括自然語言交流、多模態理解與生成、發布官方通信、執行商業交易、訪問互聯網和控制計算機界面,是智能體 AI 與外界連接的橋梁,也是攻擊面最廣的能力模塊;最后是操作能力:在操作環境中執行具體行動的能力,包括代理間通信、代碼執行、文件與數據管理和系統管理,是智能體 AI 實現 行動落地的核心能力,直接關聯系統安全與數據安全,是安全控制的重點。

2、智能體 AI 的安全風險

智能體 AI 的技術特征使其能夠深度嵌入組織運作和社會運行,成為推動產業數字化轉型的重要動力,但同時,其自主性提升、多組件集成、與外部系統深度交互的特點,也使其面臨著傳統網絡安全風險、LLM 固有漏洞、自主性帶來的新型風險的三重疊加,安全挑戰遠大于傳統生成式 AI。新加坡的治理體系正是基于對智能體 AI 機遇與風險的全面研判而構建,厘清其風險特征是理解治理邏輯的關鍵。

新加坡 CSA 指出,智能體 AI 的安全風險是傳統網絡安全、LLM 固有漏洞、自主性新型風險的結合,而其中因自主性帶來的新型風險是治理的核心,也是與傳統 AI 風險的本質區別。在此基礎上,新加坡治理文件明確了智能體 AI 的安全風險。先是網絡安全風險智能體 AI 作為網絡系統的一部分,面臨著傳統網絡安全的經典風險,如拒絕服務攻擊、權限泄露、資源過載、數據泄露等,這些風險因智能體 AI 的復雜性而被放大;二是LLM 固有漏洞:智能體 AI LLM 大腦,繼承了 LLM 的所有固有漏洞,如提示注入、越獄攻擊、幻覺生成、數據投毒等,攻擊者可通過操縱提示詞誘導 LLM 做出錯誤決策;第三是自主性帶來的新型風險這是智能體 AI 獨有的風險,源于其自主規劃、執行、迭代的能力,如代理因指令誤解或被操縱而執行惡意行為、多代理系統中的通信異常、自主調用工具導致的工具濫用等,這類風險的最大特征不可預測性尤其是 3 級完全自主系統,其執行路徑無法預先枚舉,使得風險防控難度大幅提升。

新加坡治理文件將惡意行為(Rogue Actions)敏感數據泄露(Sensitive Data Disclosure) 列為智能體 AI 的兩大核心安全風險,二者也是所有其他風險的最終表現形式,直接決定了風險的影響程度惡意行為代理因提示注入、指令誤解或目標被操縱,執行非預期或有害的任務,如自主調用工具刪除數據、執行惡意代碼、完成未授權的商業交易等。智能體 AI 的能力越強、自主性越高,其失控時造成的危害就越大敏感數據泄露攻擊者通過操縱代理,引導其在一系列看似合法的操作中泄露受保護的信息,如客戶隱私、企業商業秘密、系統核心數據等。智能體 AI 的交互能力與操作能力使其能夠訪問大量敏感數據,而攻擊者可通過 漸進式操縱規避單一安全防護,實現數據泄露。

OWASP 為智能體 AI 系統確定了 15 種特定威脅,全面展示了其攻擊面,這些威脅覆蓋了智能體 AI 的全組件、全流程,也是新加坡安全指南中緩解措施的主要針對對象,其中典型威脅包括:

1.記憶投毒(T1:攻擊者向智能體 AI 的記憶模塊注入錯誤或惡意信息,導致其決策偏差或執行有害行為;

2.工具濫用(T2:攻擊者誘導智能體 AI 超出權限調用工具,如使用運維工具執行未授權操作、使用交易工具完成非法轉賬;

3.權限泄露(T3:智能體 AI 的權限信息被泄露,攻擊者利用該信息獲取系統訪問權,或誘導代理提升自身權限;

4.資源過載(T4:攻擊者通過誘導智能體 AI 陷入無限推理循環、并行執行大量任務等方式,導致系統資源耗盡,引發拒絕服務;

5.幻覺攻擊(T5:智能體 AI 的幻覺生成被放大,多代理系統中一個代理的幻覺會傳遞給其他代理,形成 級聯效應,導致整個系統做出錯誤決策;

6.意圖破壞與目標操縱(T6:攻擊者通過修改指令、操縱環境信息等方式,改變智能體 AI 的既定目標,使其執行與原始意圖相悖的任務。

與傳統生成式 AI 相比,智能體 AI 的風險呈現出三大核心特征,這些特征決定了其治理不能沿用傳統 AI 的治理思路,而需要構建全新的治理體系,主要包括以下三個方面:首先是不可預測性:尤其是高自主性的 3 級系統,其執行路徑呈指數級增長,無法預先枚舉所有可能的行為,使得傳統的 事前預判 + 固定防護模式失效;第二是傳導性:智能體 AI 的多組件、多代理架構使得風險具有極強的傳導性,一個組件或代理的異常會快速傳遞給其他組件或代理,形成 多米諾骨牌效應,如記憶投毒會導致推理錯誤,進而引發工具濫用與數據泄露;第三是后果的現實性:生成式 AI 的風險主要表現為 內容錯誤,而智能體 AI 的風險直接表現為 實際行動的危害,如數據刪除、交易損失、系統癱瘓等,具有直接的經濟損失與社會影響,風險的嚴重性大幅提升。

3.智能體 AI的未來治理展望

在智能體 AI 出現之前,各國已圍繞生成式 AI 構建了相對完善的治理框架,其核心邏輯是圍繞 “模型輸出” 展開合規審查,重點關注數據來源、算法偏見、內容真實性、隱私保護等問題。但隨著智能體 AI 的出現,人工智能的治理對象發生了根本性變化,既有治理框架出現結構性斷裂,無法應對智能體 AI 的治理挑戰,這也是新加坡率先發布專項治理框架的核心背景。

3.1 治理對象的轉變:從 模型輸出系統行為

傳統生成式 AI 的治理核心是“輸出內容的合規性”即通過審查模型生成的文本、圖像、音頻等內容,防范虛假信息、隱私泄露、算法偏見等問題,治理的重點是 “結果管控”;而智能體 AI 的治理核心是“系統行為的合規性與安全性”,其風險不再源于模型是否生成錯誤信息,而是源于系統是否被授權做出不當決策、執行不當行為,治理的重點從 “結果” 轉向了 “行為全流程”,包括目標設定、規劃、執行、評估等各個環節。這一轉變使得傳統的內容審查模式完全失效,因為智能體 AI 的風險可能并不表現為內容錯誤,而是表現為行為越權,例如一個日程管理智能體若被授權訪問財務系統,即使其生成的內容無錯誤,也存在嚴重的安全風險。

3.2 風險類型的轉變:從 信息風險到責任風險

傳統生成式 AI 的風險本質上是“信息風險”,即錯誤信息、虛假信息、隱私信息泄露等對信息傳播與接收造成的危害,這類風險的影響具有間接性、擴散性,責任界定相對模糊;而智能體 AI 的風險本質上是責任風險,即因系統執行不當行為帶來的直接現實危害,如經濟損失、系統破壞、社會秩序干擾等,這類風險的影響具有直接性、實質性。例如,生成式 AI 生成虛假的金融信息,其風險是投資者被誤導,而智能體 AI 自主執行了未授權的金融交易,其風險是直接的資金損失,此時必須明確誰應為這一行為承擔責任,是系統開發方、部署方、使用者,還是技術提供方?既有治理框架并未回答這一問題,導致出現 “出了問題卻無人負責” 的治理真空。

3.3 人機關系的轉變:從人機回圈到自動化偏見的滋生

傳統 AI 治理中常采用 “human-in-the-loop(人機回圈)” 的模式,即保留人工審批環節,實現對 AI 的監督與控制,但這一模式在智能體 AI 場景中面臨著失效的問題,新加坡 IMDA 指出,智能體 AI 的決策過程往往復雜且不透明,人工審批者難以理解其決策邏輯,加之系統在既往運行中表現穩定,審批者容易基于對系統的信任而機械放行,使得人工審批流于形式,“人機回圈” 成為單純的流程環節,而非有效的監督手段。這種自動化偏見并非源于技術異常,而是源于治理結構本身的失衡,在實際操作中,會出現即使保留了人工干預,也無法有效防范智能體 AI 的風險。

3.4 治理思路的轉變:從 事后追責全生命周期風險預防

傳統生成式 AI 的治理多采用 “事后追責” 的思路,即當出現內容違規、隱私泄露等問題后,對相關主體進行追責與處罰;但智能體 AI 的風險具有不可逆轉性,如數據被刪除、資金被轉走等行為,事后追責無法挽回損失,因此治理思路必須從 “事后追責” 轉向 “全生命周期風險預防”,將防線前移至系統設計、開發階段,通過事前的風險評估、事中的監控與干預、事后的應急與修復,構建全流程的風險防控體系。因此,這也要求各國構建全新的治理體系,實現治理思路與方法的全面升級。

參考文獻:

1.Singapore debuts world’s first governance framework for agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://www.computerweekly.com/news/366637674/Singapore-debuts-worlds-first-governance-framework-for-agentic-AI

 2.Singapore Launches World-First Guide for Responsible Deployment of Agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://fintechnews.sg/125071/ai/singapore-agentic-ai-framework/

3.聯合早報:我國推出全球首個由政府主導代理式人工智能監管模式框架[EB/OL].[2026-01-22].[2026-02-10]https://www.zaobao.com.sg/news/singapore/story20260122-8143450

 

主站蜘蛛池模板: 欧亚激情偷乱人伦小说专区| 久久中文精品无码中文字幕| 精品人伦一区二区三电影| 永久中文字幕免费视频网站| 国产极品美女高潮无套在线观看 | 一夲道无码人妻精品一区二区| 亚洲人成色77777在线观看| 在线看片福利无码网址| 久久久国产精品| 少妇人妻在线无码天堂视频网| 国产精品怡红院永久免费| 5060国产午夜无码专区| 国内精品久久久久久影院| 国产精品一区二区手机在线观看 | 一本一道中文字幕无码东京热| 欧美粗大| 色综合亚洲一区二区小说性色aⅴ| 性高朝大尺度少妇大屁股| 亚洲精品亚洲人成在线| 天天干天天日夜夜操| 高潮迭起av乳颜射后入| 亚洲综合av色婷婷国产野外| 成熟了的熟妇毛茸茸| 亚洲日韩av片在线观看| 67194熟妇在线观看线路1| 久久无码潮喷a片无码高潮| 在线观看国产日韩亚洲中| 中文字幕精品亚洲无线码vr| 亚洲第一极品精品无码| 国产96在线 | 亚洲| 亚洲精华国产精华精华液网站| 久久香综合精品久久伊人| 欧美日韩一区二区免费视频| 极品尤物被啪到呻吟喷水| 天堂а在线中文在线新版| www夜插内射视频网站| 永久免费的av在线网无码| 色丁香婷婷综合久久| 国产亚洲精品久久久久久牛牛| 国产成人无码一二三区视频| av国产剧情md精品麻豆|