手机成人avI精品uuI成人av电影在线播放I中文字幕乱偷在线I在线观看免费成人avI天天干天天操天天射I欧美日韩高清一区二区 国产亚洲免费看I精品国产一区在线观看I狠狠色噜噜狠狠狠狠2022I91精品一区二区三区久久久久久

檢測到您的瀏覽器版本過低,可能導致某些功能無法正常使用,建議升級您的瀏覽器,或使用推薦瀏覽器 Google Chrome EdgeFirefox 。 X

首頁科技前沿與新興產業全球價值鏈全球價值鏈

新加坡智能體AI專項治理體系分析與研究

供稿人:左雨萌供稿時間:2026-02-10 17:36:43關鍵詞:新加坡,人工智能,智能體

1.新加坡智能體 AI 治理體系的整體架構

面對智能體 AI 的治理挑戰,新加坡率先在全球構建起專項治理體系。治理體系由政府與 AI、網絡安全社區合作開發,兼顧了創新與安全既為智能體 AI 的發展預設了治理邊界,避免因無規則而引發安全問題,也未對具體技術路徑進行規制,為技術創新保留了空間。這一治理思路符合新加坡一貫的 “柔性治理” 理念,使它能夠在全球 AI 治理中率先邁出步伐。新加坡 IMDA 發布的《智能體人工智能治理示范框架》是全球首個智能體 AI 專項治理框架,其核心邏輯是“以人類責任為核心,構建全流程、多維度的治理體系”,摒棄了傳統的 “形式化人機回圈”,提出了七大核心治理原則,從制度設計、技術控制、部署運營、用戶賦能等方面為智能體 AI 治理劃定了核心要求,構成了智能體 AI 治理的重要原則。

在技術安全層面,框架明確指出,智能體 AI 面臨的威脅形態與傳統系統存在顯著差異,其依賴提示詞和工具調用機制的特征,使其更容易受到提示詞注入等攻擊方式的影響,被誘導執行越權操作。針對這一特征,框架提出了兩大核心技術控制要求:一是開展專門的紅隊測試:部署方應針對智能體 AI 開展定制化的紅隊測試,模擬智能體在復雜或對抗性環境中可能出現的異常行為,如提示注入、工具濫用、目標操縱等,而非僅僅測試模型本身的準確性或穩健性。紅隊測試的核心目的是發現智能體 AI 的潛在漏洞與攻擊路徑,提前采取緩解措施;二是高風險任務采用沙箱運行:對智能體 AI 的高風險任務采用沙箱運行機制,即在隔離的測試環境中觀察智能體的行為是否符合預期,驗證其安全性后,再逐步放開權限至生產環境。沙箱運行機制能夠有效隔離高風險任務的影響,即使智能體在沙箱中出現異常,也不會對實際系統造成危害,是防范惡意行為的重要技術手段。

在部署策略上,框架明確反對一次性、大規模上線高自治智能體,提出了 “漸進式部署” 的要求,同時強調建立持續監控機制,將治理視為一個持續過程,而非上線前的單次合規動作。漸進式部署要求組織從內部輔助、低風險場景入手,逐步擴大智能體 AI 的應用范圍,而非直接讓其對接關鍵業務或外部用戶。例如,企業可先將智能體 AI 應用于內部文檔整理、員工考勤等低風險場景,驗證其安全性與穩定性后,再逐步應用于客戶服務、流程自動化等中等風險場景,最后再考慮應用于金融交易、系統運維等高風險場景。漸進式部署能夠有效降低智能體 AI 上線的風險,讓企業在實踐中不斷優化治理措施;持續監控機制要求部署方應設置明確的行為閾值和監控指標,對智能體 AI 的運行狀態、工具使用、權限變更、決策過程等進行實時監控,一旦智能體出現異常行為、陷入推理循環、偏離既定目標或超出行為閾值,系統應能夠自動報警并觸發中斷機制,及時制止有害行為的發生。監控指標應根據智能體的自主性級別、應用場景進行定制化設置,確保監控的有效性。

在用戶保障方面,框架將治理視角從系統內部延伸至終端用戶,提出了 “賦能最終用戶” 的要求,認為智能體 AI 的安全治理不僅是開發方、部署方的責任,也需要用戶的參與,核心是通過保障用戶知情權、提升用戶監督能力,形成全方位的治理體系。首先是保障用戶的知情權:用戶在與智能體 AI 交互時,應當清楚知曉其面對的是 AI 系統,并理解該系統的能力邊界和使用限制。這一要求旨在防止用戶對智能體 AI 的能力產生不切實際的期待,避免因用戶誤操作或過度依賴而引發風險;其次是提升用戶的監督能力:框架強調,對員工和用戶的培訓不應止于 “如何使用 AI”,而應包括如何審計、質疑和監督智能體的輸出與行為。只有當使用者具備基本的審計意識和判斷能力,能夠發現智能體的異常行為并及時反饋,智能體 AI 才可能在組織內部實現相對安全的運行。

最后,框架將風險治理的防線前移至系統設計階段,提出了兩大核心設計要求,從源頭降低智能體 AI 的風險,這也是新加坡 “全生命周期風險預防” 治理思路的體現:一是最小權限原則:為智能體設定清晰的行動邊界,智能體只應被賦予完成其功能所必需的權限,而不應因便利或效率考慮而獲得不必要的系統訪問權。例如,日程管理智能體不應被授權訪問財務系統,客戶服務智能體不應被授權修改企業核心數據庫。最小權限原則是防范工具濫用、權限升級等風險的核心手段,也是智能體 AI 系統設計的首要原則二是行動可逆性評估:將 行動可逆性作為風險評估的重要維度,要求部署方在評估智能體使用場景時,嚴格區分低風險、可逆操作與高風險、不可逆操作。其中,發送內部通知、整理信息等行為風險較低、可輕松逆轉,可適當放寬監督要求;而對外轉賬、刪除數據、觸發關鍵業務流程等行為風險較高且不可逆,必須設置更嚴格的護欄和人工干預機制,如多重人工審批、操作前預警、操作留痕等。

2.新加坡智能體AI治理方法

新加坡 CSA 發布的《保護自主型 AI》作為《保護 AI 系統指南和配套指南》的增編文件,是對《智能體人工智能治理示范框架》的實操落地,其核心是采用基于風險的生命周期方法,為系統所有者提供保護自主型 AI 系統的具體指導。該指南提出了風險評估四步法,并在 AI 生命周期的規劃設計、開發、部署、運營維護四個階段,詳細列舉了具體的安全控制措施,同時針對 SaaS 環境這一典型應用場景提出了特殊考量,還通過三個實際案例展示了治理要求的落地方法,形成了 “評估 - 排序 - 控制 - 評估” 的閉環治理流程,具有極強的實操性。

新加坡 CSA 提出,保護智能體 AI 系統的核心是開展科學、全面的風險評估,并制定了風險評估四步法,這一方法貫穿于智能體 AI 的全生命周期,是所有安全控制措施的基礎。四步法并非線性流程,而是閉環迭代的過程,在系統的運行維護階段需持續開展風險評估,根據實際情況優化控制措施。

        第一步:開展全面的風險評估

開展全面的風險評估具體包括三個步驟:一是評估自主性級別:確定系統的自主性水平是理解其安全挑戰的第一步,不同自主性級別的系統,風險評估的重點、方法與控制措施存在顯著差異;二是執行威脅建模和污點追蹤:繪制智能體 AI 的工作流圖,明確其執行路徑、組件交互、工具調用等流程,同時使用污點追蹤(Taint Tracing) 技術跟蹤不受信任的數據在系統中的流動路徑,識別關鍵的脆弱點;三是識別與能力相關的風險:以智能體 AI 的認知、交互、操作三大能力為中心進行風險分析,精確評估每項能力的潛在影響,例如對具備代碼執行能力的智能體,重點評估工具濫用、惡意代碼執行的風險;對具備商業交易能力的智能體,重點評估惡意交易、數據泄露的風險。

第二步:確定風險處理的優先級

在識別出所有風險后,需根據風險的可能性、影響程度、企業可用資源、風險偏好,對已識別的風險進行排序,確定風險處理的優先級。核心原則是高可能性、高影響的風險優先處理。風險優先級的確定需結合實際情況,例如金融企業的風險偏好較低,對數據泄露、惡意交易等風險的處理優先級應更高;而初創企業的資源有限,可在保障核心安全的前提下,優先處理影響業務運行的風險。

第三步:在全生命周期中實施安全控制措施

根據風險評估結果與優先級排序,在智能體 AI 生命周期規劃設計、開發、部署、運營維護四個階段,針對性地實施安全控制措施,這是風險防控的核心環節。CSA 在指南中詳細列舉了四個階段的具體控制措施,形成了全流程的安全防護體系,具體措施將在 6.2 節詳細闡述。實施控制措施的核心原則是“分層防護、重點管控”,即針對不同風險等級、不同自主性級別的系統,實施不同強度的控制措施,避免 “一刀切”。

第四步:評估并處理殘余風險

在實施安全控制措施后,需對殘余風險進行評估,即評估控制措施實施后,未被完全消除的風險是否在企業的風險容忍度范圍內。對于殘余風險,企業有兩種處理方式:一是接受風險:若殘余風險的可能性與影響程度均較低,且在企業的風險容忍度范圍內,企業可正式接受該風險,并做好風險監控;二是進一步緩解風險:若殘余風險超出企業的風險容忍度范圍,企業需進一步優化控制措施,采取額外的安全手段,直至殘余風險降至可接受水平。2.2 全周期的安全控制措施

新加坡 CSA 在《保護自主型 AI》中,將智能體 AI 的生命周期劃分為規劃與設計、開發、部署、運營與維護四個階段,針對每個階段的核心風險點,制定了具體的安全控制措施,形成了 “源頭防控、過程管控、末端治理” 的全流程安全防護體系。所有控制措施均圍繞智能體 AI 的核心風險展開,具有極強的針對性與實操性,是企業落地安全治理的核心依據。首先,規劃與設計階段是智能體 AI 風險預防的源頭,該階段的控制措施核心是從設計上規避風險,為后續的開發、部署、運營奠定安全基礎,僅制定 1 項核心控制措施,但卻是整個生命周期安全控制的前提其次,進行全面的風險評估與威脅建模:采用行業最佳實踐進行風險評估和威脅建模,明確系統的風險底數與脆弱點。對于 2 級弱自主系統和 3 級完全自主系統,污點追蹤技術尤為重要,需通過污點追蹤識別整個工作流中的下游影響,劃定不受信任數據的隔離范圍,從設計上防止風險的傳導與擴散。

2.1 開發階段:系統加固的核心,構建安全底座

開發階段是智能體 AI 系統加固的核心,該階段的控制措施覆蓋了供應鏈、模型、系統、資產、權限、環境等多個維度,0是全生命周期中控制措施最多的階段,核心目標是構建安全、可控的智能體 AI 系統底座,具體措施如下表所示:

1: 新加坡智能體系統安全控制開發階段措施表

控制措施

核心描述

風險類型

供應鏈安全

確保數據、模型、代理、軟件庫和工具等所有組件均來自可信來源;使用軟件成分分析(SCA)工具掃描依賴項

供應鏈投毒、惡意組件引入

模型加固

優先選擇指令遵循能力強的 LLM;訓練模型識別并拒絕被禁止的任務

提示注入、越獄攻擊、目標操縱

系統加固

采用 “設計即安全” 原則和安全軟件開發生命周期(SDLC);實施零信任架構;對系統提示進行穩健性設計

系統漏洞、權限泄露、惡意行為

資產識別、跟蹤與保護

使用模型卡、代理卡、數據卡和 SBOMs 記錄管理 AI 資產;對內存中的數據進行靜態加密

資產丟失、數據泄露、記憶投毒

定期備份

對內存快照、代碼和文件進行充分備份,便于異常時的取證分析和回滾

數據丟失、系統癱瘓、惡意操作

身份驗證與訪問控制

API、模型、數據、工具和環境實施嚴格的身份驗證和授權;應用細粒度、有時限的范圍令牌或憑證

權限升級、未授權訪問、工具濫用

限制代理權能

實施防護欄,設定明確的操作邊界;動態授予代理完成任務所需的最小權限,不允許代理修改自身權限

工具濫用、權限升級、惡意行為

默認安全

應用最小權限原則配置所有代理和委派角色;默認拒絕所有網絡訪問和管理員權限

權限泄露、未授權訪問、網絡攻擊

環境隔離

在沙箱環境中運行代碼和測試第三方工具;將數據處理流與控制流解耦

惡意代碼執行、工具濫用、風險傳導

模型自我反思

執行決策前,提示代理總結對指令的理解并請求澄清

指令誤解、目標偏差、決策錯誤

減少幻覺

通過 RAG 等技術使模型輸出保持事實性;定期進行內存核對以清除錯誤信息

級聯幻覺攻擊、決策偏差、數據投毒

 

2.2 部署階段:安全驗證與運行保障,把控上線關口

部署階段是智能體 AI 從測試環境走向生產環境的關鍵關口,該階段的控制措施核心是安全測試與運行保障,確保上線后的智能體 AI 能夠穩定、安全運行,具體措施如下表所示:

2: 新加坡智能體AI系統安全控制開發階段措施表

控制措施

核心描述

風險類型

可用性控制

實施速率限制防止拒絕服務攻擊;部署資源管理控制,防止推理循環或資源濫用導致的性能下降

資源過載、拒絕服務攻擊、系統癱瘓

安全測試

進行行為測試、對抗性評估和 AI 紅隊演練,發現規范博弈、邏輯錯誤或潛在漏洞

提示注入、工具濫用、目標操縱等各類新型風險

保護 MCP 服務器

若部署 MCP 服務器,實施上下文級別的訪問控制,并對工具輸入進行凈化

MCP 服務器被攻擊、代理間通信異常、工具濫用

保護代理間通信

實施代理間身份驗證和消息加密;監控交互異常;對關鍵決策實施多代理共識驗證

代理間通信泄露、惡意代理入侵、決策錯誤

 

2.3 運營與維護階段:持續監控與動態防控,保障長期安全

運營與維護階段是智能體 AI 全生命周期的持續環節,核心目標是及時發現并處置智能體 AI 運行過程中的異常行為,防范風險的發生與擴散,具體措施如下表所示:

3: 新加坡智能體AI系統運營與維護階段措施表

控制措施

核心描述

風險類型

輸入驗證

實施輸入防護欄,檢測直接和間接的提示注入;對用戶輸入進行凈化或編碼;對外部文件進行掃描

提示注入、惡意輸入、數據投毒

輸出驗證

在工作流各階段插入驗證檢查點;實施輸出防護欄,檢測并過濾敏感信息或惡意內容;對 AI 生成的代碼進行靜態分析和漏洞掃描

數據泄露、惡意代碼執行、虛假信息輸出

持續監控與日志記錄

監控模型行為漂移、工具使用模式和權限變更;應用熔斷機制,異常時凍結風險傳播;實施端到端分布式追蹤,確??勺匪菪?/span>

行為異常、工具濫用、權限升級、風險傳導

人機回圈(Human-in-the-Loop)

對高風險、不可逆的操作(如商業交易、數據庫修改)要求人工批準

惡意行為、決策錯誤、不可逆的操作危害

建立漏洞披露流程

提供渠道供用戶報告安全問題或就系統行為提供反饋

未被發現的潛在漏洞、系統異常行為

3、新加坡智能體 AI 治理體系的全球價值與啟示

新加坡發布的全球首個智能體 AI 治理框架與安全指南,不僅為新加坡本土的智能體 AI 發展劃定了治理邊界,也為全球智能體 AI 治理提供了首個官方參考范式,其治理思路與方法突破了傳統 AI 治理的局限,實現了從 “內容治理” 到 “行為治理”、從 “事后追責” 到 “全生命周期預防”、從 “形式化監督” 到 “有意義的人類責任” 的三重跨越,對全球 AI 治理的發展具有重要的里程碑意義,也為各國政府、企業提供了重要的啟示。

3.1 全球價值:為智能體 AI 治理樹立首個示范標桿

在智能體 AI 成為 AI 發展新階段的背景下,全球各國均面臨著智能體 AI 治理的空白,新加坡的治理體系率先填補了這一空白,為全球提供了首個治理范式,其核心價值體現在三個方面:

第一,確立了人類責任為核心的治理內核:新加坡的治理體系始終將人類責任放在核心位置,摒棄了形式化的人機回圈,提出了 “有意義的監督” 原則,明確了智能體 AI 的行為最終由人類承擔責任,這一原則成為智能體 AI 治理的底層邏輯,為各國治理框架的制定奠定了基礎;

第二,構建了風險導向的全生命周期治理方法:新加坡以風險評估為核心,構建了覆蓋規劃設計、開發、部署、運營維護的全生命周期治理體系,提出了可實操的風險評估四步法與 41 項安全控制措施,讓企業能夠清晰地知道 “如何開展風險評估”“如何實施安全控制”,解決了治理落地難的問題;

第三,兼顧了創新與安全的平衡:新加坡的治理體系并非強制性的法律法規,而是非強制性的示范框架與信息資源,未對智能體 AI 的具體技術路徑進行規制,為技術創新保留了充足的空間,同時通過劃定治理邊界、提出安全要求,防范了過度創新帶來的安全風險,實現了創新與安全的平衡,這一治理思路符合 AI 技術發展的規律。

3.2 對各國政府的啟示:構建適配智能體 AI 的柔性治理體系

新加坡的治理體系為各國政府開展智能體 AI 治理提供了重要的啟示,各國政府應結合本國的 AI 發展現狀、產業需求、安全訴求,構建適配智能體 AI 的治理體系,核心思路包括:

第一,堅持 “柔性治理”,避免過度規制:智能體 AI 仍處于發展初期,技術路線尚未定型,各國政府應借鑒新加坡的經驗,采用非強制性的示范框架、指南等柔性治理手段,而非急于出臺強制性的法律法規,為技術創新保留空間,同時通過行業自律、政企合作等方式,推動治理要求的落地;

第二,構建科學的治理架構:各國政府應先制定智能體 AI 治理的核心原則,明確治理的底層邏輯與邊界,再組織技術、安全領域的專家,制定具體的實操指南,為企業提供可落地的治理方法,形成 “原則指引方向,實操保障落地” 的治理體系;

第三,強化政企協同,凝聚治理共識:智能體 AI 的治理并非政府的單一責任,需要政府、企業、科研機構、行業協會等多方主體的協同參與。各國政府應搭建政企協同的治理平臺,與 AI、網絡安全社區合作開發治理文件,凝聚治理共識,讓治理要求更符合產業實際;

最后,針對特殊場景制定定制化治理要求:各國政府應關注 SaaS、多代理系統、金融、醫療等智能體 AI 的典型應用場景與高風險場景,制定定制化的治理要求,解決特殊場景下的治理難題,提升治理的針對性與有效性。

參考文獻:

1.Singapore debuts world’s first governance framework for agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://www.computerweekly.com/news/366637674/Singapore-debuts-worlds-first-governance-framework-for-agentic-AI

 2.Singapore Launches World-First Guide for Responsible Deployment of Agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://fintechnews.sg/125071/ai/singapore-agentic-ai-framework/

3.聯合早報:我國推出全球首個由政府主導代理式人工智能監管模式框架[EB/OL].[2026-01-22].[2026-02-10]https://www.zaobao.com.sg/news/singapore/story20260122-8143450

4.新加坡發布新框架旨在管控自主AI智能體的風險[EB/OL].[2026-01-22].[2026-02-10]https://www.businesstimes.com.sg/zh-hans/companies-markets/singapore-unveils-new-framework-rein-risks-autonomous-ai-agents

主站蜘蛛池模板: 国产超碰人人做人人爽av动图| 免费无码又爽又刺激一高潮| 久久天天躁狠狠躁夜夜2019| 国产亚洲精品国产福利你懂的 | 丰满少妇被猛烈进入无码| 亚洲精品自在在线观看| 国产超碰人人爱被ios解锁| 日本国产网曝视频在线观看| 亚洲一卡一卡二新区无人区| 国产成人高清精品免费软件| 亚洲综合av色婷婷五月蜜臀| 97精品国产手机| 自拍偷自拍亚洲精品第1页| 少妇被黑人4p到惨叫在线观看| 欧美一区二区三区性视频| 成+人+网+站+免费观看| 无码中出人妻中文字幕av| 男人猛躁进女人免费播放| 国产精品久久久久久亚洲毛片| 国产?在线观看免费游戏| 伊人久久大香线蕉av综合| 麻豆国产成人av在线播放欲色 | 窝窝影院午夜看片| 又黄又爽又猛的视频免费| 无套内射极品少妇chinese| 亚洲乱码日产精品一二三| 国产精品偷伦视频观看免费 | 久久久久久久99精品免费观看| 97夜夜澡人人爽人人喊中国片| 卡1卡2卡三卡精品视频 | 国产女女做受ⅹxx高潮| 欧美牲交a欧牲交aⅴ久久| 大又大粗又爽又黄少妇毛片| 人人妻人人澡av| 午夜爽爽爽男女免费观看hd| 久草热8精品视频在线观看| 人与嘼交av免费| 成本人妻片无码中文字幕免费| 蜜臀av无码国产精品色午夜麻豆| 国产精品福利一区二区久久| 99久久精品费精品国产一区二|