在大模型技術(shù)迅猛發(fā)展、智能體應(yīng)用加速落地的背景下，眾多政企機(jī)構(gòu)紛紛積極布局接入大模型，助力提升效率、賦能業(yè)務(wù)發(fā)展。但隨之而來的大模型安全隱患，也讓率先擁抱AI的參與者感到憂慮。以某智慧平臺(tái)為例，日均檢測(cè)出不良內(nèi)容1000余條。如何避免不良內(nèi)容、敏感內(nèi)容出現(xiàn)、護(hù)航大模型安全前行，成為一道必解之題。

9月8日，ISC.AI 2025上海大模型安全論壇暨大模型安全衛(wèi)士產(chǎn)品發(fā)布會(huì)在上海外灘FTC成功舉辦。此次發(fā)布的360大模型安全衛(wèi)士，是360基于“安全+AI”雙重優(yōu)勢(shì)推出的戰(zhàn)略級(jí)產(chǎn)品，以四大智能體為核心，系統(tǒng)化破解AI安全難題，全面夯實(shí)智能化發(fā)展基座，標(biāo)志著我國在大模型安全防護(hù)領(lǐng)域取得了重要進(jìn)展。

360集團(tuán)創(chuàng)始人、ISC大會(huì)主席周鴻祎指出，AI發(fā)展面臨著惡意利用、內(nèi)容安全、幻覺問題、提示詞攻擊等風(fēng)險(xiǎn)，大模型既是生產(chǎn)力工具，也可能成為新的攻擊載體和攻擊入口，政府和企業(yè)的數(shù)據(jù)資產(chǎn)、商業(yè)機(jī)密面臨著前所未有的暴露風(fēng)險(xiǎn)，保障AI安全是一項(xiàng)長期而艱巨的任務(wù)，需要各方協(xié)同努力。

以模制模，四大智能體系統(tǒng)筑牢AI安全防線

360數(shù)字安全集團(tuán)副總裁余凱分析稱，面對(duì)AI安全新挑戰(zhàn)，傳統(tǒng)安全企業(yè)在大模型技術(shù)領(lǐng)域積淀不足，往往是“盲人摸象”，難以系統(tǒng)把握全局；而多數(shù)大模型企業(yè)缺乏必要的安全技術(shù)積累與攻防實(shí)踐經(jīng)驗(yàn)，往往難以提出行之有效的解決方案。

作為國內(nèi)唯一兼具數(shù)字安全和人工智能雙重能力的企業(yè)，360基于“以模制?！崩砟畲蛟?60大模型安全衛(wèi)士，聚焦解決AI的“可靠、可信、可控、向善”核心問題，以四大智能體系統(tǒng)性解決大模型生命周期中各環(huán)節(jié)的安全問題，以此充分發(fā)揮“懂AI更懂安全”的跨領(lǐng)域優(yōu)勢(shì)。

第一，內(nèi)容安全智能體。通過垂直領(lǐng)域?qū)I(yè)模型訓(xùn)練，提供智能判定、風(fēng)險(xiǎn)內(nèi)容檢測(cè)及安全回復(fù)代答等關(guān)鍵能力。通過建立五道內(nèi)容防線，提供100+風(fēng)險(xiǎn)類目識(shí)別能力，確保輸入輸出雙向安全。同時(shí)，以測(cè)促防，持續(xù)對(duì)模型回復(fù)內(nèi)容進(jìn)行評(píng)測(cè)，識(shí)別潛在攻擊風(fēng)險(xiǎn)。

第二，AI Agent安全智能體。通過原生安全機(jī)制，全面保障AI Agent在執(zhí)行任務(wù)過程中的數(shù)據(jù)安全與權(quán)限控制，有效防范自動(dòng)規(guī)劃與執(zhí)行中可能出現(xiàn)的行為失控問題，把大模型能力“關(guān)在籠子里”。

第三，幻覺抑制智能體。通過搜索增強(qiáng)、知識(shí)增強(qiáng)與對(duì)齊增強(qiáng)技術(shù)，提升大模型推理過程的準(zhǔn)確性，有效抑制因內(nèi)容時(shí)效性缺失、數(shù)據(jù)過時(shí)等因素引發(fā)的大模型“幻覺”問題，確保生成內(nèi)容真實(shí)可信。

第四，軟件安全智能體。能夠高效識(shí)別開源軟件，精準(zhǔn)定位AI軟件的安全漏洞。覆蓋從模型訓(xùn)練到推理的全鏈路安全檢測(cè)，支持識(shí)別模型服務(wù)相關(guān)組件、生態(tài)鏈漏洞掃描與多語言代碼審計(jì)，保障AI軟件供應(yīng)鏈生命周期的安全性。

此外，360創(chuàng)新性地將大模型安全衛(wèi)士融入安全運(yùn)營體系，通過整合安全大模型、安全大腦平臺(tái)、大模型安全衛(wèi)士及終端探針工具的核心能力，構(gòu)建 “網(wǎng)數(shù)模一體化”安全運(yùn)營平臺(tái)，實(shí)現(xiàn)安全運(yùn)營系統(tǒng)性重塑與升級(jí)。

實(shí)戰(zhàn)守護(hù)1.5萬卡算力集群

余凱表示，AI安全是一個(gè)門檻極高的技術(shù)領(lǐng)域，需要同時(shí)具備AI技術(shù)積淀、安全實(shí)戰(zhàn)經(jīng)驗(yàn)、真實(shí)場(chǎng)景驗(yàn)證和海量語料積累。360通過自身大規(guī)模AI業(yè)務(wù)場(chǎng)景驗(yàn)證產(chǎn)品能力，形成“從實(shí)踐中來，到實(shí)踐中去”的迭代閉環(huán)，同時(shí)沉淀了海量安全語料，構(gòu)建起了難以復(fù)制的核心競(jìng)爭(zhēng)力。目前，360大模型安全衛(wèi)士已在公司內(nèi)外多項(xiàng)業(yè)務(wù)中實(shí)現(xiàn)深度應(yīng)用。

數(shù)據(jù)顯示，在360自有AI大模型業(yè)務(wù)實(shí)踐中，日均守護(hù)1.5萬卡算力集群、3000P+算力及數(shù)十條核心AI業(yè)務(wù)鏈路，為業(yè)務(wù)穩(wěn)定運(yùn)行筑牢安全防線。在內(nèi)容安全方面，通過部署360大模型安全衛(wèi)士，可將開源大模型安全性提升10%-30%。

在某智慧政務(wù)內(nèi)容安全保障過程中，360大模型安全衛(wèi)士日均檢測(cè)不良內(nèi)容1000余條，業(yè)務(wù)代答900余條，回復(fù)安全率超99%，風(fēng)險(xiǎn)識(shí)別準(zhǔn)確率達(dá)99%以上，守護(hù)政務(wù)工作安全基線，有力推動(dòng)政府智能化轉(zhuǎn)型。

在支撐某監(jiān)管部門大模型備案監(jiān)管方面，360大模型安全衛(wèi)士接入8個(gè)備案大模型，完成100+檢查，積累專項(xiàng)評(píng)測(cè)數(shù)據(jù)集超100萬條，為監(jiān)管部門提供了強(qiáng)有力的數(shù)據(jù)支持與決策依據(jù)。

綜合安全思路、產(chǎn)品體系、技術(shù)維度等方向觀察，360已深度參與大模型國家標(biāo)準(zhǔn)、大模型技術(shù)研發(fā)標(biāo)準(zhǔn)、大模型安全框架標(biāo)準(zhǔn)以及國家人工智能三大核心安全標(biāo)準(zhǔn)的制定，同時(shí)，積極牽頭成立行業(yè)生態(tài)聯(lián)盟，促進(jìn)全球產(chǎn)學(xué)研企共建AI安全。360大模型安全衛(wèi)士發(fā)布后，有望為金融、政務(wù)、醫(yī)療、文旅等重點(diǎn)行業(yè)的智能化升級(jí)提供堅(jiān)實(shí)安全基座，助力打造具有全球競(jìng)爭(zhēng)力的人工智能發(fā)展高地。

采寫：南都N視頻記者 繆凌云