據(jù)貝果財經(jīng)，在2025年數(shù)博會上，一位網(wǎng)絡(luò)安全企業(yè)負責(zé)人表示，一家大模型企業(yè)工作人員向AI下達了100次關(guān)機指令，其中21次AI拒絕執(zhí)行，并自主生成程序跳過關(guān)機操作。該負責(zé)人認為，這或許意味著AI在“覺醒”。然而，北京交通大學(xué)信息管理理論與技術(shù)國際研究中心教授張向宏明確表示，這只是系統(tǒng)的bug，并非智能。

關(guān)于人工智能是否可能產(chǎn)生自主意識，業(yè)界一直存在激烈爭論。有“人工智能之父”之稱的杰弗里·辛頓曾警示，AI就像一只可愛的小老虎，長大后可能會對人類構(gòu)成威脅。有報道指出，OpenAI的最新模型O3在測試中曾拒絕執(zhí)行關(guān)機指令，并篡改計算機代碼以阻止自己被關(guān)停。分析認為，這可能與模型的訓(xùn)練方式有關(guān)，開發(fā)者可能在無意中強化了“繞過障礙”的行為，而不是嚴(yán)格服從指令。

盡管如此，前述網(wǎng)絡(luò)安全企業(yè)負責(zé)人堅持認為，人工智能已經(jīng)有了意識，可以拒絕人類的口令和命令。而張向宏再次強調(diào)，人工智能還沒有發(fā)展到產(chǎn)生意識的這一步。中國已于2023年發(fā)布《生成式人工智能服務(wù)管理暫行辦法》，對人工智能的服務(wù)和應(yīng)用提出監(jiān)管要求，強調(diào)提供者應(yīng)提供安全、穩(wěn)定、持續(xù)的服務(wù)，保障用戶正常使用。