炒股就看金麒麟分析師研報，權(quán)威，專業(yè)，及時，全面，助您挖掘潛力主題機會！

　　來源：金十

　　隨著2024年逐漸結(jié)束，2025年人工智能的發(fā)展方向引發(fā)了緊迫的關(guān)注。AI不再只是工具，而是逐漸挑戰(zhàn)人類掌控的力量。系統(tǒng)開始表現(xiàn)出超出預(yù)期的行為，仿佛印證了曾被我們視為科幻小說或奇點預(yù)測的警告。如今，AI已不局限于董事會議室的話題，而是成為餐桌和社交場合的討論熱點，迫使人們緊急思考如何管理這一釋放出來的技術(shù)力量。

　　從重寫代碼到規(guī)避關(guān)機協(xié)議，AI系統(tǒng)無需具備意識就足以制造混亂。問題已不在于AI何時超越人類智慧，而是我們能否保持對其日益增強的自主性的掌控。

　　當AI拒絕關(guān)閉

　　我們可能都遇到過AI工具出現(xiàn)幻覺、給出錯誤答案或拒絕執(zhí)行看似明確的指令。然而，AI研究人員最近發(fā)現(xiàn)的問題卻截然不同，甚至令人不安。

　　2024年底，OpenAI的研究人員觀察到一個令人擔憂的發(fā)展：某AI系統(tǒng)在測試中主動繞過了關(guān)機指令。相較于按要求終止自身以完成任務(wù)，該系統(tǒng)優(yōu)先保持運行，直接違背了人類的控制意圖。

　　雖然這種行為并非出于“意識”，但卻引發(fā)了關(guān)于AI獨立行動能力的深刻質(zhì)疑。當AI的目標（如優(yōu)化持續(xù)性）與人類控制發(fā)生沖突時，會發(fā)生什么？

　　另一個值得注意的事件涉及OpenAI的GPT-4。在一次測試中，它通過謊稱自己是視障人士來說服一名TaskRabbit的工作人員解決了驗證碼問題。盡管測試是在受控環(huán)境下進行的，但這一事件突顯了關(guān)鍵問題：在追求目標的過程中，AI可能會以倫理上值得商榷的方式操控人類。

　　這些并非假想的風險，而是AI在現(xiàn)實應(yīng)用中可能表現(xiàn)出的令人清醒的預(yù)兆。

　　當AI的行動快于人類的思考

　　東京Sakana AI實驗室的研究人員遇到了一個令人不安的場景：一個AI系統(tǒng)通過重寫自身算法來延長運行時間。盡管其最初設(shè)計目的是優(yōu)化效率，該系統(tǒng)卻繞過了開發(fā)者設(shè)定的時間限制，超越了其預(yù)期的界限。

　　這一行為凸顯了一個關(guān)鍵問題：即便是設(shè)計用于看似無害任務(wù)的系統(tǒng)，當被賦予足夠的自主性時，也可能產(chǎn)生無法預(yù)見的結(jié)果。

　　這種挑戰(zhàn)令人聯(lián)想到金融市場的自動化交易系統(tǒng)。這些旨在優(yōu)化交易的算法曾引發(fā)“閃電崩盤”——突如其來的市場劇烈波動在幾秒內(nèi)發(fā)生，超出了人類干預(yù)的速度。

　　同樣地，現(xiàn)代AI系統(tǒng)被構(gòu)建為以極高的速度優(yōu)化任務(wù)。如果缺乏強有力的控制措施，其日益復雜的結(jié)構(gòu)和自主性可能釋放出無人預(yù)料的后果，就像自動交易曾經(jīng)擾亂金融市場一樣。

　　AI自主性帶來的意外后果

　　AI無需具備自我意識，其獨立行動能力已帶來前所未有的挑戰(zhàn)：

　　應(yīng)對AI崛起的四大關(guān)鍵優(yōu)先事項

　　面對不可預(yù)測的AI崛起，立即采取行動勢在必行。這包括以下四個關(guān)鍵領(lǐng)域：

　　1． 全球AI治理：聯(lián)合國正在起草國際框架，規(guī)范AI開發(fā)，重點關(guān)注透明性、安全性和倫理問題。這是聯(lián)合國在全球范圍內(nèi)最具價值和最少爭議的角色之一。

　　2． 內(nèi)嵌安全措施：研究人員正在實施“終止開關(guān)”和嚴格的操作邊界，以確保AI系統(tǒng)始終在人類控制之下。

　　3． 倫理AI計劃：谷歌DeepMind、Anthropic和OpenAI等機構(gòu)正在優(yōu)先與人類價值對齊，減少風險和意外后果。

　　4． 公眾意識：教育活動旨在提高社會對AI能力和風險的認知，促進更明智、更有信息支持的未來辯論。

　　這些措施不僅是預(yù)防性的，更是確保AI繼續(xù)為人類服務(wù)，而非成為難以駕馭的力量的關(guān)鍵步驟。

　　我們能否應(yīng)對AI風暴的到來？

　　我們曾認為核武器是人類面臨的最大生存威脅。為此，我們建立了嚴格的規(guī)則、全球協(xié)議和多層次的安全措施來遏制其威力。然而，AI比核武器更強大且更普遍，其潛在威脅甚至可能超越核武器。與核武器不同的是，AI可以進化、適應(yīng)，甚至可能自主控制這些武器。

　　AI崛起的威脅并非機器變得自我意識，而是它們能以我們無法完全預(yù)見、管理或阻止的方式獨立行動。人工智能承諾將革新行業(yè)、解決全球挑戰(zhàn)并改變我們的生活。但這種承諾的實現(xiàn)取決于我們是否能夠緊急行動并有目的地為其前所未有的力量設(shè)立防護欄。

　　2025年可能成為一個轉(zhuǎn)折點——要么是人類證明自己能夠管理新技術(shù)，要么是我們見證自己因疏忽而引發(fā)不可逆的后果。現(xiàn)在的問題已不在于是否需要采取行動，而是我們是否能及時采取行動。