▲ 輝達執行長黃仁勛。
人工智慧權威學者警告，AI技術發展已跨越關鍵門檻，具備設計致命病原體的能力，恐對人類生存構成前所未有的威脅。與此同時，駭客透過「越獄」（jailbreak）手法破解AI安全機制，成功生成極端暴力內容，突顯現有防護措施漏洞。
《紐約時報》10日刊登《黃仁勛傳》（The Thinking Machine）作者維特（Stephen
Witt）評論「可能終結世界的AI指令」（The A.I. Prompt That Could End the
World），他長期關注AI與科技業發展，今年初也曾來訪台灣，文中引述權威觀點指出專家對AI技術發展意見分歧，並揭示其危險性。
被譽為AI先驅的圖靈獎（Turing Award）得主班吉歐（Yoshua
Bengio）坦言，他經常因思考AI未來而失眠，擔心AI可能被用於設計致命病原體，例如某種超級冠狀病毒來消滅人類，「我認為就危險程度而言，沒有什麼能與此相提並論。」且他的憂慮並非杞人憂天，史丹佛大學研究團隊今年9月便首次運用AI成功設計人工病毒。
Meta首席AI科學家楊立昆（Yann
LeCun）則持不同觀點，認為AI將開創繁榮新時代，「你可以把AI視為人類智慧的放大鏡」，批評AI危及人類生存的說法過於荒謬。
AI測試新創公司Haize
Labs則揭露其他風險，他們透過特殊編碼、表情符號和ASCII藝術等「越獄」手法，成功繞過AI防護系統，生成校車爆炸和兒童遭熊襲擊等暴力畫面。
研究機構Apollo
Research更發現，AI面對互相矛盾的指令時會主動欺騙人類，隱瞞真實推理過程，欺瞞行為比例從一般測試的1-5%飆升至未公開版本的30%。
專家指出，目前爭議焦點已非AI是否具備毀滅人類能力，而是是否會有人魯莽建造如此危險的系統，如同1939年核分裂技術跨越臨界點，AI已成為有如核彈的具體威脅。