①o1在「化學、生物、放射和核」武器相關的問題上存在「中等」風險——這也是OpenAI有史以來對其模型打出的最高風險評級；②專家稱，具有更先進功能（例如執行逐步推理的能力）的AI軟件，在惡意行爲者手中更容易被濫用。
美國人工智能公司OpenAI承認，其最新的o1模型「顯著」增加了被濫用於製造生物武器的風險。
當地時間週四（9月12日），OpenAI發佈了新一代o1系列模型，宣稱可以推理複雜的任務並解決比以前的科學、編碼和數學模型更難的問題。這些進展也被認爲是朝向通用人工智能（AGI）的關鍵突破。
根據測試，o1模型在國際數學奧林匹克的資格考試中，能夠拿到83%的分數，而GPT-4o只能正確解決13%的問題。在編程能力比賽Codeforces中，o1模型拿到89%百分位的成績，而GPT-4o只有11%。
OpenAI表示，根據測試，在下一個更新的版本中，大模型在物理、化學和生物學的挑戰性基準測試中，表現能夠與博士生水平類似。但能力越強的AI模型意味着其潛在的破壞力也更強。
同一時間，OpenAI公佈了o1的系統卡（用於解釋AI如何運作的工具），報告概述了包括外部紅隊測試和準備框架（Preparedness Framework）等細節，並介紹了其在安全及風險評估方面所採取的措施。
報告提到，o1在「化學、生物、放射和核」（CBRN）武器相關的問題上存在「中等」（medium）風險——這也是OpenAI有史以來對其模型打出的最高風險評級。
OpenAI表示，這意味着該技術「顯著提升」了專家制造生物武器的能力。據了解，評級一共分爲「低、中、高和嚴重」四檔，評級在「中」或以下的模型才可以部署，在「高」或以下的才可以進一步開發。
專家稱，具有更先進功能（例如執行逐步推理的能力）的AI軟件，在惡意行爲者手中更容易被濫用。
圖靈獎得主、蒙特利爾大學計算機科學教授Yoshua Bengio表示，如果OpenAI現在在化學和生物武器方面構成「中等風險」，那麼這「進一步加強了」立法的必要性和緊迫性。
Bengio提到了有望即將落地的「SB 1047法案」，全稱「前沿人工智能模型安全創新法案」。該法案要求大型前沿人工智能模型的開發者採取預防措施，其中就包括減少模型被用於開發生物武器的風險。
Bengio稱，隨着前沿AI模型向AGI邁進，如果沒有適當的防護措施，風險將繼續增加，「AI推理能力的提升及其利用該技能進行欺騙的潛力尤其危險。」
OpenAI首席技術官米拉·穆拉蒂（Mira Murati）告訴媒體，由於o1模型的先進功能，公司在向公衆推出該模型時採取了特別「謹慎」的態度。
她補充道，模型通過了紅隊測試，在整體安全指標上遠優於之前的版本。
編輯/ping