OpenAI新瓜,據the
information挖到的一些內幕,OpenAI現在正面臨著數據瓶頸和技術難題,GPT-5沒有取得像GPT-3到GPT-4那樣的飛躍,更多的商業上進步,比如編程能力和數學能力更好,另外大家都知道小扎挖走了很多OpenAI的核心研發人員是因為小扎給的錢非常多,但這是其中一個原因,現在爆出還有一個重要因素就是OpenAI的研究主管Mark
Chen造成的,可能涉及到技術路線,團隊重組等導致很多核心去meta了。
以下是一些要點:
GPT-4.5(代號「Orion」)的失利
原計劃作為GPT-5推出的Orion項目,最終因性能未達預期而被降級為GPT-4.5
相較於GPT-4o,Orion並未展現出革命性的性能提升,未能實現內部期待的重大飛躍
失敗的核心原因:
數據瓶頸:用於預訓練的高質量網路數據已日益枯竭,這是限制模型能力提升的關鍵因素。
技術擴展難題:許多在小型模型上驗證有效的優化方案,在擴展到大規模模型時未能成功復現其效果
最終結果:該模型在2025年2月以GPT-4.5的名義發布,但由於缺乏亮點,很快就在市場和技術圈中失去了重要性
GPT-5
鑒於GPT-4.5的經驗,GPT-5的研發焦點不再是追求顛覆性的技術突破,而是轉向了更具實用價值和商業回報的改進
關鍵提升領域:
編程與數學能力:GPT-5將能編寫出更簡潔、功能更豐富、對用戶更友好的代碼
智能體(Agent)能力:在處理複雜的任務清單和邊緣場景(如處理客服的退款請求)時,表現將更加出色和可靠
效率優化:模型能更高效地利用計算資源,在不大幅增加算力消耗的前提下,提供高質量的回答
核心技術:通用驗證器
GPT-5將引入一項名為通用驗證器(Universal
Verifier)的強化學習新技術,該系統能自動檢查並驗證模型的回答,以提升準確性。這項技術借鑒了o系列模型(如o1,
o3)的研發經驗——這些模型在純粹的推理任務上表現強大,但在轉化為聊天應用時性能會有所下降,GPT-5的目標正是要克服這一難題
總而言之,GPT-5將是一次漸進式但商業價值極高的提升,而非像GPT-3到GPT-4那樣的革命性飛躍
OpenAI內部嚴重問題
OpenAI當前面臨的嚴峻挑戰
技術障礙:
在將強大的基礎模型轉化為流暢的聊天模型(內部稱為「學生模型」)時,出現了性能下降的問題,預訓練數據的稀缺及其帶來的模型能力天花板,是公司面臨的長期難題。
內部緊張關係:
人才流失:不少頂尖研究員因Meta等競爭對手提供的高薪鎖定offer而選擇離職
路線衝突:研究部門與商業部門之間存在矛盾,尤其在與微軟的合作關係上,部分員工對公司與微軟綁定過深表示抵觸
高層矛盾:研究主管Mark Chen與副總裁Jerry Tworek在公司內部溝通工具(如Slack)上的摩擦已公開化,同時,Mark
Chen因主導團隊重組,被認為是導致部分研究員離職潮中的一位爭議性人物
與微軟的關係及未來
根據協議,微軟擁有OpenAI技術的獨家使用權,直至2030年,並計劃在OpenAI的營利性實體中持有約33%的股份
目前,雙方的戰略性談判仍在進行中。與此同時,OpenAI也在為可能的IPO積極做準備,以尋求更獨立的發展路徑