11月12日訊息，像OpenAI這樣的人工智慧公司正致力於開發新型訓練技術，以便克服在構建更大規模語言模型時遇到的意外延遲和挑戰。這些技術旨在使演算法以更類似於人類的方式“思考”。
多位人工智慧領域的科學家、研究人員和投資者認為，OpenAI最新發布的o1模型，其背後的技術可能會重塑人工智慧領域的競爭格局，並影響人工智慧公司對資源（如能源和晶片型別）的持續需求。
OpenAI對此未予置評。自聊天機器人ChatGPT釋出以來，眾多科技公司從人工智慧熱潮中受益，估值大幅上升。這些公司公開宣稱，透過增加資料和計算能力來“擴大”模型規模，可以持續改進人工智慧技術。
然而，一些頂尖科學家現在公開指出，模型“越大越好”的理念存在侷限性。OpenAI前首席科學家、Safe Superintelligence（SSI）創始人伊利亞·蘇茨克維（Ilya Sutskever）表示，擴大預訓練方式已進入瓶頸期。預訓練是指訓練人工智慧模型的階段，模型使用大量未標記的資料來理解語言模式和結構。
蘇茨克維曾倡導透過增加資料和計算能力來推動生成式人工智慧的進步，並因此創造了ChatGPT。今年早些時候，蘇茨克維離開OpenAI，併成立了SSI。他指出：“2010年代是模型規模擴張的時代，而現在我們又回到了奇蹟和發現的時代。每個人都在尋找下一個突破點，現在選擇正確的擴充套件方式比以往任何時候都更為重要。”
蘇茨克維未透露SSI團隊在探索的新方法的具體細節，僅表示團隊正在研究擴大預訓練規模的替代途徑。
據三位知情人士透露，主要人工智慧實驗室的研究人員在試圖釋出超越OpenAI GPT-4模型效能的大語言模型時，遇到了延遲和一些不盡如人意的結果，而GPT-4模型至今已推出近兩年。
這些大模型的“訓練執行”不僅成本高昂，可能達到數千萬美元，而且需要同時執行數百個晶片，系統複雜，硬體故障風險也較高。此外，研究人員通常要等上數月才能評估模型的最終效能，這增加了開發過程中的不確定性。
更為棘手的是，大語言模型對資料的需求量極大，當前人工智慧模型已幾乎耗盡全球所有易獲取的資料資源。同時，電力短缺也成為限制訓練執行的另一大難題，因為這一過程需要巨大的能源支援。
為應對這些挑戰，研究人員正積極探索“測試時間計算”技術，該技術在模型的“推理”階段增強其效能。例如，模型能夠實時生成並評估多種可能性，最終選擇最佳路徑，而非立即給出答案。
這種方法允許模型將更多的處理能力用於具有挑戰性的任務，如數學或編碼問題，或是需要類似人類推理和決策的複雜操作。
OpenAI研究員諾姆·布朗（Noam Brown）上個月在舊金山舉行的TED人工智慧大會上表示：“事實證明，讓機器人在撲克牌遊戲中思考20秒，與將模型擴大訓練10萬倍的效果相當。”
OpenAI在其新發布的o1模型中採用了“測試時間計算”技術，該模型原名Q*和“草莓”，能以多步驟方式“思考”問題，類似於人類的推理方式。同時，o1模型還結合了博士和行業專家的資料與反饋。其核心是在GPT-4等“基礎”模型之上進行了額外的訓練。OpenAI表示，計劃將此技術應用於更多、更大的基礎模型。
與此同時，據五名知情人士透露，Anthropic、xAI及谷歌DeepMind等其他頂尖人工智慧實驗室的研究人員也在積極研發各自的“測試時間計算”技術。
OpenAI首席產品官凱文·威爾（Kevin Weil）在10月的一次科技會議上表示：“當前有很多成果觸手可及，我們可以迅速採納，進一步提升模型效能。當競爭對手追趕時，我們將力求保持領先三步。”
谷歌和xAI未回應置評請求，Anthropic也暫未發表評論。
這一趨勢或將重塑人工智慧硬體的競爭格局。迄今為止，對英偉達人工智慧晶片的需求一直佔據市場主導地位。知名風險投資機構如紅杉資本和安德森·霍洛維茨（Andreessen Horowitz）等已敏銳捕捉到這一轉變，並正在評估其高額投資的影響。這些機構已向OpenAI、xAI等多家人工智慧實驗室的人工智慧模型開發投入巨資。
紅杉資本合夥人索尼婭·黃（Sonya Huang）表示：“這一轉變將引領我們從大規模預訓練叢集邁向基於雲的分散式推理伺服器——推理雲。”
英偉達最先進的人工智慧晶片需求激增，推動該公司市值在10月份超越蘋果，成為全球市值最高的公司。然而，與英偉達在訓練晶片市場的主導地位不同，這家晶片巨頭在推理市場可能會面臨更多競爭。
針對其產品需求可能受到的影響，英偉達回應稱，在最近的演示中已強調o1模型背後技術的重要性。英偉達執行長黃仁勳指出，使用其晶片進行推理的需求正在不斷上升。
他在印度的一次會議上表示：“我們現已發現第二個縮放定律，即推理時的縮放定律……所有這些因素共同推動了Blackwell（該公司最新的人工智慧晶片）需求的激增。”（小小）
