如果您希望可以時常見面，歡迎標星收藏哦~
來源：內容編譯自forbes，謝謝。
不可否認的是，我們現在在技術方面取得了長足的進步，不僅在大型語言模型方面，而且在基礎設施方面。
事實上，我看到社群中許多人將注意力轉向了我們正在研究的 GPU 和硬體基準。當然，模型的發展速度仍然非常快，但也值得關注裸機方面。
考慮到這一點，最近一集的 No Priors 播客中有很多內容值得解讀，Nvidia 執行長黃仁勳在其中貢獻了一些見解。
現在肯定是 Nvidia 的時代了，因為該公司已經超越和微軟，成為全球最大的科技公司。目前正在建設的頂級資料中心的機架中都使用了 Nvidia 的產品和高階 GPU，黃仁勳對這一轉變有很多話要說。
在談到叢集的並行性和協同設計的進步時，他說：“世界已經改變。規模已經改變。”
摩爾定律的演變
黃仁勳與主持人回顧了他對硬體發展歷史的一些看法，談到了業界公認的摩爾定律如何歷經多年，人們越來越多地預測電晶體和處理能力每年都會翻一番。
作為參考，ChatGPT 這樣向我們解釋摩爾定律：
“摩爾定律是英特爾聯合創始人戈登·摩爾於 1965 年提出的一項觀察結果。該定律預測，微晶片上的電晶體數量大約每兩年就會翻一番，從而導致計算能力相應提高，相對成本下降。這一趨勢推動了計算能力的快速進步，並且幾十年來一直是指導半導體行業的基本原則。”
這有點諷刺，因為被 Nvidia 擊敗的公司主要是英特爾。但我離題了……
黃仁勳表示，現在變化的速度更快，我們正在看到所謂的“超摩爾定律”。
他建議，為了實現這一目標，規劃人員必須以“全棧方法”一起審視架構和系統。
“你可以將網路視為一個計算結構，並將大量工作推送到網路中，將大量工作推送到結構中，”他說。“因此，你正在以非常大的規模進行壓縮。”
推理和延遲：讓實時系統更加智慧
黃還提到了適應語言模型和神經網路的工作，這些模型和神經網路正在實現推理時間的擴充套件，並動態地產生思路和推理鏈。
“我們必須發明一些新東西，”他說，並指出低延遲和高吞吐量本質上是相互矛盾的。此外，他還提到，行業可能會進入一個多元化的時代，出現各種規模的語言模型，包括微型語言模型或 TLM。
“你仍將建立這些令人難以置信的前沿模型，”他說。“它們將被用於開創性的工作。你將使用它們來生成合成資料。你將使用這些模型，大型模型來教授小型模型，並提煉出小型模型。”
大客戶：X.AI 的專案
隨後，黃仁勳透露了該公司與埃隆·馬斯克合作建設X.AI資料中心的一些非常有趣的元素。
他對馬斯克的快速實施和做出支撐這個超級叢集的決策給予了高度評價，因為很多人都在快速地完成所有事情。
黃說：“這確實證明了他的意志力，以及他如何能夠思考機械問題、電氣問題，並克服顯然是非凡的障礙。”
他還透露，利益相關者使用數字孿生過程來幫助實施系統。
“我們模擬了所有網路配置，將所有東西都預先安排成數字孿生。我們預先安排了整個供應鏈。我們預先安排了網路的所有佈線。我們甚至設定了一個小版本，有點像，你知道，只是它的第一個例項……所以當所有東西都出現時，一切都已準備就緒。所有的練習都完成了，所有的模擬都完成了。然後是大規模整合……龐大的人類團隊齊心協力，24/7 全天候連線所有東西，幾周內，叢集就啟動了。”
這個專案有什麼特別之處？他說，由於裝置數量龐大，專案進度“異常”。
AI 晶片設計師？
黃證實，該公司使用人工智慧實體作為晶片設計師和軟體工程師。
“如果沒有他們，我們就無法建造 Hopper，”他說。“他們可以探索比我們大得多的空間。他們有無限的時間來探索太空。”
公司與變革
黃仁勳回顧了過去幾年英偉達市值火箭式飆升的歷程，並談到了這給企業內部帶來的影響。
他說：“公司的變化不可能像其股價變化那麼快”，並強調深思熟慮的價值，瞭解行業內實際發生的事情以推動變革。
他說，他已經意識到，Nvidia 在大約 60 年的時間裡首次徹底改變了計算方式，降低了計算機的邊際成本，直到計算機能夠自行完成任務為止。
這是改變遊戲規則的舉措——這還只是輕描淡寫！我一直在關注 Claude 和 OpenAI 的 o1 和 Orion，有一件事是肯定的——當我們談到市場效應時，事情將永遠不會一樣。
我可能會在其他地方報道更多黃仁勳的評論，因為他正在更深入地研究系統真正自主完成任務的新功能——在最低限度的監督下，讓人工智慧在公司流程中發揮更大的作用。
這是你真正開始看到“代理人工智慧”的效果的地方——人工智慧實體將承擔工程和設計的角色，並獲得成果的認可。
毫無疑問，這是一個令人難以置信的變革時代。
https://www.forbes.com/sites/johnwerner/2024/11/08/behind-the-scenes-nvidias-great-rise-and-the-new-data-center-era/
半導體精品公眾號推薦
專注半導體領域更多原創內容
關注全球半導體產業動向與趨勢
*免責宣告：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支援，如果有任何異議，歡迎聯絡半導體行業觀察。
今天是《半導體行業觀察》為您分享的第3943內容，歡迎關注。
『半導體第一垂直媒體』
實時 專業 原創 深度
公眾號ID：icbank
喜歡我們的內容就點“在看”分享給小夥伴哦
