Nvidia 官方近日發布一篇文章，解釋他們相信 AI 晶片的效能，能如 CEO 黃仁勳提出的黃氏定律（Huang’s Law）：在 10 年內能讓單個 GPU 在推理性能實現 1000 倍以上的增長。
（前情提要：Nvidia的AI晶片H100有多神？為何一片難求？）
（背景補充：比輝達H100更強！NVIDIA最強AI晶片GH200是什麼？驚人跑分曝光）
近年來，科技界一直在爭論「摩爾定律（Moore’s law）是否已死？」的話題，就連在人工智慧晶片領域獨佔鰲頭的輝達（Nvidia）執行長黃仁勳，也曾多次公開表示「摩爾定律已死」，而 AI 將能成為克服摩爾定律困境的解藥。
Nvidia 解釋黃氏定律
看好 AI 推理性能會大幅成長，Nvidia 官方最近發布一篇文章，再次向大眾提出這項新興法則：黃氏定律（Huang’s Law）。
該公司首席科學家 Bill Dally 在 8 月底的《Hot Chips 2023》的演講中表示，Nvidia 團隊在過去十年中，讓單個 GPU 在 AI 推理的性能實現 1,000 倍以上的提升，這是一個令人震驚的成長。
他相信鑒於對生成式 AI 大型語言模型的強大需求，該模型每年都以一個數量級的規模成長。
延伸閱讀：Nvidia黃仁勳搞革命「GPU效能5年千倍」，亮相AI超級電腦、晶片：打破摩爾定律
Nvidia 將遵循黃氏定律，10 年內晶片效能獲 1000 倍成長
Dally 在 8 月的演講中提到，與摩爾定律不同，晶片製程縮小對 Nvidia 晶片發展幾乎沒有影響。他表示，儘管 Nvidia 在過去十年中將 GPU 從 28 奈米轉到了 5 奈米的半導體節點，但製程的縮小的技術僅讓晶片性能成長了 2.5 倍。
之所以 Nvidia 能在過去十年中見證了晶片性能的 1000 倍增長，關鍵在於優先考慮單個「堆疊」內的創新，而非晶片開發。
Dally 列舉了在過去幫助 Nvidia 實現 1000 倍效能增長到重點措施，包括：
- 引入 Hopper 架構和 Transformer 引擎的新數學動態組合
- 提供高級指令幫助 GPU 用更少的精力執行更多的工作
- Nvidia Ampere 架構增加了結構稀疏性，其簡化 AI 模型中的權重而不影響模型準確性
- NVLink 幫助 GPU 互聯和 Nvidia 網路技術進步等
最後，Dally 信心喊話，儘管摩爾定律帶來的好處正在減少，但他相信黃氏定律仍將繼續存在，並為行業帶來嶄新機會。
📍相關報導📍
AI大未來！這6個加密專案加入了 NVIDIA Inception 計劃
