ChatGPT 開發商 OpenAI 於本月 7 日正式宣布全面開放 GPT-4，但在近來有諸多用戶抱怨這個被譽為世界最強大的 AI 模型突然變笨了！有 AI 業界專家猜測這是因為 OpenAI 對 GPT-4 對模型進行徹底的重新設計所致…
（前情提要：OpenAI正式開放GPT-4！新數據產品Code Interpreter同步上線 ）
（背景補充：ChatGPT炒作熱潮沒了？市場資金開始逃離AI概念股 ）
人工智慧（AI）聊天機器人 ChatGPT 開發公司 OpenAI 在 7 日全面開放 GPT-4，所有付費用戶都可以運用這被譽為世界最強 AI 模型的功能，GPT-4 也進化到擁有能讀懂更長且更複雜文本的能力。
然而，《Business Insider》今（13）日報導，最近幾週 GPT-4 用戶湧現 GPT-4 突然「變笨」和「變懶」的批評聲浪，讓業界人士議論紛紛。相較 3 月那時剛推出時，即便速度很慢，但回答很準確的表現，GPT-4 近來雖然變得更快，但推理能力和其他性能卻有明顯滑坡的跡象。
延伸閱讀：ChatGPT更進化！升級版「GPT-4」律師考試贏9成人、能讀懂圖片，OpenAI：已達人類表現
GPT-4變笨了？
在 Twitter 和 OpenAI 線上開發者論壇上的評論中，用戶抱怨的點包括：邏輯弱化、錯誤響應增多、無法跟蹤所提供的資訊、難以遵循指令、忘記在基本軟體程式碼中添加括號以及只記住最重要的內容等諸多問題。
Christi Kennedy 上月在 OpenAI 開發者論壇上寫道，GPT-4 會重複循環輸出程式碼和其他訊息。
「與以前相比，這簡直是腦死！
如果你沒有真正推動它發揮以前的功能，你就不會注意到。但如果你真正充分使用它，你會發現它顯然要愚蠢得多。」
而元宇宙遊戲 Roblox 產品負責人 Peter Yang 5 月也在推特上表示，他發現 GPT-4 生成的輸出速度更快，但品質變差了，至少他認為寫作品質有下降，並猜測這是因為 OpenAI 正在努力節省成本。
GPT4's output has changed recently.
It generates faster, but the quality seems worse.
Perhaps OpenAI is trying to save costs.
Has anyone else noticed this?
— Peter Yang (@petergyang) May 21, 2023
業界猜測 GPT-4 開始採用 MoE
對於 GPT-4 的性能下降現象，有業界人士猜測 OpenAI 對 GPT-4 的系統重新設計可能是主因。Sharon Zhou 是一家幫助開發人員構建客製化大型語言模型的 AI 新創 Lamini 的執行長，她和一些 AI 專家認為 OpenAI 正在 GPT-4 上使用「專家混合模型」（Mixture-of-Experts layer，MoE）。
MoE 透過創建眾多較小的 GPT-4 專家模型，來接受不同任務和主題領域的訓練，當 GPT-4 用戶提出問題時，專家的門控網路就會將該查詢 token 發送給最適合的一個或多個專家模型，然後將結果混合在一起輸出。這種方法能夠有效優化訓練時間和效率，並且降低模型的運行成本
Zhou 認為「OpenAI 正在將 GPT-4 轉變為由較小船隻組成的艦隊，從她的角度來看，這是一種新模式。」
GPT-4 訓練成本曝光
本週，數位 AI 專家都在 Twitter 上發表對 GPT-4 正在採用 MoE 的爆料。Semianalysis 週二也發佈有關 GPT-4 架構數據、運行成本和 MoE 的內幕消息文章 （需付費訂閱觀看）。
根據 AI 新創創辦人 Yam Peleg 在推特洩漏的文章內容稱（現推文已因版權問題被刪除）， GPT-4 有 1.8 兆個參數、跨 120 層，其正在利用 MoE 技術，採用 16 位不同專家進行工作，並針對特定任務/領域進行了訓練，以在不顯著增加成本的情況下有效擴展語言模型。
文中也曝光了 GPT-4 高昂的訓練成本，稱 OpenAI 已使用大約 25,000 個 Nvidia A100 GPU 進行了 90~100 天的訓練，但猜測與 Microsoft 的交易使該公司能夠利用 Azure 的資源（例如 A100 GPU）進行訓練，在雲端上運行這些 A100 GPU 的成本約為每小時 1 美元，估計 OpenAI 在此輪的訓練成本約為 6,300 萬美元。
Allen 人工智慧研究所執行長 Oren Etzioni 對本週的爆料表示，雖然還未得到證實，但他推測這些猜測大致準確，。
使用 MOE 方法有兩個主要的技術原因：生成更好的響應，以及更便宜、更快的響應。
正確的專家混合可以同時滿足兩者，但通常需要在成本和品質之間進行權衡。
Sharon Zhou 則認為 GPT-4 最近幾週令人不安的性能下降很可能與這種訓練和 OpenAI 新採用的 GPT-4 MoE模型有關，但在經過一定時間的測試後，GPT-4 會持續學習並改進。
📍相關報導📍
OpenAI 發表 GPT-4 模型 API，支援圖像辨識！全新 9 大特色一次了解
