特斯拉 CEO 馬斯克旗下的人工智慧公司 xAI 在今日正式開源其聊天機器人 Grok 的權重和架構，該模型參數量高達 3,140 億個，成為迄今參數量最大的「開源」大型語言模型。
（前情提要：OpenAI痛斥馬斯克陰險：得不到就想毀掉！欲趁機竊取專利技術）
（背景補充：馬斯克提告 OpenAI、Sam Altman：成微軟印鈔機器，背離非營利開源宗旨 ）
特斯拉執行長馬斯克（Elon Musk）11 日於推特宣佈，他旗下的人工智慧公司 xAI 將在本週開源 Grok 聊天機器人後，今（18）日，xAI 正式在 GitHub 上公開發布其大型語言模型 Grok-1 的基礎模型之權重和網路架構，這意味著研究人員和開發人員能夠免費在該模型的基礎上進行構建。
另外，由於 xAI 是根據 Apache License 2.0 將 Grok-1 開源，這是一種開源的軟體授權協議，將允許使用者進行商業使用和二次開源，但不能註冊商標。
Grok-1 成目前參數量最高的「開源」大型語言模型
xAI 表示， Grok-1 是一個由 xAI 從頭開始訓練，參數量高達 3,140 億個的混合專家模型（mixture of experts，簡稱 MoE）。這是迄今參數量最大的「開源」大型語言模型，遠超 Meta 的 Llama 2（700 億個參數）和 Mistral 的 8x7B（120 億個參數）等開源競品。
對比之下，其參數量也超過 OpenAI GPT-3.5 （2000 億個），但仍遠低於此前被爆料參數量高達 1.8 兆的 GPT-4。參數（parameter）是指模型内部的可調整變量，這些參數影響了模型的複雜性和表現，通常參數越多，模型會越先進、複雜和高效。
研究員：不如想像中開源
Grok 最初於 2023 年 11 月作為「閉源」模型發布，馬斯克野心勃勃地將其視為 OpenAI ChatGPT 的強力對手，目前只有 X Premium+ 的訂閱用戶能使用。
而 VentureBeat 報導指出，此次 Grok 的開源並不包括其訓練資料的完整語料庫，也不包括與 X 上可用的即時資訊的任何連接。
對此，機器學習與AI 研究員 Sebastian Raschka 稍早在 X 上評論稱，Groke 比其他通常帶有使用限制的開放權重的模型更加開源，但他也失望表示 Groke 僅僅只開放權重，開源程度不如 Pythia、Bloom 和 OLMo，尤其是 OLMo 的開源附帶了訓練程式碼和可重現的資料集。
延伸閱讀：OpenAI公開回嗆馬斯克：通用人工智慧AGI能造福人類，但「不代表要開源」
馬斯克與 OpenAI 的開源之爭
馬斯克對於 Grok 的最新開源行動，呼應了他在 2 月底時提告 OpenAI 時的開源要求。他在訴訟中指控 OpenAI 違反成立時的非營利協議和開源 AGI（通用人工智慧）的初衷，諷刺其已成為微軟的閉源子公司，要求 OpenAI 恢復開源，並禁止微軟、OpenAI 、OpenAI 總裁 Gregory Brockman 、執行長 Sam Altman 從該公司獲利。
在 OpenAI 公布一系列 email 反擊後，馬斯克更大酸只要 OpenAI 改名為 ClosedAI，他就撤告，在上週宣佈開源 Grok 時，他也抨擊 OpenAI 是個謊言。
然而，對於馬斯克對對其違背「開源」初衷的指控，OpenAI 強調，該公司的核心使命始終是確保 AGI 能造福全人類。他們認為，透過開發廣泛可用的 AI 工具來實現這一目標，並不等同於將 AGI 技術開源，而這點馬斯克此前也曾表示同意。
OpenAI is a lie
— Elon Musk (@elonmusk) March 11, 2024
相關報導
全面反擊馬斯克！OpenAI 秀出 8 年前信件反擊，馬斯克嗆：改名 ClosedAI，才撤告
