【美股新聞】臉書Meta計畫 7 月發表新版 AI 語言模型 Llama 3

歡迎大家分享讓更多人可以看到：

瀏覽人數： 805

圖/Shutterstock

放大鏡短評

Cmoney研究團隊認為，儘管不如OpenAI的Chat GPT4，Meta(META)的Llama 系列模型一直是開源模型中最具能力的，若Meta能找到適合開源模型的獨特商業模式且開源模型也發揮其所長得到網路民眾及學術界的支持，Llama 系列非常有可能成為第一個發展出AGI(人工智慧通用智能)模型的大型語言模型，AGI模型是 AI 理論中的發展階段，屆時 AI 模型將擁有等同甚至超越人類智力的全方位能力。

新聞資訊

根據 The Information 報導，臉書母公司 Meta(META) 正計畫在 2024 年 7 月推出新版人工智慧大型語言模型 Llama 3，希望能更好地回應用戶提出的有爭議問題。

Meta 研究人員的目標是「放寬限制」，讓該模型至少能提供相關背景資訊。此舉能提升 Meta LLM（Large Language Model）的實用性，可與競爭對手 Google 的 Gemini AI 相抗衡。目前，Gemini AI 在產生歷史相關圖片時，有時會出現不準確性，因而暫停了該功能。

據測試發現，Meta Llama 2 拒絕回答較具爭議性的問題，如：如何愚弄朋友、如何贏得戰爭，或如何毀損車輛引擎等。然而，Llama 3 將可以理解「如何毀掉車輛引擎」等問題，意指如何關閉汽車引擎而非結束它的壽命。

報導同時也指出，Meta 計劃在未來幾週內指派內部人員負責監督模型的語調和安全訓練，讓該模型的回應更加細緻化。Meta 目前尚未回應媒體的路透社的置評請求。

Meta AI 發展史

Meta 的 CEO Mark Zuckerberg 於 2024 年 1 月在 Instagram 上宣佈，Meta 近期已開始訓練 Llama 3。這是 LLaMa 系列的最新一代大型語言模型，接續了 2023 年 2 月推出的 Llama 1 及 7 月發表的 Llama 2。

雖然 Meta 尚未公佈 Llama 3 的具體細節（如模型參數量或多模態處理能力等等）。Zuckerberg 表示，公司依然將持續以開源的方式釋出 Llama 的基礎模型。

詳細介紹

開元日期：雖然未公佈確切釋出日期，但值得注意的是 Llama 1 訓練時間約為三個月，而 Llama 2 則耗費六個月。如果 Llama 3 遵循相同的時間軸，將在 7 月左右問世。然而，Meta 可能也會延長訓練時間，以便進行最佳化調整。越多人能夠使用生成式 AI 模型，意味著企業、新創公司乃至個人愛好者有更多發揮空間。然而，隨著開源模型日益強大，也需提高警覺，以降低被惡意人士濫用的風險。Zuckerberg 強調，Meta 會持續「負責任且安全地」訓練模型。
開源與否： Meta 以個案審核的方式，批准研究機構免費使用非營利目的的 Llama 1 模型。至於 Llama 2，其代碼和模型權重則採用開放許可（Open License），允許每月活躍使用者數不超過 700 萬的組織在商業用途上使用。儘管 Llama 2 是否能嚴格符合技術上的「開源」定義還有討論空間，但一般仍被視為開源軟體。目前無跡象顯示 Llama 3 的發佈會有不同方式。Zuckerberg 強調，Meta 對開放許可和開源 AI 的理念抱持承諾。
能達到 AGI 嗎？ Zuckerberg 重申 Meta 的長期目標是要發展人工智慧通用智能（AGI）。這是 AI 理論中的發展階段，屆時 AI 模型將擁有等同甚至超越人類智力的全方位能力。他指出：「下世代的服務需要建立通用人工智慧，從推理、規劃、編碼到記憶等各領域都需要有所進展」。這不代表 Llama 3 將達到 AGI，但確實透露出 Meta 正在刻意以他們認為最終能達到 AGI 的方式發展 LLM 及其他 AI 技術。
多模態處理？ 當前 AI 發展趨勢正朝向多模態 AI（multimodal AI）前進。此類模型能夠理解且跨越各種資料格式（modalities）。比起分別開發處理文字、代碼、音訊、影像或視頻資料的模型，新興的頂尖模型如 Google Gemini、OpenAI GPT-4V，以及開源的 LLaVa（Large Language and Vision Assistant）、Adept、Qwen-VL 等，都能在電腦視覺（CV）和自然語言處理（NLP）任務間無縫切換。Zuckerberg 雖承認 Llama 3 將包含和 Llama 2 相同的代碼生成能力，卻未特別提及其他多模態能力。不過他提到 AI 和 Metaverse 的整合願景，包含如何將模型運用到 Meta Ray-Ban 智能眼鏡。這或許暗示 Llama 模型的進程計畫（無論是在 Llama 3 或未來世代），都將包含整合視訊和音訊資料。
對比 Llama 2： Zuckerberg 也宣佈在訓練基礎設施方面的重大投資。到 2024 年底，Meta 計劃擁有大約 35 萬顆的 NVIDIA H100 GPU 。Meta 認為，Llama 3 可望大幅超越 Llama 2。就算 Llama 3 的模型大小相同，也因龐大的運算能力而更具效能。Meta 的目標是讓 Llama 3 的模型「至少能夠達到業界最先進的水平」。
對比 OpenAI GPT-4： 雖然較小的 LLaMa 和 Llama 2 模型在某些基準測試上與較大的 1750 億參數量 GPT-3 並駕齊驅或有所領先，但仍不及 GPT-3.5 和 GPT-4。Meta 似乎有意透過開源 LLaMa 3 的方式，將尖端技術帶入開源世界。