大型語言模型(LLM)落地部署筆記

日期：2025 年 3 月 24 日

摘要：本文比較了 AMD GAIA（混合模式與通用模式）與 Mac Studio M3 Ultra（512GB 統一記憶體 + MLX 框架）在落地部署大型語言模型（LLM）的性能，聚焦推理速度、模型規模支援及應用場景。基準測試顯示，Mac Studio M3 Ultra 運行 671B 4-bit DeepSeek R1 模型的速度為 17-18 tokens/s，而 GAIA 受記憶體限制，混合模式上限為 13B，通用模式上限為 70B。研究表明，GAIA 在中小型模型上具靈活性，Mac Studio 則適合專業級超大模型應用。

1. 引言

隨著生成式人工智慧（AI）的發展，落地部署大型語言模型（LLM）的需求日益增長。AMD 於 2025 年 3 月推出的 GAIA 開源項目與 Apple 的 Mac Studio M3 Ultra 分別代表了不同的解決方案。本文全面比較兩者的硬體規格、軟體生態、推理速度及應用場景，並針對 671B 4-bit DeepSeek R1 模型的推理速度引用實際測量數據，確保所有資訊均有可靠來源。

1. 引言

GibberLink 是一個開源專案，由 Boris Starkov 和 Anton Pidkuiko 開發，於 2025 年 2 月在 ElevenLabs 全球黑客馬拉松中獲得最高獎項。其核心目標是提升 AI 代理之間的通訊效率，通過從人類語言切換到基於音波的資料傳輸協議，實現快速、準確的機器間互動。GibberLink 依賴 ggwave 技術，利用音波傳輸結構化資料，據稱效率提升達 80%。本報告詳細介紹 GibberLink 的運作機制、ggwave 的技術細節及其頻譜特性。

2. GibberLink 技術概述

2.1 背景

傳統 AI 通訊依賴語音合成和自然語言處理，適用於人類互動，但在 AI-AI 場景中效率低下。GibberLink 通過 ggwave 技術，讓 AI 代理在確認彼此身份後切換到音波傳輸模式，減少運算消耗並加速資料交換。

2.2 工作原理

背景與目標

本報告評估完全開源大語言模型（LLM）在企業內部落地部署的可行性，針對 Mac Studio M3 Ultra（512GB 統一記憶體） 硬體，利用 Apple MLX 框架 進行高效推理。排行榜以性能為主要排序依據，滿足以下定義：

• 免費使用：模型權重和資源免費提供。

• 開放修改：提供權重和代碼，允許企業內部修改。

• 商業用途：允許企業內部自用。

• MLX 支援：能在 MLX 框架上運行。

1. MLX 框架簡介

Apple MLX（Machine Learning X）是 Apple 於 2023 年底推出的開源機器學習框架，專為 Apple Silicon（如 M3 Ultra）設計。相較於 PyTorch 和 TensorFlow，MLX 聚焦於統一記憶體架構 (UMA) 和 Metal GPU 加速，提供輕量化、高效的推理與訓練能力。其設計目標包括：

• 深度整合 Apple Silicon 硬體。

• 支援 Mixture-of-Experts (MoE) 等先進模型。

• 提供易用的 Python API，與主流生態相容。

1. 數據概述

執行數據如下：

• 上下文窗口：16K token（測試中觸發 OOM (記憶體不足)）。

• Prompt 階段：

• 輸入：13,140 token。