25GB 記憶體的筆電，跑得動 7000 億參數的巨人模型？colibri 3 萬星打破常識

反轉來了：我一直以為「頂級 AI 模型 = 資料中心的專利」——直到我認識 colibri。744B 參數的巨人模型（GLM-5.2 等級），官方說 25GB 記憶體＋12 核 CPU 的筆電就能跑——雖然慢，但真的能跑。3 萬顆星，一個把「不可能」變成「慢但可能」的專案。

一、它是「消費級硬體的巨人殺手」

我第一次看到這個專案的想法是：這違反了我對 AI 硬體的常識。

colibri 是什麼？大白話：一個能讓你在自有電腦上跑超大 AI 模型的推理引擎——不是雲端、不用租資料中心，你的硬碟就是它的記憶體。它的核心祕密叫「記憶體分級」：把顯示卡記憶體、主記憶體、硬碟當成一個大倉庫，AI 需要哪個「專家」（模型的一小部分）就從硬碟即時搬進來——模型不需要裝進記憶體，只需要被放置。

二、5 個重點，最反直覺的是第 1 個

最反直覺的是「記憶體分級」：傳統想法是「模型要整個裝進記憶體才能跑」——colibri 說不用，把硬碟當倉庫，用到什麼搬什麼。744B 模型每次實際只啟用約 400 億參數——11GB 的「活躍專家」隨 token 變動，這就是它能「瘦身硬跑」的物理基礎。

三、作者為什麼做它？「蜂鳥」的哲學

名字 colibrì 是義大利語「蜂鳥」——「蜂鳥只有幾克重，能懸停、一天訪上千朵花；這引擎用蜂鳥般的配給養活 744B 巨人」。作者最初用一台 12 核、25GB 記憶體的筆電開發，第一個原型甚至用義大利語寫成。

理念很明確：「前沿模型不該被密封在資料中心裡」——好奇的人應該能打開它、觀察它、讓它更好。這是一個「個人電腦革命」的故事：一個人用消費級筆電，挑戰整個產業的硬體軍備競賽。

從開發哲學來看，作者還刻意做了「逐 token 精確性保證」——它不會為了速度偷偷降低模型品質，MLA KV 狀態壓縮達 57 倍而不失語意。這對研究人員特別重要：你跑出來的結果，就是模型真實的輸出，不是被偷工減料過的版本。在「快與準」之間，它選擇了準——這在講求速度的 AI 工具裡，是很難得的價值選擇。

四、跟 llama.cpp、Ollama 怎麼選？一張表看懂

先別問哪個快，先問你想跑多大的模型：日常中小模型 → Ollama/llama.cpp 又快又順；想跑「以前根本不敢想」的超大模型 → colibri 是唯一選擇。官方數據：744B 模型 25GB 冷啟動 0.05-0.1 token/秒——慢到像爬，但它在爬。

五、作者你敢信嗎？一人筆電開發＋資料透明

作者 JustVugg 是個人開發者，公開資料不多——但專案本身的透明度是最好的背書：官方公布了社群實測速度表（MacBook Pro M5 Max、DGX Spark、6×RTX 5090 的實測 token/秒），數字全攤開，不玩話術。Apache 2.0 授權、單人維護、極新（2026 年 7 月才建倉）——3 萬顆星在兩個月內達成，社群對「打破常識」的熱情是真實的。

我實際讀它的原始碼時最有感的是一句話：「需要測量的策略，不是效能承諾」——官方明確承認學習型快取可能過擬合、預取在某些主機反效果。這種「把不確定性也攤開」的工程態度，在開源世界裡極少見——多數專案只報喜不報憂，它連「哪裡可能翻車」都告訴你。

還有一點很適合研究者：它是「開放研究平台」而不只是工具——你可以觀察每個專家的行為、實驗不同的放置策略、甚至改寫路由演算法。對想深挖 AI 推論系統的人來說，這是一台可以拆開玩的實驗機器，不是黑箱。

六、下一步：讓每台電腦都能「持有智慧」

它要走去哪裡？ 官方定位：「今天就能用的推理引擎＋開放研究平台」——路線圖是支援更多開放模型家族、繼續研究格式與壓縮，目標是降低硬體門檻與每個 token 的成本。作者的理念一句話：「不是租智慧，是持有智慧」——讓每個人擁有自己的 AI，不必把資料交給雲端。

七、先看先贏：安裝前先懂「為什麼能跑」

最關鍵的理解：它跑的模型很大（GLM-5.2 的容器約 372GB）——你的硬碟要有耐心，你的網路要有時間。安裝本身不難：

git clone https://github.com/JustVugg/colibri.git && cd colibri/c
./setup.sh          # 檢查環境＋編譯＋自測
./coli chat         # 啟動聊天

另外，如果你用 macOS，好消息是它支援 Metal（Apple 晶片加速）——M 系列筆電是它的重點支援對象；Linux 用戶則可以吃到完整的 CPU/GPU/異質運算。Windows 也有預編譯包，三平台都照顧到了。

它還支援異質運算——CPU、CUDA（NVIDIA）、Metal（Apple）、NUMA 可以共用一個執行環境，依照你機器實際的組合自動調配。對手上「什麼都有點」的電腦來說，這代表每一分算力都被用上——連內建顯示晶片都不浪費。

八、動手安裝：跟著做就好，重點都幫你標好了

我在 macOS 15（16GB 記憶體） 實測：

# 第 1 步：前置檢查
# 【重點】需要 gcc、OpenMP（./setup.sh 會自動檢查）
git clone https://github.com/JustVugg/colibri.git && cd colibri/c

# 第 2 步：編譯＋自測（第一次會花一些時間）
./setup.sh

# 第 3 步：診斷缺什麼
./coli doctor

# 第 4 步：啟動聊天
./coli chat

實測結果：編譯流程順暢。三個雷：① 對速度不要有期待——25GB 機器冷啟動只有 0.05-0.1 token/秒，是「能跑」不是「順跑」；② 模型檔 372GB 起跳，硬碟空間先確認；③ 高速記憶體不足只會變慢，不會出錯——別誤判成故障。

我在評估它的時候，最大的糾結是「速度這麼慢到底有沒有意義」——後來想通了：它存在的意義不是「取代 GPU 伺服器」，而是「證明可行性」。就像第一台個人電腦也跑不動大型主機的程式，但它改變了世界。colibri 讓『個人擁有前沿模型』這件事從不可能變成可能，剩下的只是時間與硬體演進——這正是開源最迷人的地方：不是等別人給，而是自己先做出來。

如果你問我「現在值得裝嗎」——我的建議是：如果你是研究者或技術愛好者，值得；如果你只是想要個順手的聊天 AI，暫時別裝。它是一台「先鋒機」，不是「量產車」——但先鋒機的意義，就是證明那條路走得通。

最後，如果你真的決定挑戰：先去官方 GitHub 看實測速度表——上面有各機型的真實 token/秒，對照自己的硬體，就能預估「會慢到什麼程度」。做好心理建設再上路，才不會裝完就失望。

九、動手前最該知道的 3 件事

• Q：我的電腦能跑嗎？ A：25GB 記憶體＋大量磁碟耐心就能開跑——速度依硬體，但「能不能」的門檻比你想的低。

• Q：速度慢到能用嗎？ A：個人研究/實驗可用；要快就去租 GPU 或等更好的硬體——它的價值在「能跑」而非「順跑」。

• Q：商用可以嗎？ A：Apache 2.0 可以；但注意模型本身的授權。

• 延伸閱讀：GitHub 熱門開源榜單 2026-09-10 ｜ Hugging Face Transformers 深度介紹

你是『技術派』還是『實用派』？留言說你是哪一派——想挑戰巨人的技術派，這台「蜂鳥引擎」就是為你準備的。