2026 年 9 月 24 日，一位斯洛維尼亞開發者在 GitHub 上傳了一個專案；不到一個月，它衝上 3.2 萬顆星。它自己不會聊天、也沒有腦——它做的事情只有一件：把需要資料中心等級硬體的 125B 參數巨型模型，塞進一台一般電競電腦，而且跑得比你讀還快。它就是 Strata——2026 年本地 AI 圈最重要的推理引擎，也是本站那台「兩張 AMD 顯卡跑 94GB 模型」的機器每天運轉的心臟。這篇把它徹底講清楚：作者是誰、它憑什麼做到、支援什麼硬體、怎麼裝、跑多快（官方數據＋本站自家實測）、跟 llama.cpp／Ollama 差在哪、以及入坑前必讀的現實面。

一、30 秒看懂：Strata 是什麼、不是什麼

項目內容
它是什麼一個免費開源（MIT）的本地 AI 推理引擎：把大型 MoE 模型的weight切開，分散到你的顯示卡、記憶體、SSD 上一起跑
它跑什麼模型主力是 Qwen3.8-Flash-Next（125B 多模態）；0.2.4 版起也支援 DeepSeek V4.1-Flash（更大，靠 SSD 取經）
最小門檻RAM＋VRAM 合計 32GB（例如 16GB RAM＋12GB 顯卡）＋約 80GB SSD 磁碟
支援平台Windows／Linux／Apple Silicon Mac；NVIDIA、AMD、Intel Arc 三家顯卡全支援
装好之後給你什麼一個桌面 App（內建聊天＋硬體監控）＋一個本機 API：http://127.0.0.1:8080，OpenAI 與 Anthropic 雙協相容
隱私MIT 授權、免帳號、免雲端、零遙測；會連線的時機全部寫在官方 SAFETY.md
它不是什麼它不是模型——聰明與否取決於你載入的模型；也不是 Ollama 那種什麼都能跑的一般引擎，它是為 MoE 巨型模型量身設計的專才

本站前兩篇文章分別介紹了模型本體（Qwen3.8-Flash-Next）與同規格硬體從零安裝教學；這篇文章的主角是讓這一切變得簡單的那個「翻譯層」——沒有它，你得自己編譯 ROCm、調參數、查量化格式；有了它，一條指令搞定。

二、作者與專案背景：一個人的狂飆

Strata 的作者是 GitHub 用戶 Niko1221（暱稱 Niko），住在斯洛維尼亞盧比安納（Ljubljana），個人簡介只有兩個詞：「AI & fun」。這是一位近乎單人開發的專案——貢獻者榜上他一人 2,761 次貢獻，第二名只有 29 次。有多拼命？他 GitHub 頁面顯示：2026 年 10 月單月，在 Strata 一個 repo 就塞了 2,799 次 commit，平均一天近百次。

時間點事件
2026-08-26Qwen 團隊開源 Qwen3.8-Flash-Next，社群發現：架構太新，既有引擎沒人跑得動
2026-09-24Niko1221 建立 Strata repo，第一天就主打「一條指令把 125B 跑在家用機上」
上線約一個月突破 3.2 萬顆星、3.4 萬分叉，774 個開放 issue 的社群熱度；同步推出 Windows／Linux 安裝程式與 Mac 版
現在（2026-10 下旬）App 版本 0.2.3、引擎 0.1.48；AMD（ROCm/HIP）與 Intel Arc 後端上線、Apple Silicon 與 Ryzen AI Max（Strix Halo）支援、DeepSeek V4.1-Flash 進駐終端機版

為什麼一個「引擎」能紅成這樣？因為它踩中兩個痛點：其一，Qwen3.8-Flash-Next 的 Qwen4 預覽架構太新，傳統引擎要嘛不認得、要嘛慢得不能用；其二，MoE 模型的「大檔案、小激活」特性根本是為「大 RAM＋小顯卡」的家用機量身定做的，但之前沒有人把這層工程做穿——自動分層、自動挑量化、自動裝環境。Strata 把「要讀論文才會玩」變成「一般使用者雙滑鼠鍵」，這是它一個月 3 萬星的全部秘密。

💡 專案是純志工的：Strata 全功能免費、MIT 授權，作者的贊助管道是 Buy Me a Coffee。README 裡一句話很動人：「我用我搞得定的硬體開發和測試。如果它在你電腦上跑得不错，一杯咖啡能幫我繼續測新卡、修你們回報的 bug。」

三、核心魔法：圖書館比喻——它憑什麼把 125B 塞進 12GB 顯卡

官方 README 用一個圖書館比喻解釋原理，這是理解 Strata（乃至所有 MoE 本地部署）最重要的一段話：

🖥️ 顯示卡＝書桌（12–24GB VRAM） 專家快取：約 4,000 個最常用的專家攤開在手邊，每次運算在此完成 供不应求 → 即時搬上書桌 🧠 記憶體＝書架（32–96GB RAM） 全部 24,576 個專家住這裡；CPU 按需抽取，顯卡邊算邊等不空轉 每個字只翻幾列，不需進 RAM 💾 SSD＝檔案庫：約 29GB 的 n-gram 查字表（Engram 表）躺在此處，不佔記憶體
Strata 的三層分工（依官方 README 的圖書館比喻繪製）：書桌放最常用專家、書架放全部專家、檔案庫放查字表。記憶體不夠時它會自動降檔（low-RAM mode），把更多東西推給 SSD。

再加兩把火：投機解碼與批次預填

想看數學細節，官方附了白皮書（Strata-Paper.pdf）與 docs/HOW_IT_WORKS.md；Strata 也基於 llama.cpp／ggml 的部分元件打造，並在文件中誠實列出來。

四、支援硬體與三種安裝方式

你的電腦跑得動嗎？

硬體支援狀況
NVIDIA RTX 20／30／40／50 系主力路線，12GB+ VRAM 最舒服；驅動 580 前後有不同的安裝檔
AMD RadeonRX 6800 以後官方支援（RX 6000 老卡走 RX 7000 安裝檔自動抓引擎）；Radeon AI PRO R9700 亦支援。本站的 RX 6700 XT（非官方驗證清單上的 gfx1031 晶片）實跑正常
Intel Arc有 dedicated Intel 引擎與專屬文件
Apple Silicon MacM1 起、macOS 15 起；統一記憶體直接當 RAM＋VRAM 用
AMD Ryzen AI Max（Strix Halo）統一記憶體迷你主機路線，官方有專文
多卡兩到三張同廠牌卡可分擔一個模型（layer split，各卡有自己的專家快取，效果約略翻倍）；AMD 與 NVIDIA 不能混著分一個模型

記憶體門檻的口訣：合計 32GB 能開跑，64GB 跑所有尺寸；磁碟預留約 80GB，強烈建議 SSD（第一次載入模型時 RAM 會瞬間被填 35–55GB，慢碟會等到懷疑人生）。

三種裝法，從滑鼠到 AI 代理

  1. 桌面 App（最簡單）：官網 Releases 頁下載對應平台的安裝檔（Windows 有 NVIDIA／AMD 四個版本、Linux 是 AppImage、Mac 是 DMG），開啟按安裝，它會自動偵測硬體推薦模型，按下去就開始下載。免系統管理員權限；下載斷了會續傳。
  2. 終端機一行指令：Linux／Mac 是 curl ... | sh install.sh、Windows PowerShell 是 irm ... | iex（指令在 README 上，安裝器會驗證每個下載檔的 SHA-256）。裝好後 strata launch，它一個問題一個問題問你（模型、上下文、看圖、誰能連線），全部按 Enter 就開跑。要跑 DeepSeek 只能走這條。
  3. 讓你的 AI 幫你裝：把 README 裡那段英文貼給 Claude Code、Cursor、Codex、Copilot 或 Hermes Agent，它會照官方 docs/AI_SETUP.md 檢查你的顯卡、RAM、磁碟，自己挑模型、安裝、啟動、教你接 App。Strata 還附了 MCP server，AI 代理可以直接對它下安裝／啟動／停止指令。

裝完後瀏覽器打開 http://127.0.0.1:8080 就能聊。常用管理指令：strata monitor（即時速度／GPU／記憶體儀表板）、strata doctor（健檢）、strata update（更新引擎）、strata launch --stop（關掉）。

五、裝好之後：App、終端機、API 三種用法

1. 桌面 App：你的私房 ChatGPT

聊天、硬體監控（GPU／CPU／RAM 即時曲線）、模型管理、設定四合一。亮點：聊天可以指定你電腦上的一個資料夾作為工作區——讓它讀你的檔案、寫檔案；Manual 模式下每次改檔案或跑指令前都會先問你。內建網路搜尋（DuckDuckGo 或 Bing，免帳號），官方特別說明：搜尋字是整台電腦唯一會對外送出的東西，其餘全部離線。

2. 終端機：腳本、伺服器、AI 代理的入口

strata launch                              # 引導式：問模型、上下文、看圖、權限，然後開跑
strata launch --model iq3_s --yes --no-tui # 不問問題直接啟動（腳本用）
strata launch --access lan                 # 讓手機或其他電腦也能連（自動產生 API key）
strata monitor                             # 即時監控速度、GPU、記憶體、近期請求

3. API：把你的所有 App 接上本地巨人

你的 App 說哪種協定填這個位址
OpenAI API（多數 App 與代理）http://127.0.0.1:8080/v1（API key 與模型名稱隨便填）
Anthropic API（Claude Code）http://127.0.0.1:8080（不帶 /v1；設 ANTHROPIC_BASE_URL 即可）
OpenAI Responses API（Codex CLI）http://127.0.0.1:8080/v1/responses

偷懶的方法：strata connect 會列出 OpenCode、Codex CLI、Claude Code、Hermes Agent 等工具的確切設定；加 --write 直接幫你寫好設定檔（備份原檔）。本站的 Hermes 助理就是整天透過這個 API 問 125B 問題、順帶寫下你正在讀的這篇文章。

六、模型家族：從 28GB 到 274GB 的菜單

Strata 安裝器會依你的記憶體推薦尺寸，完整菜單（越小越快越省，越大越聰明）：

模型／量化版需要記憶體（RAM＋VRAM）下載量定位
Gyro-S（entionai）27.6 GB58.5 GB最小方案：32GB Mac mini 也有每秒 9 個字
Qwen3.8-Flash-Next Coder32 GB 起—寫程式專用：保留程式相關專家
Swift 1.5 IQ2_XS（UkisAI）40 GB39.2 GB 載入縮短思考篇幅、求快
Gyro-M（entionai）35 GB92.0 GBIQ3_XXS 級品質、省 20% 顯存
IQ3_XXS48 GB47.0 GB慢一點、聰明一點
IQ3_S64 GB54.8 GB⭐ 甜心點：官方測試基準與全精度版打平
UD-IQ4_XS～Q8_0（Unsloth）96 GB＋94 GB＋最接近原版；本站跑的正是 UD-IQ4_XS
OrcaRouter Uncensored IQ3_XXS48 GB—官方菜單裡的無審查選項
DeepSeek V4.1-Flash（ISTA-DASLab 量化，0.2.4 起終端機限定）46–64 GB RAM＋一張 12GB 卡239–274 GB瘋狂的更大腦：靠 SSD 取經，IQ2_XS 版在一張 R9700 上寫 code 10 tok/s、四張 R9700 80 tok/s

另外還有 NVIDIA 專用的 NVFP4 格式、可多請求併發的 Qwen3.6-35B-A3B，以及各家社群量化版（本站模型入門篇第四章介紹過的 abliterated 系列都能直接載入）。模型本體的版權與授權歸屬 Qwen 團隊与各量化作者（文末致謝），Strata 只是那個讓它們在你電腦上跑起來的引擎。

七、速度：官方數據 vs 本站七年老卡實測

官方基準（RTX 5070 12GB＋64GB RAM）

量化版生成（答案吐出）預填（讀你的文件）
Q2_094 token/s2,650 token/s
IQ2_XS79 token/s2,090 token/s
IQ3_XXS62 token/s1,750 token/s
IQ3_S53 token/s1,620 token/s

16GB 的 AMD RX 9070 XT 則為 Q2_0 60 token/s、IQ2_XS 52 token/s。一個 token 約四分之三個單字，50–90 token/s 就是「明顯比你讀還快」。以上為官方自報數據，可用官方 bench.sh 重跑。

本站實測：兩張七年前的 AMD 卡做得到什麼？

本站部署機是 ASRock B550 Taichi＋Ryzen 7 5700X＋80GB RAM＋RX 6700 XT 12GB＋RX 6600 8GB（Ubuntu 24.04），跑 Unsloth UD-IQ4_XS（94GB）、98K 上下文。這是引擎 0.1.46.3（為 gfx1031＋gfx1032 雙架構自行重編的 HIP 版）最近的真實日誌：

指標本站實測值（日誌摘录）
生成速度27–32 token/s（日常），高峰 42——12GB 老卡跑 94GB 模型
MTP 猜字採納率74–83%（例：1,080 字回覆，猜 950 中 790）
上下文重用同對話第二輪起重用 96–99%（5.6 萬 token 只重讀 93 個，2.2 秒完成）
雙卡分工layer_split auto：每卡各自持有所屬層的專家快取，命中率 65–81%
記憶體峰值約 75.5GB／80GB——80GB RAM 是跑 UD-IQ4_XS 的合理下限

誠實的另一面：2019 年的 DDR4 雙通道頻寬（實測約 31GB/s）是這台的天花板，生成速度卡在 30 token/s 等級；要上官方那個 50–90 token/s 的檔次，得換 DDR5 平台＋更近的卡。另外冷啟動第一輪長對話（3–5 萬 token）要等 3–7 分鐘預填，跟雲端服務的手感完全不同——Strata 救得了硬體，救不了頻寬，這是物理定律。

八、和 llama.cpp、Ollama、LM Studio 差在哪？

Stratallama.cppOllama／LM Studio
定位MoE 巨型模型專才通用 GGUF 引擎通才（Strata 也用了它的元件）一般使用者的圖形化入口，底層多为 llama.cpp
125B MoE on 家用機⭐ 核心設計目標，开箱即用認得新架構需追最新版，參數自己調尚未列入支援清單
一般小模型（7B～30B）不適用（菜單就是這幾個巨型模型）最好最省事
多請求併發預設單槽串行（可 --parallel N）自己架 server 調各有實作
安裝體驗安装程式／一行指令／AI 代理三選一，含自動裝驅動環境自己編譯是常態一般 App 安裝

官方自己也說得直白：Strata 是 MoE 特化引擎，dense 模型交給 llama.cpp 更好——兩個平行共存、各開各的 port，是進階玩家的標配。本站的組合就是 Strata 跑 125B 主力（port 8080）、llama.cpp 隨時備勤小模型。

九、隱私與授權：把話說在前面的規範

十、入坑前必讀的五盆冷水

  1. 下載很大、第一次啟動很嚇人：模型 40–95GB（DeepSeek 239GB 起）；首次載入時電腦可能整個卡住 1–3 分鐘（RAM 被填 35–55GB），視窗別關，上個廁所回來就好了。
  2. 預設一次只接一單：單槽串行，同時丟三個請求會排隊到超時。多人共用請用 --parallel N 或改跑小模型；小顯卡上併發會讓每個答案都變慢。
  3. 冷啟動預填很貴：長對話第一輪 3–7 分鐘是家常便飯（本站 98K 上下文約 1 分鐘／3 萬 token）。它適合「一條長對話一直聊」，不是「每次開新窗丟問題」。
  4. 記憶體是硬門檻，不是軟建議：官方口訣「合計 32GB 起」指的是 RAM＋VRAM 總和，且低於建議值會進 low-RAM 模式變慢；Windows 請把虛擬記憶體（分頁檔案）設為「系統管理的大小」，否則載入模型時會直接爆記憶體配置錯誤。
  5. 老卡玩的是興趣，不是性價比：本站用七年老卡跑出 30 token/s 很好玩，但 DDR4 平台的頻寬天花板也卡死在那裡。新建機要官方那個速度檔位，DDR5＋大記憶體＋一張 12–16GB 新卡才是正解。

十一、誰應該下載它？

延伸閱讀

資料來源與致謝

本文章速數據分兩類：官方基準引自 Strata README（NVIDIA／AMD 兩組硬體自報值，未經第三方重現）；本站實測值摘自部署機引擎日誌。「圖書館比喻」、「24,576 專家」、「1.6–1.8x 投機解碼」等均為 Strata 官方文件表述。文中所有第三方專案與作者：

若上述任一專案要求署名方式或有誤植，請留言告知，將立即修正。