本機 AI 推理效能實測賬本

Strata 引擎＋ AMD 顯卡配置對戰｜每次測試自動記錄與重新排名
最後更新：2026-10-28 11:12

這是什麼？用 hermes-ai-perf-test.py 對本機 125B MoE 模型（IQ4_XS）做標準化效能測試，結果存成 Markdown 存檔，本頁由腳本自動重建——包含最佳配置排名與各顯卡組的完整測試紀錄。換顯卡就開新組別，升級有沒有感一看便知。名詞不懂？先讀《AI 大模型的「快」怎麼量？》。

怎麼看表

TTFT：送出到第一個字。空機約 2 秒；超過 3 秒標記為可能排隊，排名自動排除這類樣本。
decode：吐字速度。本機受 DDR4 頻寬限制（1.7 GB/token ÷ 30–40 GB/s ≈ 上限 24），27–33 tok/s 是正常帶，升級顯卡基本不動它。
prefill：冷讀速度（2.5K／13K token 兩档）。升級顯卡主要看這欄＋expert cache 命中率。帶 * 者為只有 6k 档數據。
排名分數＝中位數 decode ×40% ＋最佳 prefill ×30% ＋最快乾淨 TTFT ×20% ＋ prefix 重用 ×10%（各指標除以全場最佳歸一化，滿分 100）。樣本少或情境不全的組會標註，數據越多排名越可信。

🏆 最佳配置排名

名次	顯卡配置	分數	decode 中位	最佳 prefill	最佳乾淨 TTFT	樣本
🥇	RX 6800 XT 16GB 單卡	100.0	41.35	1100.6	0.12s	4
🥈	GTX 3080 10GB（Strata CUDA）	80.0	38.4	529.7	0.13s	3
🥉	RX 6700 XT 12GB 單卡	74.5	29.95	714.6	0.15s	10
4	RX 6700 XT + RX 6600 雙卡 split	70.5	30.4	589.6	0.16s	3
5	RX 6600 8GB 單卡	47.4	22.9	141.4	0.21s	3

排名分數＝decode×40%＋prefill×30%＋TTFT×20%＋重用×10%（歸一化）。新配置累積 3 筆以上 deep 數據後排名才穩。

測試環境（共通）

項目	規格
CPU	AMD Ryzen 7 5700X（主機板 ASRock B550 Taichi，雙卡 x8+x8 CPU 直連）
RAM	80GB DDR4 雙通道（實測頻寬 30–40 GB/s，decode 天花板來源）
模型	Qwen3.8-Flash-Next 125B MoE（active ~3B），IQ4_XS，context 98304
引擎	Strata（MoE expert cache ＋雙卡 layer split），llama.cpp 系 API
測法	quick＝探針｜normal＝＋2.5K 冷讀、prefix 重用｜deep＝＋13K 冷讀、3 組長生成；TTFT 客戶端串流計時，速度取引擎日誌權威值

組 B：RX 6800 XT 16GB 單卡在用

2026-10-28 實測勝出：decode 41-45、prefill 6k 780/28k 1100、expert hit 80-81%、TTFT ~1.0-1.3。較 6700XT 基線 prefill +55%、decode +37%、hit +15pt；較 3080 prefill 28k +108%、hit +44pt。gfx1030 已由多架構 engine 支援。

日期	情境	TTFT (s)	decode	prefill 6k	prefill 28k	prefix 重用	標籤／備註
10-28 11:12	quick	1.13	37.9	—	—	—	121K上線驗證｜hit 54.2
10-28 09:46	deep	1.03	41.1	778.6	1100.6	98.7%	6800XT-deep｜hit 81.4
10-28 09:46	normal	0.12	44.7	799.3	—	98.7%	6800XT-normal｜hit 80.0
10-28 09:46	quick	1.26	41.6	—	—	—	6800XT-quick｜hit 56.2

組 E：GTX 3080 10GB（Strata CUDA）已退役

2026-10-28 實測：TTFT 最佳（0.75-0.92s）但 10GB VRAM 使 expert hit 僅 33-37%，prefill 6k≈6700XT 基線（無增益）、28k 530（-52% vs 6800XT），decode 38.4。CUDA 堆疊（driver 580+CUDA12.8+build-cuda+strata-cuda.service）保留可復活。

日期	情境	TTFT (s)	decode	prefill 6k	prefill 28k	prefix 重用	標籤／備註
10-28 10:07	deep	0.75	38.4	504.8	529.7	98.7%	3080-deep｜hit 36.6
10-28 10:07	normal	0.13	38.7	501.6	—	98.7%	3080-normal｜hit 33.6
10-28 10:07	quick	0.92	37.9	—	—	—	3080-quick｜hit 36.8

組 A：RX 6700 XT 12GB 單卡已退役

2026-10 起。Strata 實為單卡 layer_split=none（日誌證實僅 GPU 0）；RX 6600 另行服役 llama-server（Qwen3-8B，佔 6GB）。gfx1031，expert cache 命中率 49–66%。 2026-10-28 除役（換 6800XT）。

日期	情境	TTFT (s)	decode	prefill 6k	prefill 28k	prefix 重用	標籤／備註
10-27 12:25	deep	1.93	30.1	505.8	713.5	98.7%	單卡基線-深度｜hit 66.5
10-27 12:24	normal	0.15	33.2	503	—	98.7%	單卡基線-正常｜hit 64.1
10-27 12:24	quick	1.99	28.7	—	—	—	單卡基線-快速｜hit 42.4
10-27 12:17	quick	1.98	29.8	—	—	—	新管線上線｜hit 40.0
10-27 11:59	quick	2	28.8	—	—	—	上線驗證｜hit 42.9
10-27 11:40	quick	1.97	30.5	—	—	—	final-check｜hit 48.1
10-27 11:38	quick	1.99	29.7	—	—	—	verify-fix｜hit 39.1
10-27 11:34	deep	7.48	28.7	506.4	714.6	98.7%	deep-baseline｜⚠ 可能排隊｜hit 63.5
10-27 11:32	normal	6.13	30.3	501.3	—	98.7%	baseline｜⚠ 可能排隊｜hit 62.8
10-27 11:31	quick	6.14	30.2	—	—	—	smoke2｜⚠ 可能排隊｜hit 41.0

組 A 結論：decode 穩定 27–33 tok/s＝DDR4 頻寬上限（與 1.7 GB/token 理論值吻合）；13K 冷讀 715 tok/s；prefix 重用 98.7%。瓶頸在 RAM 頻寬不在顯卡——下一組考題是 prefill 與命中率提升多少，不是 decode。

組 C：RX 6700 XT + RX 6600 雙卡 split 已測・較慢

2026-10-27 實測：layer split 生效（journal 证实 card order 1,0），但 6600 拖累 6700 XT——prefill 6k 392 vs 單卡 503（-22%），28k 590 vs 713，decode 持平。異質雙卡 split 不划算。

日期	情境	TTFT (s)	decode	prefill 6k	prefill 28k	prefix 重用	標籤／備註
10-27 12:52	deep	1.78	30.4	391.6	589.6	98.7%	雙卡split-deep｜hit 71.6
10-27 12:51	normal	0.16	32.3	392.9	—	98.7%	雙卡split-normal｜hit 71.1
10-27 12:51	quick	2.41	27.9	—	—	—	雙卡split-quick｜hit 54.4

組 D：RX 6600 8GB 單卡已測・很慢

2026-10-27 實測：可啟動可服務（journal 证实 gfx1032），decode 23、prefill ~138（單卡 6700XT 的 1/4–1/5）。只能當備援，不適合日常。

日期	情境	TTFT (s)	decode	prefill 6k	prefill 28k	prefix 重用	標籤／備註
10-27 12:55	deep	2.19	22.7	137.8	141.4	98.7%	6600單卡-deep｜hit 22.8
10-27 12:54	normal	0.21	23.7	138.2	—	98.7%	6600單卡-normal｜hit 19.9
10-27 12:54	quick	2.33	22.9	—	—	—	6600單卡-quick｜hit 17.1

自動更新機制

測試腳本跑完把結果寫成 Markdown 存檔（~/ai-perf/results/<配置>/），再由發佈腳本掃描全部存檔、重新計算排名並重建本頁。本頁內容 100% 由腳本產生，手動修改會被下次測試覆蓋。