default 模型 A/B 實測（2026-09-22）— 結論：維持 deepseek-v4-flash
對應 T-102（kanban ops
t_f6c52139，Ken 2026-09-21 指示「開卡落地」，原建議 1）。 目的：用實測決定 default 主助手模型——維持 deepseek-v4.1-flash（2.5 係數，限時 5 折 1.25 到 9/28）定換 glm-5.3-flash（0.5 係數）。 相關：model-config-review-20260918、thinking-model-matrix、team-workflow-rules
1. 測試方法
- 系統提示＝真實 default SOUL（
C:\Users\Ken\AppData\Local\hermes\SOUL.md全文），確保格式規矩係被測內容。 - 4 個典型任務樣本（對應 default 日常：短工具呼叫＋四欄匯報＋cron 判斷）：
s1_kanban_card— 睇板開卡：俾老闆指示，輸出 kanban create 參數（title/body/DoD/assignee/board）s2_cron_judgment— cron 排程判斷：【定時】任務應排程而唔係即刻執行，輸出 ISO 時間戳＋完整指令s3_four_col_report— 四欄匯報格式（交付項／驗證等級／證據／未驗證項，驗證等級三級標註）s4_multi_tool— 多步工具鏈（function calling：list_files → read_file）- 3 個模型：glm-5.3-flash（候選）、deepseek-v4.1-flash（候選）、deepseek-v4-flash（現役 default，T-116 已落地，作基準參考）。
- max_tokens=4096（s2 對 glm 不足 → 公平重測 12000，見 §3）。
- 端點：
https://ark.cn-beijing.volces.com/api/plan/v1/chat/completions（真實呼叫，全部 HTTP 200）。 - 原始數據：
tmp_probe/ab_results.json（workspace t_f6c52139，12 runs 全留底）。
2. 結果總表（4 樣本合計；格式遵循 4 分制 ×4 樣本＝16 分）
| 模型 | 係數 | 格式遵循 | 錯誤數 | 平均延遲 | 最長延遲 | 總 token | 其中 reasoning | 成本指數(係數×token) | 每任務 token |
|---|---|---|---|---|---|---|---|---|---|
glm-5.3-flash |
0.5 | 12/16 | 1 | 73.8s（公平 92.0s） | 129.3s（公平 202.3s） | 25,840（公平 28,482） | 8,004 | 12.9（公平 14.2） | 6,460（公平 7,120） |
deepseek-v4.1-flash |
2.5（限時 1.25） | 16/16 | 0 | 11.7s | 18.3s | 19,565 | 3,133 | 48.9（5 折後 24.5） | 4,891 |
deepseek-v4-flash（現役） |
0.5 | 16/16 | 0 | 12.1s | 19.7s | 17,173 | 1,551 | 8.6 | 4,293 |
逐樣本格式分：glm 12/16＝s1 4、s2 0（4096 cap 下思考食光輸出→空內容）、s3 4、s4 4；v4.1-flash 同 v4-flash 全部 16/16、零錯誤、工具鏈一次過出 tool_calls。
3. glm-5.3-flash 公平重測（s2）
s2 喺 4096 cap 下 finish=length＋空內容（reasoning 食咗 3,951 token）——為公平起見用 12000 cap 重測：
- 結果正確（排程＋ISO 2026-09-28T10:30:00+08:00＋完整指令），但耗時 202.3s、reasoning 5,728 token、completion 6,738。
- 即 glm-5.3-flash 即使答啱，單一個 cron 判斷要 3 分 22 秒＋1.2 萬 token——對「短工具呼叫」為主嘅 default 係致命延遲。
4. 結論：維持現狀（deepseek-v4-flash），唔切換
| 候選 | 判定 | 依據 |
|---|---|---|
| glm-5.3-flash | ❌ 唔採用 | ① 平均延遲 73.8–92.0s（現役 12.1s 嘅 6–8 倍）② token 消耗 1.66–1.5 倍（reasoning 燒 5–8 千）③ 即使 0.5 係數，成本指數 12.9–14.2 反比現役 8.6 貴（token 燒太多）④ 4096 cap 下格式 12/16、出現空內容錯誤（T-098 嘅「思考食光輸出」陷阱實證） |
| deepseek-v4.1-flash | ❌ 唔採用 | 格式完美但成本指數 48.9（5 折後 24.5）＝現役 2.85–5.7 倍；質素同現役零分別（都 16/16、延遲接近）→ 冇理由為零增益俾多 3–6 倍錢 |
| deepseek-v4-flash（現役） | ✅ 維持 | 16/16 格式、0 錯誤、12.1s、成本指數 8.6 全場最低；T-116 已落地、生產運行確認（gateway.log 11:03 + agent.log 7 行 model=deepseek-v4-flash） |
風險：v4.1-flash 5 折 9/28 到期回 2.5 係數——因唔採用，無影響。glm-5.3-flash 仍可考慮做 vision 通道（T-100 卡，延遲 7.4s 實測）同 siteops/cs 降級評估（T-101 卡），但唔適合做 default 主助手。
5. 執行情況
- DoD 全數達成：① 4 樣本兩模型各跑一次（＋現役基準）✅ ② 延遲／token／格式遵循／錯誤數全記錄 ✅ ③ 結論＝維持（依據＋風險見 §4）✅ ④ 維持 → 記錄「維持不變」＋原因，零 config 改動（無 diff 無回滾需要）✅ ⑤ 四檔同步＋wiki 重發布 ✅
- 台賬：tasks.md／tasks-ref.md 同步改「✅ 完成」；kanban
t_f6c52139complete。 - 本任務偏離 default 常規職責？唔偏離——模型配置屬基礎設施管理，default 直接執行（T-116 同類先例）。
6. 四欄匯報
- 交付項：本頁＋ab_results.json（12 runs 原始數據）＋四檔同步＋wiki 重發布
- 驗證等級：已生產驗證——12 次真實 Ark API 呼叫全部 HTTP 200、usage 數據由 API 回傳；格式分由輸出內容人工判（每次 4 分制）
- 證據：
tmp_probe/ab_results.json；tmp_probe/glm_retry.py（公平重測）；本頁 §2/§3 - 未驗證項：① 成本指數係「係數×token」近似，非火山官方帳單 ② 樣本係單輪任務，未測長會話多輪累積 ③ 未有生産流量下嘅真實用戶體感