5个臭皮匠胜过诸葛亮 Qwen3.8-27BLiveCodeBench 66.8% → 92.4%

kcthomlau

https://github.com/slee-persis/GVS5H

将工作分工成5份，用5个Qwen3.8 27b跑，解题得分超越Fable5


GVS5H 唔系产品，系一篇论文嘅实验代码库——证明「唔使训练、纯粹靠组织方式」就可以令一堆小模型协作，打出顶级闭源模型嘅解题准确率。

名字同核心思路

- GVS5H = "Gorilla vs. 5 Humans"：一只大猩猩（一个顶级大模型）对五个人类（五个普通模型实例）——名字本身就系实验对照组。
- 论文标题（arXiv 2608.26480）：GVS5H: Zero-Shot Self-Orchestration with Ledger-Based Control for Improved LLM Coding Performance。
- 方法叫「零样本自编排 / ledger-based（账本式）控制」：开几个 fresh 实例，各自唔系被训练去做协调、亦没 task-specific 示例；佢哋透过一个共享文件系统当「账本」（里面放 plan、notes、当前解答）嚟分工同接力。
- 关键词系 training-free：唔改权重、唔做 RL，纯粹改 inference-time 嘅组织结构。作者归因增益来自问题拆解 + 持久上下文（transcript 分析）。

佢讲嘅成绩（全部属论文自述，口径：最新 100 道 LiveCodeBench 硬题）

- 11 个开源/闭源模型上做实验，pinned backend 下最高提升 25.6 个百分点。
- 编排后的 Qwen3.8 Flash Next 93.0% pass@1，对比 Claude Fable 5 嘅 90.4%，成本只有 9%。
- 本地自託管嘅开源 Qwen3.8-27B：66.8% → 92.4%。
- 诚实嘅一半：增益唔系通用，论文自己写明部分模型没变化甚至变差。

代码库长点咁

GVS5H/
├── README.md, paper/paper_latest.pdf, assets/（图表）
├── codebase/v2-current/escalation/   ← 主程式
│   ├── run_bench.py        跑分入口（--engine single / multiagent）
│   ├── multiagent.py       五实例协作（22.5KB）
│   ├── orchestrator.py     manager 编排逻辑（25KB）
│   ├── lcb100_hardest_v6.json  那 100 道题的 id 清单
│   ├── .env.sample, patched_grader/, run_bench_script/*.sh
└── codebase/livecodebench/  ← LCB fork（自带其原始许可）

--engine single 系单次调用基准线，--engine multiagent 先系佢哋讲嘅「五个实例」——即你昨日部署嗰两条路径嘅对照关系。

几个要拎清嘅点

- star 1,025 / fork 112（截至 2026-10-26 仓库数据），Python，2026-08-26 创建，最后 push 2026-09-23，属「论文随附代码」性质，唔系持续维护嘅工程项目。
- 成绩只属嗰份特定题目集（release_v6 + 100 道 hardest）。LiveCodeBench 跨快照难度差异极大，第三方评测圈普遍提醒「90+ 同 50 可能只系题库唔同」，所以 93.0 vs 90.4 呢种对比唔好直接外推到你日常写代码嘅体验。
- 许可系混合嘅：代码 MIT，论文／图表／run 数据 CC BY 4.0，LCB fork 同人题题目保留自己许可，边个 path 属边个许可要睇 NOTICE.md。