[测试] 已经有AMD Strix-halo专用177B全塞入128Gb RAM MOE模型

kcthomlau

https://huggingface.co/ilintar/qwen3.8-flash-next-gguf-strix-halo
Qwen3.8 Flash-next分支, 实测真可用, 比27B dense模型快

一、结论
在单台 AMD Ryzen AI Max+（Strix Halo）小主机上，将 1770 亿参数的
Qwen3.8-Flash-Next 量化模型完整载入统一内存运行。不使用 n-gram
辅助数据、不做 SSD 卸载，全部权重常驻内存，服务 7×24 开机自启。
二、硬件与软件
- 硬件：Strix Halo（Radeon 8060S / gfx1151），128GB LPDDR5X 统一内存
- 系统：Ubuntu 26.04，全程用户态部署，未安装 ROCm，无需管理员权限
- 推理引擎：llama.cpp（pwilkin strix-halo 分支），Vulkan 后端（RADV 驱动）
- 服务形态：OpenAI 兼容 API，systemd 托管，
  Linger 实现免登录开机自启，Tailscale 内网远程访问
三、模型与"塞进 128GB"的关键手段
- 模型：Qwen3.8-Flash-Next，176.9B 参数 MoE（gated delta-net 混合
  架构 + 稀疏索引注意力），训练上下文 256K
- 量化：IQ4_NL 4-bit，9 分片共 93.2 GB
- MTP 投机采样头：Q8_0，2.8 GB（共享 embedding 省去重复词表）
- 三项内存手段：
  1) 4-bit 权重 → 93 GB
  2) per-layer embedding 表按需读取（--lazy-mode on-direct），
     不常驻显存
  3) KV cache 自动适配，256K 上下文总占用控制在 100 GB GTT 内
  实测常驻约 77-85 GB，剩余余量给计算缓冲区
- 无 n-gram：投机采样使用模型自带的 MTP 草稿头（draft-mtp），
  精度无损（温度 0 下逐 token 验证），不需要外部 n-gram 词表
四、实测性能（本机）
- 生成速度：33 t/s（中文散文）/ 44.8 t/s（代码，投机采样 +39%）
- 草稿接受率：92%（散文）/ 97%（代码）
- 预填充：约 300-360 t/s（1K-25K 上下文实测）
- 上下文：单会话最高 262144 token（即训练上限，已顶格启用）
- 视觉：支持（挂载 mmproj 视觉编码器），截图场景描述与
  小字 OCR 实测正确，图像编码 242 t/s
- 全部 93 GB 权重经 SHA256 校验
五、部署要点（复现备注）
1. qwen4exp 为新架构，需专用 llama.cpp 分支（上游暂不支持），
   Vulkan 后端即可，无需 ROCm/HIP
2. 三个必要开关：
   - LLAMA_ATTN_ROT_DISABLE=1（禁用 KV 旋转，否则架构路径错误）
   - --load-mode none --lazy-mode on-direct（大表按需读，否则爆内存）
   - --spec-type draft-mtp（投机采样，接受率 90%+ 时接近免费加速）
3. 权重来源：ilintar/qwen3.8-flash-next-gguf-strix-halo（PROJFIX 版，
   与 MTP 头配套）；视觉编码器：ggml-org mmproj Q8_0
4. 注意 curl 断连会产生静默截断的文件，下载后务必校验大小与哈希
六、局限
- 预填充 ~330 t/s 意味着 200K 级超长会话整段重灌约需 10 分钟
- 单实例单并发（已将全部上下文划给单会话换取最大长度）
- 长上下文生成速度会从 ~45 t/s 降至 ~30 t/s

godofcomputer

行得啲细MODEL, 又要搞餐懞，不如买PLAN用旗舰MODEL咪仲好。
等下啲SSD同RAM回落先喇。