5090+3090+192G DDR5 deepseek V4 flash 有９tok/s

wiz123

大获，用过deepseek V4 flash番唔到转头，
但系好慢
qwen flash next有30tok/s虽然都唔差，但用过更好点番转头...

Kin_2012

大获，用过deepseek V4 flash番唔到转头，
但系好慢
qwen flash next有30tok/s虽然都唔差，但用过更好点番 ...
wiz123 发表于 2026-10-7 18:27

真要用唯有买多张 5090

murderfreaker

虽然自己堆系好驶好用

但其实Deekseek token好平，按量用有限钱.

反而系自主魔改model价值大.

BTW
始终得十零token/s太慢

Qwen 3.8 Next flash 5090做到40~110t/s(视乎cache hit)会实用好多

wiz123

真要用唯有买多张 5090
Kin_2012 发表于 2026-10-7 18:31

唸紧买部Ｍ5 ULTRA 256G,
但系好似没乜２手市场，过２年唔知点放番出去,　要当佢消耗品咁用好似有Ｄ贵

wiz123

虽然自己堆系好驶好用

但其实Deekseek token好平，按量用有限钱.

反而系自主魔改model价值大.

BTW
始终 ...
murderfreaker 发表于 2026-10-7 19:13

真系，如果唔用魔改model不如去online买token用好了平好多, 叫v4写Ｘ故仔段段几万字都得，而且文笔没其他model可比

godofcomputer

玩V4 flash 至少要2张rtx pro 6000以上（160GB VRAM 以上），先跑到全速。

你得9t/s, 其实畀RAM嘅Bandwidth限制咗

Kin_2012

唸紧买部Ｍ5 ULTRA 256G,
但系好似没乜２手市场，过２年唔知点放番出去,　要当佢消耗品咁用好似有Ｄ贵 ...
wiz123 发表于 2026-10-7 19:27

理论上 GPU 价钱总有回落的一天， 但短期内都难。

2年后唔知，２手市场唔好谂， 要用就只有买，可用可唔用就睇下佢到的 value 够唔够 cover 个 cost 。

murderfreaker

真系，如果唔用魔改model不如去online买token用好了平好多, 叫v4写Ｘ故仔段段几万字都得，而且文笔没其他 ...
wiz123 发表于 2026-10-7 19:28

我local用Qwen 3.8 Next flash , 净系任web search唔驶睇住token usage或者google gemini咁悭web access
成件事都唔同哂

小木头

你哋qwen3.8-flash-next用咩量化

点解我觉得qwen3_8_27b_nvfp4.ninfer 比 qwen3.8-flash-next-unsloth-ud-iq4_xs 好用，更快同唔会loop

Sinair

唔好用网上面测试 估计有针对优化过

用STRATA行 FLASH NEXT试过IQ3XXS IQ3S
写简单有要求麻雀游戏代码 两者都唔可以一次完全通过 都要二次修改
只可以开中度思考 如果开最高 会用尽上下文长度然后卡死

27B试过 三次修改都唔可以完美运行 但我跑太慢 无再试

本地AGENT有无好推荐? 又快又好用 只需分析股市图表

BONSAI 2 27B 会唔会跑到AGENT?