kcthomlau

回覆  kcthomlau

仲可以咁玩
宜家部机食唔晒双模型 双卡咁样行有咩用处?

另外想问下MOE技术可以 ...
Sinair 发表于 2026-10-10 09:16

我系strix halo即系amd max+395外接5080m
核显8060s跑halogen版flash next已经有1400prefill, 35decode
外接卡vram可以食晒bonsai2 27b 1800prefill, 平均2百几decode(写code可以4百几）
即系可以一部机同时两个模型


其实moe都唔系万能
Flash next每次只读取6b专家呢样野可以系个大缺点
如果跑专业知识AI Benchmark当然劲
但实际工作要做得好，好多时系需要识好多唔同既野
例如修一个bug既推理复杂程度需要最少7b专家先至做到
咁6b系会fail
但系dense 27b可能直接解决
所以我认为系要同时有两种模型
亦都方便开多啲任务



BTW新野又嚟架
有人将GLM5.3 Flash整到好似flash next咁有一部份放入ssd用
Github好似叫maya
问过AI就算GLM5.3 Flash 320b咁大
如果有人好似Bonsai咁用三值化由零开始蒸馏训练系可以压缩成80gb以下
就算唔拆一部份摆喺ssd
128gb统一内存要用绝对有可能

godofcomputer

得9token就慢咗啲。其实直接畀钱玩API咪算啰(v4 flash好平）， 等跌价先再玩返local ai

Sinair

回覆 41# kcthomlau

我将FLASH NEXT放入DEEPSEEK HARNESS到用 无得调思考模式
原本2分钟做完1次嘅野佢卡我1个钟都做唔完
40分钟会用完晒D TOKEN 但HARNESS 1个钟都未用完D TOKEN

之前用BIONIC+GEMMA 4 26B A4B QAT / QWEN 3.5 9B都唔会咁
宜家卡死左系到唔知点解决

godofcomputer

回覆  kcthomlau

我将FLASH NEXT放入DEEPSEEK HARNESS到用 无得调思考模式
原本2分钟做完1次嘅野佢卡我1 ...
Sinair 发表于 2026-10-11 17:58

咪试下用Claude, Codex，Zcode之类,

Qwen嘅model，应该最兼用用返qwen coder

可能根本系量化过度

Sinair

回覆 44# godofcomputer

见人话HARDNESS好用 又好多教学 咪试下 结果D教学剩系教安装 一遇到问题全部都帮唔到手
BIONIC我以为已经唔好用 点知HARDNESS个界面仲唔好用

我研究下依几个先 全部都唔识 搞唔掂再返黎求救

ckmakit

qwen flash next 可以跑得好快系架构问题， QFN有个n-gram lookup table，可以放系SSD。deepseek v4 flash ...
godofcomputer 发表于 2026-10-10 17:56

我都岩岩由27b转紧去strata qwen iq4xs
50-70tok/s 够晒用
（v100 32g,ddr4 96gb)

kcthomlau

回覆  kcthomlau

我将FLASH NEXT放入DEEPSEEK HARNESS到用 无得调思考模式
原本2分钟做完1次嘅野佢卡我1 ...
Sinair 发表于 2026-10-11 17:58

问dsh点调thinking
dsh好似系无审查agent
就算用uncensored模型
Wb叫佢抄人个软件都唔做
Z code会check下有无讲明唔俾reverse engineering

kcthomlau

之前试过唔错既ornith1.5原来仲改进紧
依家俾佢玩到tg过千
https://huggingface.co/jcbtc/Orn ... ent-vllm-strix-halo
我开始觉得strix halo好过dgx spark

abcjerry

写小说还是GEMINI吧,,本地模型写的都很垃圾

Sinair

回覆 49# abcjerry

天马行空叫佢GEN晒全部野 一定有差距
但如果自己PROVIDE创意 用规则档同风格档限制AI 其实写出黎唔会相差好多

创意如果谂唔到 可以用API免费QUOTA GEN
只要有大方向 一日免费QUOTA都够GEN几个创意桥段
然后用本地不停洗大纲 洗到满意先再EXTEND 一个桥段用黎GEN 3000+字数 一日都更到过万字

咁做法好过用小说AGENT一次写晒几十万字出黎 好难修改返转头