AMD MI355X跑Kimi K3嬴左NVIDIA B300

kcthomlau

https://vllm.ai/blog/2026-10-16-kimi-k3-mi355x

为什么 AMD MI355X 实际表现会逆转「更强」？

传统上 NVIDIA 靠着软体生态（CUDA）能压榨出更好的硬体效率，但这篇报告说明了当开源社群（vLLM）对 AMD ROCm 进行极致的「底层硬体级优化」后，AMD 硬体的强大潜力（如 3nm 制程与大记忆体）被彻底释放出来了。
逆转胜的 3 大软体优化关键包括：
1. 记忆体与快取优化 (DCP8 与 CPU Offload)： Kimi K3 拥有高达 96 个 MLA 注意力头。优化后的 vLLM 採用了 8路解码上下文并行 (DCP8)，将高达 1.96 GB 的快取歷史打散分摊到各张 GPU 上（每张仅需承担 ~245 MB），释放了大量 HBM 记忆体空间。
2. 消除了重复运算 (MoE 权重重组)： 原先在分佈式计算（TP8）中，混合专家模型（MoE）的输出投影会在 8 张 GPU 上重复执行 8 次。优化后将输出座标切分，并融合进既有的 All-Reduce 通讯中，单是这个改动在晶片快取饱和时（高并发环境）就提升了 28.9% 的吞吐量。
3. 硬体指令集融合 (AITER 汇编加速)： 透过将运算融合（Kernel Fusion），减少了 69 个不必要的内部资料复制；并透过补齐查询头至 16 个以完美触发 AMD AITER 的专属汇编解码路径，在长文本解码中，将每 token 的耗时直接砍半（从 43.8ms 降至 23.6ms）。

依家AMD可以用AI帮手优化, N卡既护城河有危机

godofcomputer

3万美金一张， 仲要有8张先跑得郁K3

glareguard

AI hardware 好贵


回復 2 #godofcomputer



via HKEPC Reader for Android

usei

有竞争至有进步

kcthomlau

AI hardware 好贵


回復 godofcomputer



via HKEPC Reader for Android
glareguard 发表于 2026-10-20 10:28

无错，尤其DGX Spark基本都系一次买两部以上
淘宝好多都系打孖咁卖
成4万几一部其实硬件只系一粒5070ti级gpu+128gb ddr5 ram+支持connect x7
硬件未加价之前呢啲野应该10000有找

老黄话部机有1PFLOPS算力同以前一座server比完全系误导
1PFLOPS系以FP4精度计，传统讲算力系FP32计

ki_cat

nv靠卖ai赚大钱硬体,d人用ai优化去拆佢护城河.
这就像童话中的寓言故事.

via HKEPC IR 5.1.14 - Android(5.1.2F)

rcbananahk

回覆 5# kcthomlau


    AMD MI355X  平咩?

s84292

无错，尤其DGX Spark基本都系一次买两部以上
淘宝好多都系打孖咁卖
成4万几一部其实硬件只系一粒5070ti级g ...
kcthomlau 发表于 2026-10-20 04:30

咁依家跑AI 又没人用FP32

我自己都改FP16训练左，输出都系INI8，何况D 大公司

kei1990

不过N记套野将来会省电D?