Reddit热议!老外怎么看DFlash2推理加速实测?
2026-10-20 08:30:03
3次阅读
2个评论
DFlash2作为推测解码新方案,号称并发1时比MTP快20%。网友实测单卡3090达110-150 t/s,4并发冲190 t/s,但低命中率时回落至65 t/s。讨论聚焦显存开销、张量分割缺失及llama.cpp支持现状,有人认为提速“几乎免费”,也有人提醒需预留1-2GB显存。
0
0
2026-10-20 08:30:35

回复 |
引用
2026-10-20 08:31:04

回复 |
引用
共2条
1
相关帖子
- Reddit热议!llama.cpp正式支持DFlash,AI推理速度再提升
- Reddit热议!llama.cpp火速支持DeepSeek V4 Flash加速推理
- Reddit热议!老外怎么看Qwen3.8推理瘦身?
- Reddit热议!老外怎么看AI推理成本之争?
- Reddit爆火!老外怎么看DeepSeek开源推理框架?
- Reddit爆火!老外怎么看AI“人类最后推理”梗?
- Reddit热议!Krea 2图像生成模型发布,网友实测性能引关注
- Reddit爆火!老外怎么看硬纸板双3090推理神机?
- Reddit热议!欧洲热浪致死2万人,老外怎么看?
- Reddit热议!美团发布Longcat 2开源权重,老外怎么看?