Reddit热议!老外怎么看单卡4090跑552B大模型?
2026-10-19 03:01:45
8次阅读
2个评论
开发者基于Strata打造Xolotl推理引擎,在单块4090加90G内存的普通PC上运行552B的DeepSeek-V4.1-Flash,达27 tok/s。网友惊叹之余质疑其重度量化牺牲质量,作者承认需多花3-10倍思考token,正优化中。
0
0
2026-10-19 03:02:18

回复 |
引用
2026-10-19 03:02:47

回复 |
引用
共2条
1
相关帖子
- Reddit热议!老外怎么看Project Maya让321B大模型跑在单卡上?
- Reddit热议!老外怎么看7B小模型跑分碾压大模型?
- Reddit爆火!老外怎么看PS5越狱跑AI大模型?
- Reddit爆火!老外怎么看五台设备串联跑大模型?
- Reddit热议!8GB内存跑2.78T参数大模型,老外怎么看?
- Reddit热议!老外怎么看高通称2028年手机跑千亿大模型?
- Reddit热议!2B小模型性能堪比120B大模型?
- Reddit热议!老外怎么看RTX 4090假货泛滥?
- Reddit热议!6万块二手服务器跑284B大模型,性能竟超预期?
- Reddit热议!老外怎么看各家AI大模型排名?