Reddit热帖！老外4070 Ti硬跑120B大模型，21 tok/s惊呆网友
2026-08-10 02:03:39
9次阅读
1个回答
Reddit网友用4070 Ti+32GB内存，通过MoE专家热缓存和SSD流式加载，把59GB的GPT-OSS 120B跑到了21 tok/s。网友惊叹这相当于发明了“专家混合按需分页”，作者称将开源代码。
0
共1条
1
相关问题
- Reddit热议！120B以下模型，Qwen 3.6 27B真的无敌了吗？
- 网友热议27B密集模型优于397B MoE模型的原因
- Reddit热议！本地27B小模型硬刚顶级AI，纯C写3D游戏竟不崩溃？
- Reddit网友热议未知大模型Elephant-Alpha
- 21岁精液过多症男子开问答帖，网友提问不断
- Reddit热帖：用Pi+Qwen3.6-27B本地模型，几乎完全替代了Claude Code
- Reddit网友热议：你认为最强推理大模型是哪个
- Reddit网友热议：大语言模型是否已步入技术平台期
- Reddit热议！老外怎么看Qwen 3.8和国产AI大模型？
- Reddit热议！1971年劫机悬案D.B.库珀结局大猜想