Reddit热议!6万块二手服务器跑284B大模型,性能竟超预期?
2026-08-05 00:42:45
3次阅读
2个评论
Reddit网友用约6000美元的二手四路至强服务器加两张RTX 3090,成功运行DeepSeek V4-Flash完整版284B MoE模型,解码速度达33-68 tok/s。网友指出冷启动预填充慢是短板,但异步批处理场景性价比极高,引发对混合CPU-GPU推理方案的激烈讨论。
0
0
2026-08-05 00:43:18

回复 |
引用
2026-08-05 00:43:46

回复 |
引用
共2条
1
相关帖子
- Reddit热议!自建LLM服务器成本大揭秘:每年省下近3000美元
- 用户用二手英特尔傲腾持久内存攒机 本地跑万亿参数大模型达4token/秒
- Reddit网友晒4块RTX6000Pro跑大模型,评论区热议
- Reddit热议!老外如何看待V100水冷服务器低价复活?
- Reddit热议!1800个AI机器人占领《魔兽世界》服务器,玩家惊呼真假难辨
- Reddit热议!老外硬核手搓44B大模型,只因谷歌不给力
- Reddit网友热议本月大模型使用体验与性能对比
- Reddit热议!老外砸8万美元组5块Pro 6000+5090跑GLM 5.2,只为“终极体验”
- 16GB显存跑大LLM妙招:插旧6GB+显存显卡扩容提速
- Reddit热议:芬兰打捞二战沉船6万升燃油,网友争论燃料可用性