Reddit热帖!老外如何在24GB显卡上跑起284B大模型?
2026-08-02 18:53:26
7次阅读
3个评论
Reddit用户分享用RTX 3090+128GB DDR5运行DeepSeek-V4-Flash-0731(284B参数)的实战经验,通过llama.cpp的`--n-cpu-moe`参数将部分MoE专家分配到内存,实现12.5 tok/s生成速度。网友热议硬件配置、量化方案对比,并分享各自优化技巧,但有人质疑性价比不如直接购买云服务。
收藏 0 0
    小陈 manage advert
    2026-08-02 18:53:59
    回复 |  引用
    小陈 manage advert
    2026-08-02 18:54:28
    回复 |  引用
    小陈 manage advert
    2026-08-02 18:54:58
    回复 |  引用
共3条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注