Reddit热议!老外怎么看llama.cpp为MoE专家加GPU缓存?
2026-10-08 07:52:07
91次阅读
3个评论
llama.cpp合并PR为显存不足的MoE模型带来GPU专家缓存,网友直呼“穷显卡俱乐部”的福音。实测有人提速5t/s,有人却因缓存命中率低反而降速,多GPU支持仍在路上。
收藏 0 赞 0
    小陈 manage advert
    2026-10-08 07:52:40
    回复 |  引用
    小陈 manage advert
    2026-10-08 07:53:09
    回复 |  引用
    小陈 manage advert
    2026-10-08 07:53:38
    回复 |  引用
共3条 1

请 登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注