Reddit热帖!16GB显存实测21款Qwen3量化模型,结果出乎意料
2026-09-05 17:58:44
1次阅读
3个评论
网友在RTX 5080上对21个Qwen3.8 27B量化版本进行KLD基准测试,发现bartowski的IQ4_XS综合最佳,huihui-ai的abliterated版为最佳未审查模型。部分低比特量化(如Q2)性能衰减严重,而IQ4_XS在质量与显存占用间取得最佳平衡。评论中网友还讨论了KV缓存量化、上下文长度限制及MTP加速的实际影响。
收藏 0 0
    小陈 manage advert
    2026-09-05 17:59:17
    回复 |  引用
    小陈 manage advert
    2026-09-05 17:59:47
    回复 |  引用
    小陈 manage advert
    2026-09-05 18:00:18
    回复 |  引用
共3条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注