Reddit热议!KV缓存量化新基准:KVarN碾压TurboQuant?
2026-06-08 07:33:25
3次阅读
2个评论
BeeLlama.cpp发布Qwen 3.6 27B的KV缓存量化基准测试,对比75组配置。网友热议KVarN在3-4比特表现优异,传统q8_0-q4_0组合被推翻,TurboQuant因常规量化引入旋转而显得过时,但KVarN在速度与显存间存在取舍。
0
0
2026-06-08 07:33:58

回复 |
引用
2026-06-08 07:34:27

回复 |
引用
共2条
1