Reddit热议!JetSpec推测解码技术实现9.64倍无损加速
2026-06-27 03:36:34
153次阅读
2个评论
Reddit上,JetSpec团队发布新研究,通过因果并行树草稿实现最高9.64倍LLM推理加速,单B200 GPU达1000 TPS。网友热议其实际应用限制,质疑在长上下文、消费级硬件和批量推理中的表现,并对比DDTree等现有方案。
0
0
2026-06-27 03:37:08

回复 |
引用
2026-06-27 03:37:37

回复 |
引用
共2条
1